語言分析與資料科學
  • 本書規劃
  • PART I:基礎知識
    • 導論
    • 語言學
      • 語言的實證研究方法
    • 數學與統計
      • 統計
        • 機率與機率分佈
          • 推論統計
        • 迴歸模型
      • 線性代數
    • 自然語言處理
      • 語料庫
    • 機器學習
      • kNN
      • Probabilistic learning using Naive Bayes
      • 決策樹 Decision Trees
      • 支持向量機 Support Vector Machines
      • 迴歸分析 Regression models
      • 神經網路與深度學習 Neural Network and Deep Learning
      • 關聯規則挖掘 Association Rules
      • k-means 分群 Clusterings
      • 社會網路分析
    • 資料科學的 OSEMN 模式
  • PART II: 文本分析:資料處理、表徵與語意計算
    • 文本分析是什麼
      • 程式處理架構
    • 文本前處理
      • 文本收集
      • 文本清理
      • 自動分詞與詞類標記
      • 文本標記
    • 文本數據探索性分析
    • 文本語意與統計
      • 語意表徵
      • 文本訊息視覺化
      • 文本相似與關聯
    • 文本知識抽取
  • PART III:文本分析:模型應用與專案
    • 文本迴歸預測
    • 文本分類
      • 情緒分析
      • 垃圾訊息偵測
    • 文本自動生成
      • 自動摘要
    • 文本聚類
    • 主題模型
    • 立場、意圖與價值
    • 個人文體風格
    • 文本真實性
      • 重複文本偵測
    • 資料科學報告與部署
  • 附錄
    • R 存活指令
    • Python 存活指令
    • Git and Github 入手
    • Linux 存活指令
    • 正則表示法
    • 參考書目
Powered by GitBook
On this page

Was this helpful?

  1. PART III:文本分析:模型應用與專案
  2. 文本自動生成

自動摘要

顧名思義,在儘可能保留文本核心語意的狀況下,將文本簡化到摘要的形式。

  • Gong and Liu (2001) 利用分佈語意模式,從文本中找出 k 個最重要的句子。 步驟如下:

    1. Decompose the text into its sentences

    2. Construct a term-by-sentence frequency matrix

    3. Perform a SVD to obtain a singular value matrix 󿰚 and a right singular vector matrix VtV^{t}Vt. Each column vector of VtV^{t}Vt then represents a sentence of the original text.

    4. Select the k'th right singular vector from this matrix.

    5. Select the sentence which has the largest index value with this k'th right singular vector, which is then included in the summary. Given the assumption that each row vector represents a topic of the text, this is exactly the sentence that scores the highest value on this topic, compared to the other sentences.

    6. Repeat until k reaches a predefined number.

Previous文本自動生成Next文本聚類

Last updated 5 years ago

Was this helpful?