語言分析與資料科學
  • 本書規劃
  • PART I:基礎知識
    • 導論
    • 語言學
      • 語言的實證研究方法
    • 數學與統計
      • 統計
        • 機率與機率分佈
          • 推論統計
        • 迴歸模型
      • 線性代數
    • 自然語言處理
      • 語料庫
    • 機器學習
      • kNN
      • Probabilistic learning using Naive Bayes
      • 決策樹 Decision Trees
      • 支持向量機 Support Vector Machines
      • 迴歸分析 Regression models
      • 神經網路與深度學習 Neural Network and Deep Learning
      • 關聯規則挖掘 Association Rules
      • k-means 分群 Clusterings
      • 社會網路分析
    • 資料科學的 OSEMN 模式
  • PART II: 文本分析:資料處理、表徵與語意計算
    • 文本分析是什麼
      • 程式處理架構
    • 文本前處理
      • 文本收集
      • 文本清理
      • 自動分詞與詞類標記
      • 文本標記
    • 文本數據探索性分析
    • 文本語意與統計
      • 語意表徵
      • 文本訊息視覺化
      • 文本相似與關聯
    • 文本知識抽取
  • PART III:文本分析:模型應用與專案
    • 文本迴歸預測
    • 文本分類
      • 情緒分析
      • 垃圾訊息偵測
    • 文本自動生成
      • 自動摘要
    • 文本聚類
    • 主題模型
    • 立場、意圖與價值
    • 個人文體風格
    • 文本真實性
      • 重複文本偵測
    • 資料科學報告與部署
  • 附錄
    • R 存活指令
    • Python 存活指令
    • Git and Github 入手
    • Linux 存活指令
    • 正則表示法
    • 參考書目
Powered by GitBook
On this page
  • 為何資料科學需要語言學
  • 語言學與文本分析
  • 語意複雜度
  • 樣式語法
  • 推薦的學習資源

Was this helpful?

  1. PART I:基礎知識

語言學

極簡入門 minimalist linguistics

Previous導論Next語言的實證研究方法

Last updated 5 years ago

Was this helpful?

為何資料科學需要語言學

... for now, the preeminence of statistical approaches has been shaped by the increasing capabilities of computer resources. Most important has been the outpouring of digital data, ready for analysis by text-mining methods... At some point in the future, a deeper semantic understanding may demonstrate clear performance advantages.

為什麼語言學/語言分析在 text analytics 中的角色很重要?

  • 自然語言的表達與理解涉及的認知歷程很複雜。

  • 還有語言的個體性 (expression is individualistic)

  • 還有社會與文化的多重意涵。

先看看說謊的語言行為:

  • 如果一開始就用數值思維,急著套用 data mining 的統計計算,很難理解文本語意。語言有趣也麻煩的地方,在語境脈絡,在多義。

語言學與文本分析

  • 構詞

  • 句法

  • 語意

  • 語用與言談分析

  • 文本修辭

  • 語音、體勢與多模態

語意複雜度

英語中常用一句話來解釋語意的脈絡依存性。

I made her duck

樣式語法

  • 以 pattern grammar 為例。

推薦的學習資源