深入淺出自然語言處理（NLP）：AI 如何理解人類語言？

在人工智慧（AI）快速發展的浪潮中，自然語言處理（Natural Language Processing, NLP）已成為最貼近人類溝通方式的核心技術之一。從語音助理、客服機器人、翻譯系統到大型語言模型（如 ChatGPT），這些應用的背後，都會使用到 NLP 這項技術。

什麼是 NLP？

NLP 是人工智慧與語言學交叉的領域，為了使電腦能夠「理解」、「解釋」、「產生」甚至「推理」自然語言(人類語言)。這不只涉及語言的語法結構（syntax，例如詞語的排列組合、句子成分分析）與語意（semantics，詞語和句子的意義），更牽涉到語境（context）、常識與邏輯的理解。

想像一下，在學習語言的過程。我們不僅學習單詞的意思，還學習它們如何組成句子，句子如何構成段落，以及這些段落在不同情境下所表達的深層含義。NLP 的目標就是賦予機器類似的能力，使其能夠像人類一樣處理和理解語言，進而執行各種複雜的語言任務。

NLP 的運作流程簡介

一個典型的 NLP 系統通常包括以下幾個處理步驟，這些步驟層層遞進，從原始的語言資料中抽取並理解信息：

文字預處理（Text Preprocessing）：資料的清洗與結構化

在將人類語言餵給機器模型之前，原始的文本資料通常是混亂且非結構化的，需要經過一系列的預處理步驟來「清潔」和「標準化」它們。

• 分詞（Tokenization）：分詞是 NLP 的基石。主要將連續的文本串分解成最小的、有意義的語言單位，稱為「語元」（tokens）。這些語元可以是單詞、標點符號，甚至在中文等非分隔語言中，一個詞語可能由多個字組成。例如：「鯊客科技是一間優質的 SEO 公司 。」會被分詞為：「 鯊客科技 _ 是 _一間 _ 優質_ 的_SEO_公司_。」NLP 會根據文字的詞性、語義進行分詞。「鯊客科技」是專有名詞、「是」是動詞，所以不會被分為一個 token，其餘皆以此類推就可以完成分詞的工作。
• 去除停用詞（Stop Word Removal）：停用詞是語言中常見但對語義貢獻較小的詞語，如「的」、「是」、「一個」、「and」、「the」等。移除它們可以減少資料量，提升處理效率，並幫助模型更聚焦於文本的核心內容。
• 詞形還原（Lemmatization）或詞幹提取（Stemming）：這兩種技術都旨在將不同形式的單字還原到它們的基本形式。詞幹提取通常是透過移除詞綴來實現，例如將 "running"、"runs"、"ran" 都簡化為詞幹 "run"。若以中文舉例的話，「發展中」、「發展性」都可提取為「發展」、「討論區」、「討論文」、「討論串」可統一為「討論」；詞形還原：更為精確，它會考慮單字的詞性，並將其還原為字典中的原型。例如，"better" 會被還原為 "good"，而 "am", "is", "are" 則都會還原為 "be"。
• 大小寫轉換 (Case Folding)：通常會將所有文本轉換為小寫，以避免模型將 "Apple"（公司名）和 "apple"（水果）視為兩個完全不同的詞。
• 標點符號處理 (Punctuation Handling)：根據任務需求，可能移除標點符號，或者將其作為獨立的語元處理。

向量化（Vectorization）：將語言轉化為數字

電腦無法直接理解人類的文字，它只能處理數字運算。因此，向量化是將文本數據轉換成機器可理解的數值表示的關鍵步驟。

詞袋模型（BoW, Bag of Words） 是一種最簡單的文本向量化方法。它將文件視為一個「詞語的袋子」，只關注每個詞在文件中出現的頻率，忽略詞語的順序和語法結構。例如，句子「我愛你」和「你愛我」在BoW模型中會得到相同的向量表示，因為它們包含相同的詞語，只是順序不同。

TF-IDF（Term Frequency-Inverse Document Frequency） 則是一種更進階的加權方法。它不但考慮詞語在單個文件中出現的頻率（TF），還多考慮該詞語在整個語料庫中的稀有程度（IDF）。如果一個詞在某文件中頻繁出現，但在其他文件中很少見，那麼這個詞對於識別該文件主題的重要性就越高。TF-IDF 能夠有效降低常用詞（如「的」、「是」）的權重，提升關鍵詞的權重。

儘管 BoW 和 TF-IDF 有其應用價值，但它們都無法捕捉詞語之間的語義關係。這就是 詞嵌入（Word Embeddings） 技術的出現為 NLP 帶來革命性變革的地方。

詞嵌入是一種將每個詞語映射到一個低維度連續實數向量的技術。當每個詞都變成了一個位於多維空間中的點。這種映射的關鍵之處在於，語義相似的詞語會被映射到彼此靠近的位置，而語義不相關的詞語則相距遙遠。

舉例來說，在詞嵌入的空間裡：「國王」和「女王」 的向量會非常接近，因為它們在語義上緊密相關。詞嵌入能夠捕捉到詞語之間的類比關係。

例如，我們可以觀察到這樣一個近似的線性關係：

vector("king") − vector("man") + vector("woman") ≈ vector("queen")。

由此可以看出詞嵌入除了學會了單個詞的意義，還理解了它們之間的「男性-女性」或「統治者」等抽象關係。

 

 

語言建模（Language Modeling）：理解上下文與預測

語言建模是 NLP 的核心任務之一，其目標是判斷一段話是否合理、預測下一個詞，進而理解上下文。這就像人類在閱讀時，能夠根據已知的詞語來預期接下來可能出現的詞語。

• 判斷一段話是否合理、預測下一個詞、理解上下文等。
• 現今多採用機器學習中的深度學習模型，如 Transformer 架構。 早期也有基於統計的 N-gram 模型，但其長期依賴能力有限。

語義與語法分析：深度剖析語言結構

這些步驟旨在從更高層次上理解文本的結構和意義：

• 詞性標註（Part-of-Speech Tagging, POS Tagging）：識別每個詞語的詞性，例如名詞（Noun）、動詞（Verb）、形容詞（Adjective）、副詞（Adverb）等。這對於理解句子結構和詞語在上下文中的作用至關重要。例如，在句子 "I saw a saw" 中，第一個 "saw" 是動詞，第二個 "saw" 是名詞，POS 標註能夠區分這兩種用法。
• 命名實體辨識（Named Entity Recognition, NER）：識別文本中具有特定意義的實體，如人名（PERSON）、地名（LOCATION）、組織名稱（ORGANIZATION）、日期（DATE）、時間（TIME）等。這對於從非結構化文本中提取結構化資訊，如新聞報導中的事件分析，至關重要。
• 依存句法分析（Dependency Parsing）：分析句子中詞語之間的句法關係，例如哪個詞是動詞的主語、哪個詞是形容詞修飾的名詞等。它以樹狀結構表示詞語之間的「依存」關係，而不是傳統的短語結構。這有助於理解句子的深層語法結構。

從數字到理解：NLP 的數學基石與語言智慧

NLP 雖然處理的是語言，但其底層卻是嚴謹的數學與統計學。將語言轉化為數字，並運用數學模型找出其中的規律，是 NLP 得以運作的基石。

向量空間模型（Vector Space Model）

將詞語和文檔表示為數學上的向量，是 NLP 的核心技術之一。這種表示方法允許我們使用線性代數工具來計算詞語或文檔之間的相似性。

• 詞嵌入（Word Embedding）：如前所述，Word2Vec、GloVe 等技術將「king」與「queen」轉為多維向量。這些向量不僅僅是詞語的編號，它們捕捉了詞語的語義信息，使得語義關係得以透過向量空間中的位置與方向表示。例如，上述提到的vector("king") − vector("man") + vector("woman") ≈ vector("queen")。這說明在向量空間中，性別的變化可以用一個固定的向量差異來表示。
• 餘弦相似度（Cosine Similarity）：在向量空間中，NLP 常用餘弦相似度來衡量兩個向量的相似程度。它的值介於 -1 到 1 之間，1 表示完全相同，-1 表示完全相反，0 表示正交（不相關）。

注意力機制（Attention）

注意力機制是現代深度學習 NLP 模型（尤其是 Transformer）的核心，它允許模型在處理一個詞語時，動態地分配對輸入序列中其他詞語的關注程度。

原理簡述：注意力機制的核心是計算一組權重，表示輸入序列中每個元素對當前輸出元素的相對重要性。這通常透過一個查詢向量 (Query, Q) 與一系列鍵向量 (Key, K) 之間的相似性計算來實現，然後將這些權重應用於一組值向量 (Value, V)。

在 Transformer 的自注意力機制中，Q、K、V 都是來自相同的輸入序列。Scaled Dot-Product Attention 的公式如下：

其中 Q 是查詢矩陣，K 是鍵矩陣，V 是值矩陣，dk​ 是鍵向量的維度，用於縮放點積，防止梯度過大。softmax 函數將分數轉換為機率分佈，確保權重和為 1。

直觀理解：想像我們在瀏覽一篇文章，當你讀到一個代詞「它」時，你的大腦會自動回溯前文，找到 「它」所指代的名詞。注意力機制讓模型也能做到這一點，它根據當前要處理的詞語（查詢 Q），去「查詢」句子中所有其他詞語（鍵 K），衡量它們與當前詞語的相關性，然後根據這些相關性（注意力分數）來加權提取相關詞語的信息（值 V）。

應用場景與未來發展

NLP 在實務上應用廣泛，幾乎滲透到我們數位生活的方方面面：

• 自動客服與聊天機器人：實現 24/7 的客戶服務，自動回答常見問題，提升用戶體驗。
• 電子郵件分類與垃圾郵件過濾：根據內容自動分類郵件，或識別並隔離垃圾郵件。
• 法律與醫療文件分析：自動從大量法律文件或病歷中提取關鍵信息，輔助專業人士工作。
• 自然語言生成（Natural Language Generation, NLG）：自動寫作，如生成新聞報導摘要、財報分析、詩歌、代碼等，極大地提高了內容生產效率。
• 多語翻譯與跨語言搜尋系統：實現不同語言之間的即時翻譯，並允許用戶以母語進行搜尋，獲取不同語言的資訊。
• 程式碼自動補全與生成：例如 GitHub Copilot 等工具，利用 NLP 理解程式碼語境，提供智慧補全或生成代碼片段。
• 語音助理：如 Siri、Google Assistant，結合語音識別（Speech Recognition）將語音轉為文字，再透過 NLP 理解指令並生成回應，最後透過語音合成（Speech Synthesis）輸出語音。

未來，隨著多模態學習（結合文本、圖像、音訊等不同模態的數據）、情境推理（理解更複雜的語境和人類意圖）與常識知識圖譜（將人類常識融入模型）的結合，NLP 將不再只是「文字處理器」，而是能更深層次地「語言理解者」和「智慧對話者」。例如，能夠理解圖片中的文字並根據語境生成描述，或者在對話中表現出更像人類的共情和推理能力。

自然語言處理是一門結合語言學、數學、統計學與人工智慧的跨領域科學。它透過將人類語言轉譯為數學向量，並透過機器學習（特別是深度學習）找出其中的語義規律，使電腦得以參與人類語言溝通的核心活動。從最初的簡單詞頻統計到現在能進行複雜對話和內容創作的大型語言模型，NLP 的發展歷程充滿了創新與突破。隨著模型的不斷精進和計算能力的提升，語言與 AI 的距離，正在以前所未有的速度拉近。我們有幸處於一個快速變遷時代，語言不再是人機溝通的障礙，而是通往更智慧未來的橋樑。