TPU和GPU差別在哪裡？Google為什麼要自己研發TPU呢？

GPU vs. TPU：運算核心與資料處理方式的差異

在人工智慧（AI）和高效能運算領域，圖形處理器（GPU）和張量處理器（TPU）是兩大主流加速器。它們雖然都專注於處理大量資料的平行運算，但核心設計理念截然不同。GPU 以其通用性和靈活性聞名，而 TPU 則強調極致效率和專用優化。

GPU 的運算架構基於單指令多執行緒（SIMT, Single Instruction Multiple Tasks）模型，這種設計類似於「人海戰術」：由數以千計的獨立運算核心組成，每個核心就像一名獨立工人。當指令下達時，這些核心會被分配到平行處理的子任務上。每個核心擁有自己的暫存器，用於暫時儲存資料，在計算過程中不斷讀取、處理並寫回資料。這使得 GPU 在處理複雜任務時展現出高度靈活性。

這種 SIMT 架構讓 GPU 不僅適用於 AI 訓練和推論，還能輕鬆應對圖形渲染、加密貨幣挖掘以及物理模擬等通用運算。即使資料形狀不規則、稀疏（Sparse）或動態變化，GPU 也能透過先進的控制邏輯（如分支預測和調度機制）來適應，確保高效執行。

相較之下，TPU 採用脈動陣列（Systolic Array）架構，類似於一條自動化流水線工廠。資料像心臟脈動般從晶片一端流入，流經陣列中的運算單元，每個單元直接在資料流動過程中進行處理，最終從另一端輸出結果。權重（Weight）預先載入運算單元，資料則在單元間直接傳遞，無需頻繁存取暫存器。

這樣設計犧牲一定程度的靈活性以換取極高效率：TPU 專為矩陣運算優化，非常適合標準化的 AI 工作負載。但若遇到稀疏矩陣、動態資料形狀或非標準數學運算，流水線可能無法順暢運作，甚至需要透過軟體重新編譯（例如使用 XLA 編譯器）來調整任務格式。這使得 TPU 在本質上更像一個「專精但僵硬」的硬體，高度依賴軟體層面的優化。

🔍 一張圖帶你瞭解 TPU 與 GPU 之間的不同！

記憶體存取與控制邏輯的取捨

GPU 的高彈性並非沒有代價：為了讓每個核心獨立運作，它需要分配約 20% 到 30% 的晶片面積給控制電路、分支預測和調度邏輯。降低了純運算單元的密度，導致在某些專用任務上效率不如 TPU。

TPU 的優勢在於其資料流向高度可預測（例如從左到右），因此無需複雜控制邏輯。這讓絕大多數晶片面積能專注於運算單元（如矩陣乘法單元 MXU），大幅提升運算密度和能源效率。然而，這也意味著 TPU 在處理非標準化 AI 模型時缺乏適應性，容易在變動環境中表現不佳。

Google TPU：從內部自救工具到挑戰 NVIDIA 霸權的強大競爭者

在人工智慧（AI）晶片領域，NVIDIA 的 GPU 長期主導市場，但 Google 的張量處理器（TPU）正悄然崛起。TPU 最初是 Google 為應對內部算力危機而開發的專用晶片，如今已演變成能從技術、成本和市場角度威脅 NVIDIA 地位的強大對手。根據最新資料，TPU 不僅用於訓練頂級 AI 模型如 Gemini 3，還吸引了 Anthropic 和 Meta 等巨頭的興趣。

Google 研發 TPU 的初衷：化解算力與成本危機

Google 於 2013 年啟動 TPU 專案，由 Jeff Dean 和 Jonathan Ross 等工程師領導，其核心動機是解決內部基礎設施的潛在崩潰。 當時，Google 正將深度學習功能如語音辨識整合進產品。內部計算顯示，若每位 Android 用戶每天僅使用 3 分鐘語音辨識，Google 的資料中心規模需立即翻倍才能應付負荷。

現有硬體以 CPU 為主，運算效率不足以支撐龐大 AI 需求。若依賴擴建資料中心，硬體採購和電力成本將成天文數字，財務上難以承受。 為此，Google 選擇開發應用特定積體電路（ASIC），專注於 AI 的張量運算。TPU 捨棄通用性，強調矩陣乘法效率，從而以低成本和低能耗處理大量 AI 任務，避免了資料中心大規模擴建的命運。 TPU 第一代於 2015 年內部部署，2018 年開始對外提供。

TPU 對 NVIDIA GPU 的多面向威脅

儘管 NVIDIA 目前仍佔據 AI 晶片市場 85-92% 的份額，TPU 的市佔已接近 8%，並預計到 2030 年達 25%。 Google 的崛起讓 NVIDIA 感受到壓力，主要體現在以下方面：

1. 打破 GPU 獨佔迷思：技術驗證的突破

市場曾認為只有 NVIDIA GPU 才能訓練頂級 AI 模型，但 Google 使用自家 TPU 完全訓練出 Gemini 3，這款模型被公認為業界最強之一。 這證明 TPU 在前沿 AI 訓練上具備替代 GPU 的能力。事實上，Gemini 系列多代模型均依賴 TPU，包括 Gemini 2.0 使用 Trillium TPU。 獨立比較顯示，TPU v5p 在某些 AI 工作負載上甚至優於 NVIDIA GPU。

2. 系統成本優勢：價格戰的利器

TPU 的最大吸引力在於成本效益。根據 SemiAnalysis 分析，在相同效能下，TPU v7 (Ironwood) 的系統總擁有成本（TCO）比 NVIDIA GB200 低約 44%，小時成本甚至低 30%。 NVIDIA 的硬體毛利率高達 75%，導致價格昂貴。 對於需大規模部署的企業，如 Anthropic 和 Meta，轉向 TPU 可節省鉅額資金。Ironwood 在 FP8 運算上提供約 4.6 PFLOPS，與 GB200 的 4.5 PFLOPS 相當，但成本更低。

3. 優越的互連與擴展性：構築護城河

單晶片規格上，TPU v7 與 GB200 互有勝負（TPU 功耗較低），但在系統級擴展上，TPU 領先。Google 的光電路交換器（OCS）和互晶片互連（ICI）技術，能將 9,216 張 TPU 連接成單一 Superpod，ICI 速度達 9.6 Tb/s。 相較之下，NVIDIA 的 NVLink 僅限機櫃內 72 張 GPU，跨機櫃需依賴 Infiniband 或 Ethernet，成本和效率較遜。 這種全光通訊方案提升了大規模 AI 訓練的效率。

4. 市場版圖侵蝕：客戶轉移與 NVIDIA 的防禦

越來越多客戶轉向 TPU。Anthropic 計畫使用高達 100 萬張 TPU，價值數十億美元。 Meta 正在洽談數十億美元的 TPU 合約，可能從 2026 年租用開始。 Apple 已使用 TPU 訓練 AI 模型，OpenAI 則測試 TPU 以降低推理成本，儘管尚未大規模採用。 這些轉移侵蝕了 NVIDIA 的市場。分析指出，NVIDIA 近期對 OpenAI 的數十億投資，可能意在綁住客戶，防範其轉向更廉價的 TPU。 這反映了 NVIDIA 對 TPU 威脅的焦慮。

GPU 與 TPU 的架構差異體現了通用性與專用效率的權衡：GPU 如萬能工具，靈活處理各種運算需求，但控制邏輯開銷較高；TPU 則像高速機器，專攻 AI 矩陣運算，追求極致能源效率，卻需軟體優化彌補彈性不足。Google 研發 TPU 的初衷源於 2013 年的自救危機——若每位 Android 用戶每天僅用 3 分鐘語音辨識，資料中心需翻倍擴建，CPU 效率不足以支撐龐大 AI 需求，導致天文數字的成本壓力。

為此，Google 開發專用 ASIC 晶片，捨棄通用性以低成本處理張量運算，避免基礎設施崩潰。這一內部工具如今演進為挑戰 NVIDIA 的利器，透過成本優勢（TCO 低 44%）、技術突破（如 OCS 互連）和市場擴張（吸引 Anthropic、Meta），重塑 AI 晶片格局。隨著 AI 需求增長，這場競爭將驅動創新，讓產業在效率與彈性間尋求平衡。