到底什麼是CoWos，跟Nvdia又有什麼關係呢？LLM運算效能有關係嗎？

CoWoS 是半導體產業中的一種先進封裝技術，在當前的人工智慧（AI）浪潮中變得極為重要，特別是與 NVIDIA 的高效能運算晶片息息相關。

什麼是 CoWoS？

CoWoS 是 Chip-on-Wafer-on-Substrate（晶片堆疊於晶圓上再放於基板上）的縮寫，它是一種將多個晶片（例如：邏輯晶片如 GPU 和高頻寬記憶體 HBM）整合到單一封裝內的技術，可以分為「CoW」、「WoS」兩個面向。

• CoW (Chip-on-Wafer)： 將處理器晶片和記憶體晶片等緊密排列、貼合在一個被稱為「矽中介層 (Silicon Interposer)」的平面上。
• WoS (Wafer-on-Substrate)： 再將這個包含所有晶片的矽中介層，一起封裝到最底下的基板 (Substrate) 上。

下圖是台積電的 CoWoS-S 的 2.5D 先進封裝技術，全名「Chip on Wafer on Substrate – Silicon interposer」。它在大型矽中介層上，把多個邏輯 chiplet 與 HBM 堆疊整合，透過高密度互連與深溝槽電容，為 AI、超級電腦等 HPC 提供高頻寬、低延遲與穩定供電。

🔼台積電 CoWoS-S 面向 AI 與超級電腦的先進封裝，採晶圓層級系統整合，在大型矽中介層上提供高密度互連與深溝槽電容，能整合邏輯 chiplet 並於其上堆疊 HBM

CoWoS 就像是為多個晶片建了一個「高速相連的豪宅社區」，讓原本分散的晶片能極度靠近，彼此之間的訊號傳輸距離變得非常短，這麼做有以下好處:

• 傳輸速度快： 資料傳輸頻寬（帶寬）大幅提升。
• 功耗降低： 訊號傳輸距離短，減少了能量損耗。
• 體積縮小： 將多個元件垂直或緊密水平整合，節省空間。

CoWoS 與 NVIDIA 的關係

NVIDIA 是 CoWoS 技術最重要的客戶之一。

在當前的AI晶片競賽中，先進封裝技術已成為決定運算效能的關鍵戰場，而 CoWoS 正是其中的核心技術。全球AI晶片龍頭 NVIDIA 是這項技術最主要的驅動者與受益者。

NVIDIA 專為人工智慧（AI）與高效能運算（HPC）設計的 GPU 晶片，如領先業界的 H100 和最新的 Blackwell 系列，為了處理海量數據並達到極致效能，對高頻寬記憶體 (HBM) 的需求也會因此大量增加。

CoWoS 技術的出現，完美解決了這個瓶頸。將巨大的 GPU 邏輯晶片與多個 HBM 記憶體模組以前所未有的極短距離緊密整合在單一封裝內。這種異質整合極大地提高了 GPU 與 HBM 之間的資料傳輸速度和頻寬，從而實現了效能的巨量增長。

因此，CoWoS 不僅僅是一項封裝技術，它更是 NVIDIA 能夠在 AI 晶片市場保持領先地位的技術基石。也正因為如此，NVIDIA 成為了這項技術主要供應商——台積電 CoWoS 產能的最大需求者，兩者在推動全球 AI 運算能力的進程中，形成了極為緊密的戰略合作關係。

CoWoS 對 AI 浪潮 以及 LLM 的作用

在當今的 AI 浪潮中，大型語言模型（Large Language Models，簡稱 LLM）如 GPT 系列或 Gemini，已成為推動科技革新的核心力量。它們能夠處理海量數據、生成人類般的文字，甚至輔助科學研究和日常決策。然而，這些 LLM 的運作需要極高的計算效能，而這背後離不開這先進的半導體封裝技術。

AI 浪潮的快速發展得益於圖形處理器 (GPU) 和加速器晶片的進步，而 CoWoS 作為這些晶片的關鍵封裝技術，提供必要的效能支撐。例如，NVIDIA 的 H100 和 A100 系列 AI 晶片廣泛採用 CoWoS，以整合多個 GPU 核心與 HBM 記憶體，從而提升整體計算效率。

在 LLM 的生命週期中，CoWoS 的貢獻主要體現在以下階段：

• 模型訓練：訓練 LLM 需數千個 GPU 協同運作，處理龐大數據集。CoWoS 透過優化晶片內互聯，減少數據傳輸瓶頸，提高訓練吞吐量。若無此技術，訓練週期可能延長數倍，並增加能源與成本消耗。
• 模型推理：在實際部署中，LLM 需快速回應用戶查詢，如聊天系統或內容生成應用。CoWoS 支援的晶片設計可降低推理延遲並提升能源效率，尤其在雲端環境中，確保高並發用戶的穩定服務。

如果沒有 CoWoS 提供的這種超高頻寬和極低延遲的整合，像 NVIDIA H100 這樣的 AI 晶片就無法發揮其全部潛能。這項技術是 LLM 運算效能的隱形推手，它不僅讓訓練一個更強大的 AI 模型成為可能，也是驅動當前這波 AI 浪潮不可或缺的基石。

CoWoS 技術的最新發展

隨著 AI 需求的持續爆炸性增長，台積電（TSMC）在 2025 年進一步強化 CoWoS 產能，以應對 NVIDIA 等客戶的壓力。根據最新報告，TSMC 的 CoWoS 產能預計到 2026 年將擴張至每月 90,000 片晶圓，是 2024 年的三倍，主要驅動因素來自 AI 和高效能運算（HPC）應用，其中 NVIDIA 在 2025 年佔據全球 CoWoS 需求的最大份額。 此外，由於 NVIDIA Blackwell 系列和後續 AI 晶片的 HBM 需求激增，TSMC 已提前啟動先進封裝生產計劃，以避免供應鏈瓶頸。

在技術創新方面，TSMC 與 Synopsys 於 2025 年宣布合作，加速下一代 AI 晶片和多晶片（multi-die）設計的開發，將進一步優化 CoWoS 在 LLM 訓練和推理中的效能。 同時，新興平台如 SoW-X（System-on-Wafer eXtended）在 2025 年亮相，支持整合多達 16 個全尺寸 ASIC 和 80 個 HBM4 堆疊，提供約 1.76 倍的性能功耗比提升，預計將補充或部分取代傳統 CoWoS 在超大型 AI 系統中的角色。 這些進展不僅鞏固了 TSMC 在 AI 半導體生態的領導地位，也凸顯 CoWoS 技術在面對競爭（如潛在的 CoWoP 替代方案）時的持續演進。

總而言之，CoWoS 不僅是半導體封裝的創新，更是 AI 生態系統的基礎要素。它為 LLM 的高效實現提供了技術保障，促進人工智慧向更廣泛應用領域的擴展。展望未來，隨著產能擴張和新技術的整合，CoWoS 將繼續推動 NVIDIA 和整個產業在 AI 浪潮中維持競爭優勢，助力人類社會邁向更智慧的時代。對 AI 從業人員而言，持續關注此類硬體進展，將有助於把握未來趨勢。