AI芯片的功耗和發熱量直接影響著企業的成本、風險以及芯片的穩定性和壽命。如果芯片因過熱或短路而頻繁出現問題，那么AI的訓練和推理效果及效率也會受到嚴重影響。
冷卻技術革命，顯得十分急需。
AI芯片的功耗危機
統計數據顯示，2015年全球數據量約為10EB（艾字節），預計到2025年將飆升至175ZB（澤字節），而到2035年，則可能達到驚人的2432ZB。然而，邊緣AI的發展面臨兩大挑戰。首先，需要在性能、功耗和成本之間取得平衡。在提升算力的同時，如何在不將功耗和成本推向合理限度的情況下獲得最佳效果，尤其是在電池供電的低功耗設備中？其次，構建強大的生態系統至關重要。如同CPU和GPU的發展一樣，一個涵蓋工具鏈、語言、兼容性和易開發性的統一生態系統，對于推動AI技術的普及和規模化應用至關重要。
ChatGPT 和類似的 AI 機器人用來生成類人對話的大型語言模型 (LLM) 只是眾多依賴“并行計算”的新型 AI 應用之一。“并行計算”指的是由芯片網絡同時執行多項計算或處理的海量計算工作。
人工智能基礎設施的核心是GPU（圖形處理單元），它擅長處理人工智能所需的專業高性能并行計算工作。與個人電腦中使用的 CPU（中央處理器）相比，這種強大的處理能力也會導致更高的能量輸入，從而產生更多的熱量輸出。
高端GPU 的功率密度約為 CPU 的四倍。這給數據中心規劃帶來了新的重大問題，因為最初計算的電源現在僅為運行現代 AI 數據中心所需電源的 25%。即使是亞馬遜、微軟和 Alphabet 用于云計算的尖端超大規模數據中心，也仍然是由 CPU 驅動的。舉例來說，Nvidia 目前提供的 A100 AI 芯片每塊芯片的恒定功耗約為 400W，而其最新微芯片 H100 的功耗幾乎是 A100 的兩倍，達到 700W，與微波爐的功耗相似。如果一個擁有平均一百萬臺服務器的超大規模數據中心用這些類型的 GPU 替換其當前的 CPU 服務器，則所需的功率將增加 4-5 倍（1500MW），相當于一座核電站！
功率密度的提升意味著這些芯片產生的熱量也會顯著增加。因此，冷卻系統也必須更加強大。如此規模的電力和冷卻變革將要求未來人工智能驅動的數據中心進行全新的設計。這將導致底層芯片和數據中心基礎設施出現巨大的供需失衡。考慮到數據中心建設所需的時間，業內專家預測，我們正處于數據中心十年現代化升級的初期階段，旨在使其更加智能化。
臺積電3DVC技術
臺積電的3DVC（3D Vapor Chamber，三維均熱板）技術是一種針對高性能計算（HPC）和AI芯片的先進散熱解決方案，旨在解決先進制程（如3nm/2nm）芯片因集成度提升導致的功耗和發熱密度激增問題。
傳統均熱板是二維平面結構，而臺積電的3DVC通過立體化設計，在芯片封裝內部直接集成多層微流體通道，利用 相變傳熱（液體蒸發-冷凝循環）快速導出熱量。
三維毛細結構：內部采用多孔金屬泡沫或微柱陣列，增強工質（如水/氨）的毛細回流能力。
近結散熱（Near-Junction Cooling）：直接與芯片的硅中介層（Silicon Interposer）或3D堆疊結構（如SoIC）接觸，縮短熱傳導路徑。
3D-VC散熱器熱管屬于一維線性的傳熱器件，常規VC均熱板因為存在蒸發段以及冷凝段，根據設計位置的不同，散熱路徑上會存在多種分布可能，這使得常規VC均熱板成為了二維傳熱器件，但其散熱路徑依舊局限在同一個平面內。與一維熱傳導的熱管、二維熱傳導的VC均熱板相比，3D-VC散熱器的熱傳導路徑是三維的，立體結構的，非平面的。3D-VC散熱器利用VC、熱管相結合使得內部腔體連通，通過毛細結構實現工質回流，完成導熱。連通的內部腔體加上焊接翅片組成了整個散熱模組，使得該散熱模組實現了水平以及垂直等多維度的散熱。
熱管、VC、3DVC對比圖多維度的散熱路徑使得3D-VC散熱器在應對高功耗設備熱量的時候可以接觸更多的發熱源提供更多的散熱路徑。傳統散熱模組中熱管與VC均溫板屬于分離式設計，由于熱阻值隨導熱距離的增加而增加，散熱效果也就不甚理想。3D-VC散熱器通過將熱管延伸至VC均熱板本體中，VC均溫板的真空腔體與熱管連通后，內部工質連接，3D-VC 散熱器與熱源直接接觸，垂直的熱管設計也提高了傳熱的速度。
3DVC可嵌入臺積電的 CoWoS 2.5D/3D封裝中，為CPU/GPU/HBM提供一體化散熱。臺積電在IEEE國際電子器件會議（IEDM）上展示3DVC原型，可將3nm芯片結溫降低15°C以上。計劃與CoWoS-L封裝技術同步應用于AMD、NVIDIA的下一代產品。
冷卻方案差異
液冷是高功率下唯一可行的解決方案。
通過一定體積的液體流動傳遞熱量的效率遠高于通過相同體積的空氣傳遞熱量——水的效率約為空氣的3,600倍。這使得通過芯片散熱器進行液冷成為一種高效的方法。當芯片面積每平方厘米的散熱量超過約50瓦時，通常需要采用液冷。鑒于GB200的面積約為9平方厘米，任何超過450瓦的散熱量都表明需要泵送液冷。在“直接芯片”冷卻中，液體通過熱界面連接到芯片散熱器的冷板通道流動。當液體在此過程中不蒸發時，稱為“單相”操作，其中介質（通常是水）被泵送通過風扇冷卻的熱交換器。Flex 旗下公司 JetCool 提供直接芯片液體冷卻模塊，該模塊使用小型流體噴射陣列，精確瞄準處理器上的熱點，從而在芯片或設備級別提升高功率電子冷卻性能。
熱量可以轉移到第二個液體回路，該回路可以為建筑物提供熱水，并可能為當地消費者提供熱水。兩相操作通過使液體（通常是氟碳化合物）在吸收熱量時蒸發，然后在熱交換器處重新凝結，從而提供更好的傳熱效果。這種方法可以顯著提升性能。然而，仍然需要系統風扇來冷卻其他組件，盡管某些組件（例如DC/DC 轉換器）可以使用其自身的基板集成到液體冷卻回路中。這符合“垂直供電”的概念，其中 DC/DC 轉換器直接位于處理器下方，以最大限度地減少壓降。直接芯片方法的實際限制是芯片與冷卻板之間界面的熱阻。精確的表面平整度和高性能焊膏是必要的，但在數千瓦級功率下，溫差仍然是一個問題。
這一限制似乎即將限制散熱，進而影響性能。可以考慮采用浸入式冷卻技術。將整個服務器置于一個開放式的介電流體槽中，介電流體通過儲液器繞環路泵送至熱交換器。同樣，為了獲得最佳性能，可以采用兩相運行。
除了浸入式冷卻技術，IBM使用的是嵌入式微通道相變冷卻技術。IBM 將介電液直接泵入任意級別芯片堆疊的約 100μm 的微觀間隙中，通過介電液從液相沸騰到氣相來帶走芯片的熱量。他們對用此改造后的 IBM Power 7+ 芯片進行測試，結果表明結溫降低了 25℃。
為了實現嵌入式冷卻，IBM 拆掉了處理器的封裝蓋子以暴露出裸片，對裸片進行了深度反應離子蝕刻（DRIE），在其背面構建了 120μm 深的冷卻通道結構，并將一個玻璃片粘合到被蝕刻的芯片上以形成微通道的頂壁，用粘合劑將冷卻劑入口、出口黃銅歧管粘合到玻璃歧管芯片和有機基材上。冷卻劑進入模塊并通過 24 個入口，在相應的 24 個徑向擴展通道中分配流量。
英偉達：硬件級冷卻集成（NVLinkC2C技術）
Blackwell的發布，標志著AI硬件領域邁入了一個新紀元，其強大性能將為AI公司提供前所未有的計算支持，助力訓練出更復雜、更精準的模型，基于 Blackwell 的 AI 算力將以名為 DGX GB200 的完整服務器形態提供給用戶，結合了 36 顆 NVIDIA Grace CPU 和 72 塊 Blackwell GPU，而這些超級芯片通過第五代 NVLink 連接成一臺超級計算機提高整體計算性能。為了更好地支持GB200超級芯片的應用，英偉達推出了全新的計算集群DGX GB200 SuperPod，這一超級計算集群采用了新型高效液冷機架規模架構，能夠在FP4精度下提供驚人的算力和內存容量。通過DGX GB200 SuperPod，英偉達將為各行各業提供強大的AI計算能力，助力AI工業革命的發展，再次展現了其在AI領域的領先地位和創新能力。
具體來講，NVLINK 是一種專門設計用于連接 NVIDIA GPU 的高速互聯技術。它允許 GPU 之間以點對點方式進行通信，繞過傳統的PCIe總線，實現了更高的帶寬和更低的延遲。NVLINK 可用于連接兩個或多個 GPU，以實現高速的數據傳輸和共享，為多 GPU 系統提供更高的性能和效率。
例如，GB200 NVL72有 18 個 1U 服務器，其提供的 FP8 性能為 720 petaflops，FP4 計算性能為 1440 petaflops，可處理多達 27 萬億個 AI LLM 參數模型。每臺服務器里帶有兩個 GB200 Grace Blackwell Superchip，這些計算節點帶有 1.7TB 的 HBM3E 內存、32TB/s 的內存帶寬，為應對功耗過于強大問題，NVIDIA選擇全部采用液冷 MGX 封裝，采取液冷機架級解決方案。
