自從 AI 大模型來了，英偉達喝湯喝到撐，GPU 自然也就成了香餑餑。但在地緣政治局勢愈發緊張的現如今，國內高端 AI 芯片不斷被圍追堵截。
就比如，7 月 22 日就出現了戲劇性的一幕，英偉達出現一正一反的消息：一方面，美政府正考慮新的貿易限制，阻止英偉達向中國市場推出 " 特供版 "HGX-H20 AI GPU，如果限制正式實施，英偉達可能會損失約 120 億美元的收入；另一方面，英偉達正在為中國市場打造全新的特供版 GPU，以剛推出的 "Blackwell" 為基礎打造 B20。
可以說，美國方面的態度非常鮮明，就是要全面圍堵中國獲取高端 AI 芯片的渠道，以此占領 AI 領域的高地。
在這種情況下，國內又該如何應對？最近一段時間內，國內開始瞄準 TPU（張量處理單元），另辟蹊徑。
國內也有廠商做 TPU 了
眾所周知，AI 大模型主要分為兩個階段，一是訓練，二是推理。
推理芯片常見，而訓練芯片不常見，這是因為訓練不僅消耗巨大的算力資源，同時需要處理大量的并行任務，所以 GPU 才會成為當前的主流。
TPU 全稱 Tensor Processing Unit，是一種專為處理張量運算而設計的 ASIC 芯片，由谷歌自研在 2016 年推出首款產品。在深度學習的世界里，張量（多維數組）是無處不在的。TPU 就是為了高效處理這些張量運算而誕生的。
TPU 內置大量矩陣運算單元，使得其能夠并行處理大量的矩陣運算，大大提高計算效率。
不過相比 GPU 或者說 GPGPU，TPU 太專用了，但是應付 AI 訓練還是綽綽有余。
簡單粗暴對比起來就是：TPU 與同期的 CPU 和 GPU 相比，可以提供 15～30 倍的性能提升，以及 30～80 倍的效率（性能 / 瓦特）提升。
早在 2018 年，就有一家 AGM Micro 國內公司提供 TPU 推理技術授權，不過，后來這家公司基本不怎么發布關于 TPU 相關的消息了。
而最近，一家名為中昊芯英的國產公司，就展出了其首枚高性能 TPU（張量處理器）AI 訓練芯片。
據了解，中昊芯英 TPU" 剎那 " 于去年成功量產，已在全國多地千卡集群規模的智算中心交付落地。該芯片以 1024 片芯片高速片間互聯的能力構建了大規模智算集群 " 泰則 "，系統集群性能遠超傳統 GPU 數十倍，可支撐超千億參數 AIGC 大模型訓練與推理。
公開資料顯示，中昊芯英創始人楊龔軼凡曾在谷歌作為芯片研發核心人員，深度參與了谷歌 TPU 2/3/4 的設計與研發，在他看來，TPU 是為 AI 大模型而生的優勢架構。
碳納米管和 TPU，牽手了
昨日，也傳出另一個與 TPU 相關的消息。
消息顯示，北京大學電子學院碳基電子學研究中心的彭練矛 - 張志勇團隊，在下一代芯片技術領域取得突破，成功研發出世界首個基于碳納米管的張量處理器芯片（TPU）。
官方表示，高能效計算芯片的發展有兩個重大瓶頸：一是傳統馮諾依曼架構已經無法滿足高速、高帶寬的數據搬運和處理需求；二是構建芯片的硅基互補金屬氧化物半導體晶體管，進入了尺寸縮減、功耗劇增的困境，亟需發展超薄、高載流子遷移率的半導體作為溝道材料。
而碳納米管具有優異的電學特性和超薄結構，碳納米管晶體管已經展現出超越商用硅基晶體管的性能和功耗潛力。不過，為了最大化發揮芯片算力和能效，必須將新材料與器件結合，北大的這一個成果就主要圍繞這方面進行了研究。
作為世界首個碳納米管基的張量處理器（TPU）芯片，可實現高能效的卷積神經網絡運算。省流版總結如下：
工藝：該芯片采用 2bit MAC（乘累加單元），3 微米工藝技術節點，集成 3000 個碳基晶體管，可實現圖像輪廓識別、提取等功能，圖像輪廓提取正確率達 100%；
架構：該芯片采用脈動陣列架構設計，可實現高效地數據復用，大大節約張量運算所需的數據存儲、搬運等操作，精準匹配了神經網絡的運算特點；
識別率：其上搭建了 5 層卷積神經網絡，實現手寫數字識別的應用，理論正確率 90%，實際正確率可達 86%；
功耗：僅為 295μW，器件總數也為新型卷積加速硬件中的最低值；
實際應用效果：該芯片可使用 180 nm 碳基技術進行流片加工，仿真結果表示，碳基神經網絡加速芯片可在 1 V 電壓下工作，可運行的最高主頻為 850 MHz，能效可以達到 1TOPS/w。
" 群毆 " 英偉達
相比其它 AI 芯片來說，TPU 的關注度的確高很多。今年 6 月，就有消息稱，生成式 AI 技術大廠 OpenAI 為了自研 AI 芯片，新招募的研究人員幾乎為谷歌 TPU 團隊的前員工。可以說，在大規模訓練和推理上，TPU 是相對成熟的方案。
作為 TPU 的發明者，谷歌之所以推出 TPU，其目標便是為企業提供 Nvidia GPU 的替代品。前陣子的 Google I/O 2024 上，谷歌推出第六代 TPU，性能有顯著提升。
與 TPU v5e 相比，Trillium TPU 峰值計算性能提高了 4.7 倍。為了實現更高的性能，谷歌投入了大量精力擴展執行計算的矩陣乘法單元或 MXU 的大小，并提高了其整體時鐘速度。此外，Trillium GPU 的高帶寬內存容量和帶寬是原來的兩倍，而芯片間互連帶寬也增加了一倍。
為了讓客戶更放心地替代英偉達，谷歌也在謀劃用 TPU 替換掉 GPU ——可能在今年底停止外部 AI 算力芯片的采購，轉而完全依賴自研的 TPU。谷歌的算力總量，結合自研 TPU 和先前的芯片采購，預計可達全球算力總量的 25%。
總之，現在的英偉達四面楚歌，誰都想取代他。隨著特供版接連被圍堵，國內市場似乎對英偉達不買賬了，轉向采購國產芯片。但在 AI 芯片市場上，從來沒有什么穩賺不賠，前兩天就有一家日本 AI 芯片廠商宣布解散。可以從此看出，TPU 的立足之本，便是更好的能效比和軟件生態。在此方向上，國產在路上。
