隨著人工智能等高性能計算應用的持續火熱，這些方向也成為了半導體芯片行業發展最重要的驅動力之一。本屆Hotchips的亮點無疑是支持這些應用方向的芯片，尤其是應用于邊緣和數據中心的這類高性能計算賦能芯片。在本屆Hotchips共兩天七個主題議程中，約有一半的相關論文和這些高性能計算有關，涵蓋了GPGPU、機器學習加速、ADAS和高性能網絡開關等領域，而這些相關論文都來自Nvidia、AMD、Intel、Tesla等業界最頂尖的芯片公司，論文內容則是關于公司最新芯片的關鍵技術。這些賦能云端高性能計算的芯片有一個共同的特點，就是規模越做越大，而本屆Hotchips中我們也可以看到芯片設計行業正在使用全新的工具來確保芯片規模的繼續上升，而這些工具就是芯片粒/高級封裝以及芯片-軟件協同設計。如果說基于IP復用的SoC理念創造了上一代大規模集成芯片的蓬勃發展的話，那么芯片粒和軟件協同設計將會成為芯片突破集成度瓶頸并進一步提升芯片功能和晶體管規模的下一代支柱。

　　芯片粒是未來高性能芯片的支柱

　　隨著高性能計算對于芯片性能（包括算力、互聯和內存接口）的需求持續上升，整個芯片系統的晶體管規模和設計復雜度也在相應提升。這樣的性能需求上升是指數級的：以Nvidia的GPU算力為例，一般的規律是每一代（兩年）GPU的性能相對于上一代提升兩到三倍。為了應對指數級上升的性能需求，芯片系統必須要從兩個方面實現不斷提升，其一是單芯片的性能，其二是可擴展性。單芯片的性能提升約等于在芯片中加入更多的晶體管，其主要挑戰在于如何提升良率和降低成本，因為芯片的良率隨著晶體管數量提升（即芯片面積上升）而快速下降，單純堆積晶體管的做法會導致良率低到無法接受。除此之外，還需要確保芯片系統設計是可擴展的，即可以把多個單元芯片協同工作以進一步提升性能?？蓞f同性的主要挑戰在于IO帶寬，如果IO成為瓶頸的話，那么多個單元芯片協同工作的性能并不會比單元芯片強很多。

　　為了解決良率和可擴展性的問題，芯片粒加高級封裝技術就成為了目前芯片廠商普遍的答案。在這樣的方案中，首先不再追求每個單元芯片的集成度，而是把單元芯片做成面積較小的芯片粒，這樣芯片粒的良率會遠遠高于大芯片。同時，將多個芯片粒用高級封裝的技術集成到一起來實現大規模芯片系統，由于高級封裝技術同時提供了大帶寬的高性能互聯，這樣就就解決了可擴展性問題。

　　在本屆Hotchips上，我們可以看到芯片粒加高級封裝已經成為了高性能計算的主流解決方案。Intel的Ponte Vecchio是本屆Hotchips的一大亮點：Ponte Vecchio是Intel的下一代GPU架構，其設計中使用了大規模芯片粒和高級封裝技術，而在本次Hotchips上Intel公布了Ponte Vecchio的最新架構細節和相關數據。在Ponte Vecchio中，會有多個Xe 核心使用高級封裝（EMIB）的方式組成compute tile，而L2 Cache則有相應的一個芯片粒（稱為Cambo cache tile），并且和compute tile集成到一起。而除此之外，還有HMB和用于芯片間互聯的Xe Link芯片粒，這些芯片粒組成了整個Ponte Vecchio系統。由于使用芯片粒的方式，我們看到Intel可以在良率可控的情況下加入大量的Xe核和海量緩存（cache）：整個Ponte Vecchio包括了128個Xe核，64MB的register file，64MB的L1 cache和408MB的L2 cache。整個Ponte Vecchio系統可以實現839 TFLOPS的峰值浮點數算力以及1678 TOPS的峰值整數算力，在實現如此高算力的超大規模芯片系統中，芯片粒和高級封裝技術可謂是居功至偉。

　　在Intel的Ponte Vecchio之外，Tesla也公布了其用于人工智能模型訓練的Dojo芯片。在Dojo芯片系統中，其基本的計算chiplet是D1，每個D1包括了362TFlops算力和440MB SRAM，同時每個Dojo則包含了25個這樣的D1芯片粒以及40個專用的IO芯片粒，使用TSMC的system-on-wafer技術集成到一起，從而實現超大算力支持。

　　在Intel和Tesla之外，AMD在本屆Hotchips上也帶來了其MI200系列高算力GPU加速芯片，這也是全球第一個使用芯片粒技術的GPU。AMD將兩塊芯片粒封裝在一起，同時使用400GB/s的高帶寬封裝內互聯確保不同的芯片粒之間能高效互聯，每個芯片系統包含了580億個晶體管，使用TSMC 6nm制造。MI200是AMD在GPGPU領域的重要布局，我們從中看到芯片粒也起了至關重要的作用，而在其下一代MI300 GPGPU目前公布的信息來看，AMD將會進一步加強芯片粒和高級封裝技術的作用，從而實現更大規模和更高性能的芯片系統。

　　芯片和軟件協同設計將成為主流

　　在芯片粒之外，另一個值得我們關注的動向是芯片和軟件協同設計。如前所述，芯片系統的規模正在越來越大，模塊越來越多，功能越來越復雜，如果沒有一個好的軟件系統和生態的話，具體的應用很難充分利用芯片提供的性能，從而看到的就是實際應用中的實際性能和芯片的峰值性能相差甚遠。更進一步，隨著人工智能這類算法驅動類應用的火熱，如何結合算法來做芯片的優化和設計也是進一步提升芯片性能的重要方法之一。而我們在本屆Hotchips上也確實看到了軟件和算法相關優化成為了廠商在演講內容中的重點。

　　Intel在本屆Hotchips上的Ponte Vecchio演講中，一個重點就是其OneAPI軟件接口以及DPC++工具。OneAPI使用一個API來支持不同的底層硬件，從而理想的情況下無需修改應用的軟件代碼，只需要在OneAPI中直接指定相應的后端執行硬件就可以。OneAPI計劃會支持至少Intel的CPU和GPU，可望大大減少應用所需要的軟件工作。另一方面，DPC++則是Intel對于目前CUDA生態的回應，使用DPC++可以將已有的為CUDA編寫的程序直接移植到Intel的GPU上，這樣就大大增加了Intel生態的吸引力。

　　軟件在Tesla的Dojo芯片中也起到了至關重要的作用。如前所述，Dojo的設計牽涉到大量的compute tile，如何在不同的compute tile之間分配任務就成了決定整體系統性能的關鍵；除此之外，如何在不同的Dojo芯片之間分配任務也決定了整體系統的可擴展性。在Tesla的解決方案中，編譯器軟件將會確保將模型并行化處理并且加載到不同的compute tile中，同時盡量保證模型需要的數據都能裝入片上SRAM中以保證性能降低對外部DRAM的依賴。除了編譯器之外，Tesla在軟件-芯片協同設計中另一個值得一提的是使用了獨特的數值表示方式，在常見的FP16和BFP16之外還支持自研的CFP8和CFP16格式的數值表示方式并且在芯片中做了相應支持。根據Tesla公布的材料使用CFP8和CFP16可以獲得更好的模型訓練效果，而這也是軟件-芯片協同設計的很好例子。

　　在Intel和Tesla之外，在本屆Hotchips上和AI相關的演講幾乎都會涉及軟件-芯片協同設計，其中包括了業界巨頭如Nvidia（Hopper GPU中使用了FP8和Transformer Engine），以及新銳初創公司如Untether AI（公布了UAI FP8數制和imAIgine SDK）和壁仞（TF32+數制和BIRENSUPA軟件平臺）。我們認為，軟件-芯片協同設計正在成為芯片行業進一步推動芯片規模更上一個臺階背后的重要支柱之一，只有在有了強而有力的軟件支持，以及對于算法的深入理解后，芯片規模進一步提升才會有相應的回報。

 更多信息可以來這里獲取==>>電子技術應用-AET<<