在人工智能芯片，尤其是在訓練芯片這個市場，英偉達是當之無愧的霸主。

　　得益于公司在通用CPU和CUDA生態方面的多年投入，英偉達拿下了AI訓練芯片公開市場的絕大多數份額。據筆者了解，除了谷歌自用的TPU頗具規模以外，其他的AI芯片在訓練市場現在基本都難以撼動英偉達的地位。但因為這是一個巨大的市場，所以不少廠商正在投入其中，期望打破這種格局，從中分一杯羹，來自英國的Graphcore正是其中一個最強挑戰者。

　　今年年中，Graphcore發布了全新一代的IPU芯片Colossus MK2 GC200 IPU，同時還帶來了搭載四顆MK2 IPU的系統解決方案IPU-Machine：M2000（IPU-M2000）。據介紹，這款產品還可以擴展到1024個IPU-POD，也就是512個機架，最多64000個MK2 IPU，進而把16bit FP的算力擴展到16 ExaFLOPs。

　　從基礎數據來看，IPU給英偉達帶來了前所未有的威脅。而在最近Graphcore發布的一個benchmark測試中，基于這個芯片打造的系統也在多項應用中領先于AI芯片領域的王者。

　　多維度領先GPU

　　Graphcore中國工程總負責人、AI算法科學家金琛在日前的一場媒體溝通會上告訴記者，Graphcore最新的AI計算系統——IPU-M2000和縱向擴展的IPU-POD64在各種流行的模型的訓練和推理方面的表現都優于英偉達的A100（基于DGX）。

　　首先看訓練方面：

　　從金琛提供的數據我們可以看到，在BERT-Large（基于Transformer的自然語言處理模型）端到端的訓練方面，英偉達DGX-A100所需的訓練時間是69.5小時。來到IPU-POD64上，PopART BERT-Large的端到端訓練時間僅為13.2小時。

　　“如此看來，相比1個DGX-A100，BERT-Large能在IPU-POD64上實現5.3倍的提升”，金琛告訴記者。她進一步指出，與三個DGX-A100相比，1個IPU-POD64也能夠實現1.8倍的提升。“1個IPU-POD64和3個DGX-A100的功率和價格基本相同，但卻能夠實現接近兩倍的性能提升，這就是非常顯著的性能優勢”，金琛補充說。

　　據金琛介紹，Graphcore的IPU在Deep Voice 3的訓練性能與英偉達GPU相比，也有不小的提升。如上圖所示，IPU-M2000的吞吐量是最新GPU的13.6倍。

　　來到機器視覺的訓練方面，IPU也毫不遜色。

　　如上圖所示，在大家較為熟悉的ResNet-50的訓練中，IPU-M2000較之A100有2.6倍的吞吐量提升。在ResNet-101的訓練中，IPU-M2000和A100相比，更是實現了3.7倍吞吐量的提升。

　　在EfficientNet-B4的訓練中，EfficientNet在IPU-M2000上實現了比A100高18倍的性能提升。從金琛的介紹我們得知，能實現這樣的飛躍，主要是因為EfficientNet是由可分離深度卷積組成的，它的卷積核比較小，使得您在調度上的開銷和算子的利用率在IPU上可能會有更好的體現。而ResNet-50則基本上是由卷積組成的。

　　“如果算子小、算子比較多，在GPU上的調度開銷也會引入跟HDM內存上數據交互的開銷，這就可能會導致它們的性能折損。這也從側面證明了新一代的模型上IPU其實更具普適性。”金琛說道。

　　在了解完IPU在訓練方面的優勢外，我們再來看一下它們在推理方面的杰出表現。首先被介紹的是IPU在EfficientNet上的推理性能。金琛表示，這個由谷歌在2019年開發的模型尺寸有8個等級，其中B0是一個模型尺寸比較小的模型，擁有5兆的參數量級。而B7則是其中最大的模型，參數量級大概是60兆-70兆。

　　“在PyTorch和TensorFlow兩種不同的框架下，EfficientNet-B0在1臺IPU-M2000上的吞吐量大概可以達到以‘萬’為單位的級別，時延則遠遠小于5毫秒。而在最新的GPU上，即使在時延最大化的情況下，它的吞吐量也遠遠小于以‘萬’為單位的吞吐量級，由此可充分體現IPU所具備的時延優勢”，金琛告訴記者。

　　“BERT-Large推理上，在IPU和GPU都處于最低時延的情況下，與A100相比，IPU-M2000也能實現3.4倍的吞吐量提升”。金琛進一步指出。

　　據金琛介紹，IPU-M2000在LSTM推理和ResNeXt-101的推理方面，獲得了遙遙領先于GPU的時延和吞吐表現。其中前者以更低時延實現吞吐量提升超過600倍，后者的吞吐量提升了40倍，同時時延縮短了10倍。

　　Graphcore軟件高級副總裁Matt Fyles在對測試結果發表評論時說，這一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在許多流行模型上的性能均優于GPU。他進一步指出，諸如EfficientNet之類的新型模型的benchmark特別具有啟發性，因為它們證明了AI的發展方向越來越傾向于IPU的專業架構，而非圖形處理器的傳統設計。

　　軟硬件是底氣

　　從前文的介紹中，我們可以看到Graphcore IPU及基于IPU打造的系統的實力。毫無疑問，Graphcore獨特設計的IPU芯片是其根本。但除此以外，Graphcore基于這個芯片打造的一個可擴展的硬件生態以及一個讓開發者的工作更簡便的軟件生態，才是Graphcore叫板英偉達的底氣。

　　Graphcore高級副總裁兼中國區總經理盧濤告訴記者，Graphcore的IPU-POD64是一個由16臺IPU-M2000組成的解決方案，目前也已經在全球范圍之內實現了該方案的交付。該方案具備的優勢之一是實現了x86和IPU計算的解耦。

　　“在IPU-M2000里，我們通過IPU-Fabric，使其能夠實現與x86服務器芯片之間的動態搭配。您在使用IPU做計算機視覺的應用時，可以把x86配比設置得高一點。而在做自然語言處理業務的時候，您則可能可以用一臺x86服務器帶動一個IPU-POD64、甚至兩個IPU-POD64。這就是解耦的作用”，盧濤舉例說。

　　此外，IPU-POD64是目前市場上非常少見的，可以同時將縱向擴展和橫向擴展都做得非常好的AI計算平臺產品。

　　據盧濤介紹，所謂縱向擴展是指IPU-POD64可以實現從一臺IPU-M2000到一個IPU-POD16（4臺IPU-M2000），再到一個IPU-POD64（16臺IPU-M2000）進行軟件透明擴展。換而言之，您在一個IPU-M2000里編譯好的軟件，可以被應用到擴展后的IPU-POD64上。

　　在談到為何將擴展限制在IPU-POD64的時候，盧濤表示，這是他們與很多頭部互聯網公司交流的結果。在后者看來，當前絕大部分單一工作負載最大不會超過IPU-POD64。也就是說，對于當前最主流的工作負載來說，1個IPU-POD64就能夠讓絕大多數工程師不需要擔心分布式的機器學習、分布式的機器學習框架和分布式通信等問題，可以進行軟件透明擴展。

　　“與之相比，如果您把DGX-A100這樣的機器，從1個擴展到4個，就需要用一個叫做分布式的機器學習框架，對您的算法模型進行相應的改造，才能被應用到新系統上”，盧濤接著說。

　　從橫向擴展的角度來看，多個IPU-POD64最多可以支持64000個IPU組成的AI計算集群。這就為開發者提供了更多的選擇。

　　在介紹了Graphcore的IPU在硬件方面的擴展能力之后，盧濤還對公司在軟件方面的進展進行了分享。首先，他講到，公司在發布Poplar SDK 1.4時，還發布了面向IPU的PyTorch產品化版本。

　　“在PyTorch的代碼里面，Graphcore引入了一個叫PopTorch的輕量級接口。通過這個接口，用戶可以基于他們當前的PyTorch的模型做一個輕量級的封裝。封裝之后就可以無縫的在IPU和CPU上執行這個模型了。在當前的Poplar SDK 1.4版本中，我們既支持模型并行、也支持數據并行。”

　　他進一步指出，這個封裝使得模型生成了一個IPU和PyTorch兼容的一個中間模型表示格式，這個表示格式可以通過PopART編譯起來，之后生成一個可在IPU上執行的一個二進制文件。“Poplar SDK 1.4版本支持模型從1個IPU橫向擴展到64個IPU。下一代的Poplar SDK可能能夠橫向擴展到128個IPU”，金琛補充說。

　　除了進一步完善自身的軟件方面以外，Graphcore還正在與微軟和阿里云進行開源相關合作。用盧濤的話來說，他們與這兩者的合作，目的就是希望能從AI編譯的角度，讓用戶能夠在GPU和IPU之間能實現盡量平滑的遷移。

　　金琛也解析道，NNFusion是微軟亞洲研究院所做的一項的工作，其目的就是為了讓用戶在不同芯片平臺上開發的時候，可以避免一些重復性的工作，使用統一的平臺、統一的接口，讓模型在不同的硬件廠商的芯片上無縫的運行。

　　“上圖中間表示，理想情況下，NNFusion可以做跨平臺的工作，既可以集成TensorFlow生成的模型、也可以集成PyTorch或其他框架生成的模型，用戶只要通過一個NNFusion接口就可以在不同的AI芯片上做訓練或者推理”，金琛告訴記者。

　　至于阿里云的HALO，其初衷也是和NNFusion一樣，想做一個整體的框架，向上跨AI框架，向下通過ODLA這樣一個通用的硬件接口對接不同的硬件廠商的芯片。據金琛所說，阿里云的初衷多是希望處理如TensorFlow的模型、ONNX的模型、或是PyTorch的模型等不同模型，然后能夠將它一鍵式地在系統上或者是集群上運行起來。

　　在問到對競爭的看法時，盧濤告訴記者，在他看來，Graphcore在AI芯片市場，唯一的一個挑戰者就是英偉達。這主要是得益于他們過去多年與開發者、社區一起共同建立的，包括GPU和CUDA在內的AI加速計算的軟硬件生態。但即使如此，他們對未來還是充滿信心，這一方面因為Graphcore的處理器在不同的地方充分體現了自己的價值；另一方面，Graphcore也在解決一些GPU所不能解決的問題。

　　“目前我們從體量和生態上跟英偉達相比，肯定還是有差距的。但只要我們在所聚焦的領域跑得更快，我們之間的距離會越來越短，甚至在某些領域超過英偉達。Graphcore希望在未來幾年之內，能夠真正在數據中心的AI訓練和推理的批量部署上面，在發貨以及體量上面，做到除英偉達以外的另一個頭部企業的地位，這是我們中短期的目標”，盧濤最后說。