新興的人工智能處理器創業公司Habana Labs 2016年創立于以色列特拉維夫，最初的業務為開發專為深度神經網絡訓練和生產環境中的推理部署而優化的處理器平臺。2018年11月，該公司宣布完成超額認購的7500萬美元B輪融資。此次融資由英特爾投資領投，WRV Capital、Bessemer Venture Partners、Battery Ventures和現有投資者等也加入其中。自創立以來，該公司已經籌集到1.2億美元，目前在特拉維夫、圣何塞、北京、波蘭設有辦事處，全球員工人數量為150人。
2018年9月，Habana Labs正式退出隱身模式，推出首個人工智能(AI)處理器Goya HL-1000，旨在處理各種人工智能推理(Inference)工作負載，如圖像識別、神經機器翻譯、情感分析、推薦系統以及許多其它應用。該處理器創下了兩項行業紀錄，基于ResNet-50推理基準實現每秒15,393張圖片的吞吐量，延遲時間為1.3毫秒，功耗僅為100瓦，并獲得150張圖片/每秒/每瓦的電源效率。
今年6月，Habana再接再厲，推出了全新的人工智能訓練(Training)處理器Gaudi，配備32GB HBM-2內存，目前提供兩種規格：HL-200—PCIe卡，設有8個100Gb以太網端口；HL-205—基于OCP-OAM標準的子卡，設有10個100Gb以太網端口或20個50Gb以太網端口。
Goya和Gaudi兩款處理器均采用16nm工藝制造，Habana Labs首席商務官Eitan Medina說，工藝對提升Habana產品的性能幫助不大，更多是源于架構創新。
Goya
下圖展示的Goya與NVIDIA T4 GPU、英特爾8180 CPU在ResNet-50推理基準測試中的性能對比，可以看出，與如今數據中心部署的一般解決方案相比，Goya性能是T4的3倍，是8180的12倍以上，但延遲只有T4的4%。
而在另一張圖片中，Eitan Medina說英偉達特別喜歡在公開場合強調其8片Tesla V100 GPU的性能等同于169片CPU的性能總和，但其實如果和Goya相比，只需3片Goya處理器，就能實現同樣的性能，且后者還具備更低的延遲和更好的能耗比。
“CPU和GPU從架構上來看更適合做通用計算和圖形處理，做人工智能的確有些勉為其難。” Eitan Medina認為Goya平臺之所以從誕生到目前為止，9個月的時間內依然是市場上性能最為領先的產品，是因為設計人員的目標非常明確，就是要實現深度學習推理，并在此基礎上將可編程張量處理器(Tensor Processing Core, TPC)、開發工具、圖書室和編譯程序等有機的融為一體，共同打造了一個高性能且節能的處理器平臺。
AI的性能主要體現在兩方面：計算能力和延遲。在ResNet-50基準測試中，用于衡量批處理性能的Batch size大小直接影響了處理器性能。在數據中心中，GPU為了實現高性能，必然要進行大量的批處理運算；如果在普通運算中，為了要實現更大的Batch size，就需要將大量數據讀取到內存中，但這樣帶來了延遲。Goya的奇妙之處在于它可以令Batch Size等于1，這意味著Goya一次可以處理一張圖片，但在一張圖片之下，又可以實現7000張/秒的性能，這對自動駕駛這類既需要高性能，又需要低延遲的應用來說非常合適。
精度是AI推理性能的另一個重要指標。通常情況下，在推理和預測當中為了考慮性能和效率，會將通過浮點訓練好的模型整齊化(quantization)，但此舉又會造成信息丟失，影響最重的計算結果。得益于強大的算法團隊，Habana成功的在兩者之間找到了平衡。
考慮到很多用戶當前的大部分工作仍舊基于CPU/GPU，如果貿然轉換到新的處理器上，之前的工作怎樣能夠快速、準確的部署到新平臺上肯定是他們最擔心的事情。Eitan Medina說自己完全理解用戶的這種顧慮，因此Habana labs在SynapseAI軟件棧中對訓練模型輸入進行了分析和優化，以通過Goya處理器實現高效推理。這款軟件包括一個豐富的內核庫，其工具鏈是開放的，供客戶添加專有內核，可與TensorFlow和ONNX等深度學習神經網絡框架無縫交互。
目前，Facebook在其官網上已明確表示Goya成為了第一款支持其Glow機器學習編譯環境的產品，Habana公司也將Goya的驅動程序開源提供給了Linux，最新版的Linux軟件已經集成了Goya驅動程序。
Gaudi
按照Habana的官方說法，基于Gaudi的訓練系統能夠在ResNet-50上提供1650張/秒的圖片處理能力，比擁有相同數量的NVIDIA V100 GPU系統高四倍，但功耗是V100的一半，約150瓦。此外，得益于創新的架構，Gaudi可實現訓練系統性能的近線性擴展，即使是在較小Batch Size的情況下，也能保持高計算力。因此，基于Gaudi處理器的訓練性能可實現從單一設備擴展至由數百個處理器搭建的大型系統的線性擴展。
除了領先的性能，Gaudi還為人工智能訓練帶來了RDMA over Converged Ethernet (RoCE v2) 功能，從而讓人工智能系統能夠使用標準以太網擴展至任何規模。相比之下，基于GPU的系統依賴于專有的系統接口，對系統設計人員來說，這從本質上限制了可擴展性和選擇性。
其實NIVIDA也意識到了這個問題。在2019年的GTC大會上，黃仁勛在演講中就重點介紹了英偉達為什么看好RDMA技術，并隨后以69億美元的價格收購了以色列公司Mellanox。Eitan Medina說在支持RDMA方面Habana與NVIDIA的理念是一致的，不同之處在于Habana直接在單芯片中集成了10個支持RDMA的端口，而V100要支持RDMA功能，必須要通過PCIE接口，然后在外部再接一個支持RDMA的網卡才能實現。另一方面，英偉達在擴展時采用了私有協議NVLink，Habana方面認為NVLink受限于規模，不具備實現大規模的擴展能力。這樣，Gaudi無論是在集成度上還是在RDMA數量上，都要比V100高出很多。
之所以設計成兩種不同的接口形式，Eitan Medina解釋說，如果在PCIe形態中，用戶可以直接用Gaudi替換當前服務器中使用的NVIDIA V100卡；如果采用OCP-OAM接口，這種模組化的結構更易于客戶設計屬于自己的產品，而英偉達目前還不支持OCP結構，更不支持OAM。
與Gaudi同時發布的還有一款名為HLS-1的8-Gaudi系統，配備了8個HL-205子卡、PCIe外部主機連接器和24個用于連接現有以太網交換機的100Gbps以太網端口，讓客戶能夠通過在19英寸標準機柜中部署多個HLS-1系統實現性能擴展。
Eitan Medina從三個方面將英偉達DGX-1與HLS-1系統的性能進行了對比。首先，盡管都是8片系統，但DGX-1采用了私有協議NVLink來實現互聯，只能實現相鄰兩顆芯片間的直接互聯，無法實現所有8顆芯片間的直接互聯；其次，如果DGX-1要實現擴展，只能依賴于它的4個100G以太網端口。而HLS-1系統則能夠支持24個100G端口；最后，DGX-1的系統管理和數據通訊都必須在PCIE總線上復用，性能上會有損失。HLS-1為系統管理和數據通訊選擇了兩條不同的路徑，大幅提升了總線效率。
舉例而言，在模型并行處理方面，DGX-2提供的NVLink端口有限，最大只能支持16個并行處理，這在很大程度上限制了模型并行處理能力。而HLS-1中的8片Gaudi 卡可以把80個100G的以太網口對外開放實現互聯，從而實現幾十個，甚至幾百個Gaudi系統之間的并行模型化處理。