深度學習領域仍在不斷變化，專家們認識到，如果芯片采用低精度數學方法來估算結果，那么神經網絡可以用最少的能量實現最大化計算。這在移動設備和其他功率受限設備中特別適用。但是有些任務，如訓練神經網絡，仍然需要高精度。IBM最近在IEEE的超大規模集成電路（VLSI）研討會上展示了一個原型芯片，它在兩個方面的表現都非常出色。

人工神經網絡訓練和網絡功能執行（稱為推理）之間的需求脫節，一直是設計加速人工智能功能芯片的難點所在。IBM的新型加速人工智能芯片能夠實現該公司所稱的“比例精度”。也就是說，它可以在32位、16位甚至1位或2位上進行訓練和推理。

凱拉什?古帕拉克里什南（Kailash Gopalakrishnan）是IBM位于紐約州約克鎮高地研究中心的項目負責人，他解釋說：“你可做的最高精度訓練為16位，而可做的最先進的推理是2位。該芯片涵蓋了迄今已知的最佳訓練和最佳推理。”

該芯片的這種能力源于兩項創新，創新的目標是保持所有處理器部件都保有數據并且都在運行。

古帕拉克里什南說道：“傳統（芯片）結構的問題之一是執行深度學習的利用率非常低。”即使芯片具有非常高的峰值性能，通常也只能利用20％到30％的資源來解決問題。而IBM的目標是始終保持在90％，且針對所有任務。

利用率低通常是由于芯片周圍的數據流存在瓶頸。古帕拉克里什南的團隊提出一個新數據流系統，可加速從一個處理引擎到下一個處理引擎的數據傳輸，可根據處理學習還是推理任務以及不同的精度來進行設置。

第二個創新是使用一種專門設計的“高速暫存”芯片存儲。CPU或GPU上的傳統緩存遵循通用計算所適用的某些規則，但會導致深度學習的延遲。例如，在某些情況下，緩存將一個數據塊推送到計算機主存，如果神經網絡推理或學習過程還需要這些數據，系統就必須等待數據被重新取回。

高速暫存區能夠保持數據流經芯片的處理引擎，確保數據在恰當的時間處于正確的位置。

由此產生的芯片可以執行人工智能深度學習的3種主要方式——卷積神經網絡（CNN）、多層感知器（MLP）和長短期記憶（LSTM）。這些技術在語音、視覺和自然語言處理方面占據重要地位。在典型訓練精度16位的情況下，IBM的新型芯片每秒鐘可進行1.5萬億次浮點運算；在推理最佳精度2位的情況下，每秒可進行12萬億次。

古帕拉克里什南指出，由于芯片是采用先進的硅互補金屬氧化物半導體（CMOS）工藝（格羅方德公司的14納米工藝）制造的，因此所有運算都聚集在一個相當小的區域內。這很重要，因為正如他所說：“在很多應用中，成本受到尺寸的限制。”

隨著越來越多的初創公司涌現，大公司也不斷推出新創意，IBM當然是這個是日益龐大的群體中的一員。盡管各家公司特點顯著，但也有許多共同之處。深度學習初創公司Mythic的首席技術官戴夫?菲克（Dave Fick）表示：“這些解決方案是根據具體問題而提出的。”所以“每個人都在尋求相似的解決方案”是有道理的。本刊采訪了Mythic和其他初創公司，它們的目標都是在2019年讓客戶真正滿意。

至于這項技術何時可能在IBM沃森上或以其他形式進行商業化，目前還沒有任何消息，但IBM的半導體研究副總裁穆克?什哈雷（Mukesh Khare）認為它能夠發展和改進。他說：“這只是冰山一角。”