由于大部分繁重的 AI 任務都是在云端完成的，因此人們很容易忘記 AI 需要大量的計算資源及電力。
馬薩諸塞州大學阿默斯特分校去年的一項研究發現，訓練一個大型自然語言處理（BERT）AI 模型因消耗電力而產生的二氧化碳（CO2），相當于跨大西洋往返航班對每個乘客所產生的 CO2。那只是一個模型，雖然是變換網絡，但只需訓練一次。開發過程中通常會對模型進行多次調整和反復訓練。如果將神經網絡結構搜索（一種使用 AI 來調整模型的 AutoML 技術）加入一個大小適中的轉換器中，其 CO2 總排放量將猛升到幾乎與 5 輛美國汽車的終身排放量相同。
圖 1：訓練一個大型的自然語言處理 AI 模型時，其消耗電力所產生的 CO2 相當于跨大西洋往返航班對每個乘客所產生的 CO2。
AI 加速器有望提高 AI 處理的計算效率。隨著 AI 處理量的不斷增加，數據中心將會采用這些新的專用加速器。
但是 AI 加速器可以節省能源嗎？究竟是總的用電量下降了，還是數據中心只不過利用同樣的電力實現了更多的計算？
AI 訓練策略
“AI 計算使用的能量多少是由幾個因素決定的。”IBM Cognitive Systems 技術計算副總裁 David Turek 解釋說，“采取什么樣的策略來訓練模型，會影響所消耗的能量。每瓦特的計算量并不是特別有用的指標，因為有很多種不同的方法可以降低總能耗。”
他補充說，整個系統架構和應用環境決定了實際上需要多少能源。“從模型訓練到模型部署，計算能力的不同級別直接影響其基礎架構，從而直接影響所消耗的能源。”
人們通常認為，AI 系統中一次只訓練一個模型，然后將其部署到其他地方進行推理。但事實并非如此，典型的 AI 系統會多次訓練很多模型，并且可能同時在多個模型上進行推理以獲得最佳結果。
完成部署后，有時會使用聯邦學習（federated learning）之類的技術，在邊緣而不是回到數據中心更新增量模型。需要消耗多少能量取決于在邊緣進行什么處理。
換句話說，訓練特定的 AI 模型所消耗的能量并不是直接就可以確定的。“但數據中心的基礎設施是固定的，因此調整工作流程是節省能源的最好方法。”Turek 說。
可能的方法有：將 AI 模型與傳統的高性能計算融合，以減少所需的總計算量；縮短完成一項工作所花的時間，以減少 GPU 等高能耗 AI 加速器硬件的使用；避免在數據中心使用聯邦學習之類的技術重復訓練。
Turek 說：“這是從管理的角度來聰明地安排工作流程，利用最佳的方法為現有系統分配可用的能源。通過能源預算和能源消耗，運營商可以在其硬件基礎架構上進行調度分配。”
在更高的溫度下運行
服務器制造商 Supermicro 去年年底發布的數據中心環境實踐年度調查報告顯示，能源效率仍然有機會提高。Supermicro 營銷和網絡安全副總裁 Michael McNerney 認為，這些機會正在流失。
McNerney 說：“我們認為一些基本的最佳實踐可以為客戶帶來很大價值。其中的一條是，相比傳統的數據中心環境，我們今天構建的系統可以在更高的溫度下運行，許多長期從事數據中心運營的人卻沒有意識到這一點。”
在目前的設計中，不再需要將設備冷卻到 23~25°C 來確保其性能和可靠性。一些“綠色”數據中心處于極端溫度下，即便是很小的變化，例如減少空調的使用，也可以節省能源。
圖 2：現代服務器和基礎設施可以在更高的溫度下運行，并且切換為多節點系統，從而降低了總能耗。
多節點系統是節省能源的另一種方法，其中多臺服務器在共享的基礎架構上運行。這種配置減少了所需的大型電源和風扇數量。多節點系統具有更高的能源效率，可以在更高的溫度下運行，并提供更高的功率密度。
Supermicro 的調查還發現，目前每個機架的平均功率密度為 15kW，服務器進氣入口溫度為 23.5°C，服務器每 4.1 年更換一次。而在采用高度優化綠色設計的數據中心（占受訪者的 12％），每個機架的功率密度超過 25kW，平均入口溫度為 26.5°C，服務器每 2 至 3 年更換一次。因此，Supermicro 得出結論，大多數數據中心仍需繼續優化能效。
令人驚訝的是，大多數受訪者并不認為能耗是成功的關鍵指標。“我們已經看到，公司的設施預算與硬件及系統的資產購置成本是分開的，它們與人力成本也是分開的。我認為人們很清楚地知道這一點，但是并不會進行綜合考慮和優化。”McNerney 說。
“較大的數據中心更了解總運營成本，但若增加資產購置預算，能源預算就會減少，人們有時很難把這兩者關聯起來。”
McNerneyt 認為整個數據中心的功耗并不會很快下降。他說：“長期的發展趨勢是，一些在線服務的能耗會隨著效率的提升而改善，然而隨著 5G 和 AI 的逐漸普及，總體功耗仍將繼續增加。”
電費與能耗
英偉達加速計算產品管理總監 Paresh Kharya 表示，數據中心運營商希望全面提高能效，因為電費占其運營成本的 25％。
能源使用效率（PUE）是一項廣泛使用的用來衡量能源節約的指標，表示計算所消耗的能源與數據中心基礎設施消耗的總能源之比。目標是 PUE 等級為 1。
Kharya 說：“多年來，超大規模數據中心的 PUE 接近 1 或 1.1，非常高效。企業數據中心也取得了很大進步，大多數情況下，其 PUE 等級已經從大于 2 降到了遠遠低于 2。”
超大規模數據中心采用優化的機架和散熱設計，可以大規模運行，其優化和使用復雜技術的能力是大多數企業數據中心不具備的。Kharya 表示：“許多企業已開始采用這些創新技術，能源效率得到了顯著提高。”
由于各家公司關注的是電費而不是功耗，所以 Kharya 認為，執行任務所花費的時間是一個重要因素。“例如，在一臺只有 CPU 的服務器上訓練 ResNet-50 模型的圖像識別可能需要長達三周的時間，而配備英偉達 V100 GPU 的服務器可以在一天之內完成這一任務。”他補充道。
“每臺配備英偉達 GPU 的服務器比配備 CPU 的服務器消耗的能源更多，但它完成任務的時間將大大縮短。因此，如果使用 GPU 加速器，用于完成 AI 處理的整體能耗將降低至原來的 20 到 25 分之一。”Kharya 強調。
了解數據中心工作負荷
英特爾數據平臺營銷總經理 Allyson Klein 表示，數據中心運營商會盡量確保所有系統高效運行，讓昂貴的基礎架構提供最大的計算能力。
“數據中心運營商的主要目標是使基礎架構的性能達到最好。”Klein 說，“性能高低取決于系統和機架的級別，同時還需要整個數據中心協同工作，使每瓦性能達到最高。”
因此，為了部署合適的基礎架構來滿足性能和能耗要求，全面了解數據中心的工作負荷非常重要。最理想的結果是計算容量更大，功耗更低，并且不會閑置基礎設施而白白消耗電力。
究竟是在 CPU 中集成加速功能還是采用分立的加速器，這通常需要進行權衡。Klein 說：“加速器會增加功耗，但如果它一直工作，則整體效率更高。如果加速器完成大量工作，利用率高，在客戶愿意投資基礎設施的情況下，使用分立的加速器是較好的方法。如果不能一直使用加速器，則采用 CPU 方法可能是更好的選擇，因為加速器經常會空閑，耗電卻不執行任何任務。”
Klein 表示，在大多數部署中，AI 只是數十萬種不同工作負荷的一種。盡管英特爾提供了 CPU 和專用 AI 加速器（通過 Habana Labs），但由于工作負荷種類很多，從功耗和投資角度來看，Xeon Scalable（CPU）平臺可以說是最高效的產品。
Klein 說：“英特爾的 AI 策略建立在 Xeon Scalable 處理器的基礎之上，Xeon Scalable 內部做了 AI 優化，并針對機器學習和深度學習進行了大量軟件優化。”
提高效率
盡管 GPU 等 AI 加速器能耗很大，但進行 AI 處理時，它們的高計算效率可以降低總能耗。AI 處理在數據中心所占比例越來越高，但數據中心日常處理的負荷種類仍然多種多樣。
加速器使 AI 處理受益最大，CPU 則繼續在超大規模和企業數據中心市場贏得席位，因為 CPU 應用更加靈活。隨著 AI 應用的不斷擴大，以及新的 5G 應用產生更多的非結構化數據，數據中心的能耗不太可能很快下降。