最近爆火的ChatGPT和AI作畫驚艷了無數人，能對話問答、能翻譯、能寫詩，還能修代碼，ChatGPT展示了既強大又通用的語言能力。其強大的通用語言能力背后，是1750億個模型參數和45TB的訓練數據（以它的上一代GPT-3為例）。如此巨大的計算量，沒有算力的持續增長，是不可能實現的。ChatGPT及GPT-3這樣的大語言模型展示了，當模型的大小和訓練量的大小出現量變以后，最后的表現結果就是產生質變。這本質上揭示了“智能”和算力的深刻聯系。

　　算力發展與科技奇點

　　計算機的計算能力便每隔幾年翻一倍，計算機的應用也遍地開花：1980年代末出現了互聯網，1990年代出現了搜索引擎，2000年代出現了社交網絡，2010年代出現移動互聯網，而2012年AlexNet橫空出世。計算機應用的變遷和發展背后的動力則是算力的發展，當算力達到一定的程度了，相應的應用就會自然涌現。英特爾的創始人Gordon Moore1965年提出了著名的摩爾定律，后來摩爾定律有很多個說法，最簡單的說法是，在價格不變的情況下，芯片中的晶體管數量每18個月翻一倍。摩爾定律并不是物理規律，而是一種對于人類科技進步趨勢的洞察，即算力的增長是指數的。

　　美國著名未來學家、奇點臨近一書的作者Ray Kurzweil認為，算力的發展其實一直指數增長的過程，這個過程開始得遠遠早于摩爾定律，譬如世界上第一臺電子計算機使用的材料是電子管，而電子管后來被晶體管取代。在電子管之前甚至還有通過機械原理制造的計算機Z3。如今基于硅的集成電路工藝已經小到了一定程度，在未來會遇到散熱上的瓶頸，但是這并不妨礙未來人們會有更好的方式和材料來構造計算機，繼續保持算力的持續增長。

　　算力持續指數增長下去的結果就是科技發展的加快，想想從2012年Alex橫空出世到現在AI才發展了10年，就已經取得了巨大的進步。而人類14000年前才進入農業時代，200多年前才進入工業革命時代，不到100年前才有計算機，不到20年前才有智能手機，而10年前才有了深度學習的爆發，這的確印證了科技的指數發展。

　　神經網絡的低谷與爆發

　　1.神經網絡的發展，經歷了兩次低谷期：

　　第一次低谷是算法：神經網絡50年代提出，此時主要由生物學背景的科學家主導。但隨著人工智能之父提出的異或問題，人們開始質疑，認為神經網絡是騙人的。

　　但從80年代開始，物理學家開始進入這一陣地。并在1986年，提出了BP算法，通過梯度下降的方式，可以將誤差收斂到一個極小值，論上證明了神經網絡這種聯結主義可用，BP算法大獲成功。

　　第二次低谷是算力：隨著神經網絡的發展，人們很快就遇到了新的問題，那就是收斂速度和泛化的問題。

　　簡單說就是“慢”。當時的計算器CPU性能還不夠強大，對于稍微大點，層數和節點多一點的網絡，訓練時間太長，稍微大的規模就無法處理了。

　　2.進入21世紀出現了轉機：

　　數據：21世紀，互聯網快速發展，人類通過互聯網的運轉，獲取了過去十多年難以想象的海量數據。這些數據，為神經網絡的數據構建和訓練帶來了可行性。

　　高級算法：2006年，Hinton在Science首次提出“深度信念網絡”的概念。與傳統的訓練方式不同，“深度信念網絡”有一個“預訓練”過程，可以方便地讓神經網絡中的權值找到一個接近最優解的值，之后再使用“微調”（fine-tuning）技術來對整個網絡進行優化訓練。

　　預訓練+微調，這種兩部訓練技術的運用，大幅度的減少了多層神經網絡的訓練時間。在上一篇文章的ChatGPT發展過程中我也有提到，ChatGPT的基本能力來源于預訓練，而能力進化和解鎖來源于指令微調。

　　這個階段，訓練和計算基本依靠CPU進行，CPU頻率也在逐漸提高，但此時10億量級的鏈接，比如2012年的Google X 項目，訓練這一模型，耗費了1000臺計算機，16000個CPU計算，其訓練速度、運行時間、訓練成本都不能令人滿意。

　　而因為CPU算力有限，此時深度學習發展速度并不快。

　　3.GPU的強大計算能力的引入：

　　CPU是專門為按序列串行處理優化的核心組成；而 GPU 則擁有大規模并行架構，當中包含數千個更小、更高效的核心，專為同時處理多重任務而設計。與僅包含 CPU 的配置相比，GPU 的數據處理速度快得多。

　　在神經網絡在最初的訓練過程中，主要依靠的是CPU。

　　在2011~2012年前后，英偉達顯卡GTX580被導入到CNN模型計算，對于大模型的訓練，GPU的加速效果達到了CPU的60倍左右。比如上文的10億個連接的Google X項目，在同等工作量和時間下，只需要64個GPU的16臺電腦就可以運算出結果。

　　2012年，吳恩達用3臺GTX680，就完成了谷歌用1000臺CPU服務器才能完成的貓臉識別任務，GPU正式被各大互聯網頭部廠商導入，但依然處于CPU+GPU并行的階段。

　　2016年，英偉達推出新的GPU架構，專門針對AI計算進行優化。而在之后的兩年時間，基于深度學習的AlphaGo先后戰勝李世石和柯潔。

　　也就是那時候開始，深度學習/人工智能在短時間之內火遍業界、學術界和就業市場。相信幾年前的火熱場景大家還有影響，一個應屆生，只要會一點tensorflow，pytorch，會調參數的調參俠就可以被公司以四五十萬招攬。

　　而因為GPU強大的加速效果，隨著以深度學習為核心的各種應用，不斷涌現并且快速落地。GPU在此時，成為了AI計算的標配。

　　從數據，算法、算力，一點點積累，最終造就的就是一次小規模的科技大爆發，而這次科技大爆發的成果就是深度學習，而其所帶來的，則是算力需求的大爆炸。

　　算力需求大爆炸

　　1.需求大爆炸：

　　在深度學習新算法+GPU的兩大加持之下，AI計算在應用領域極速擴大。

　　尤其是隨著云計算、金融、短視頻推薦算法，圖像識別（安防、智慧城市）以及自動駕駛的飛速發展，互聯網巨頭、ZF，公共事業部門、安全部門等，對于算力的需求飛速增長。再加上加密貨幣的火熱，出現了第一次算力需求的大爆炸。

　　在社會層面，互聯網巨頭們對于算力的海量需求，大量的數據中心和算力中心被建立，GPU芯片被快速部署到各種服務器，數據中心，并且在持續的進行。

　　而政府規劃層面，東數西算、智算中心也自此誕生。

　　而英偉達則隨著GPU的大量出貨，GPU+CUDA獨霸市場，股價也開啟了從30，漲到800的逆天之旅。

　　2.GPU局限性

　　但是，通用GPU在使用過程中，也逐漸顯現出局限性，并不能滿足每一種需求，因為有的側重訓練，而有的則是側重推理，有的側重能效，比如加密貨幣領域，為了最求更高的能效比，礦卡開始大量取代英偉達的GPU。

　　其實，這個局限性，在谷歌的AlphaGO就已經顯現，最初的AlphaGo完整版本運行在48顆CPU和8塊GPU上，這個板本的AlphaGO的反應相對較慢，并不足以顛覆人機大戰，李世石一度很有信心。

　　但實際上，后續與李世石的對弈，谷歌引入了高度定制化的，基于tensor Flow深度學習架構的TPU，按照谷歌的描述，其TPU 平均比當前的 GPU 或 CPU 快15～30倍，能效比更是GPU的70倍，CPU的兩百倍。在這一配置下，AlphaGO以絕對優勢擊敗了李世石。雖然TPU通用性差，但效率巨高，后來在谷歌翻譯、圖像搜索、谷歌照片（Google Photo）、谷歌云視覺API 中大量應用。

　　與之類似的是，特斯拉的自動駕駛，FSD芯片從18年開始導入，不僅僅依賴于GPU, 而是專門加入了神經處理單元和各種加速器。后續更是開發了Dojo+D1芯片，專門承擔算法訓練重任。

　　還有百度，在使用GPU的時候，也采用FPGA研發AI加速。并最終自研了云端全功能AI芯片-昆侖。

　　而阿里，因為應用場景不同，則是自研了含光800，更加側重于推理。在城市大腦的業務測試中，1顆含光800的算力相當于10顆GPU。

　　可以說，在第一次算力需求大爆發下，GPU 雖然獨霸市場，但各種偏訓練、推理的專用芯片也開始快速的發展。

　　新的算力需求大爆炸即將到來

　　深度學習伴隨的第一次算力需求大爆炸，To C應用火熱的基本沒有，更多的是在To B 和 To G，主要在云端部署。GPU+專用芯片，第一次算力需求的大爆發，似乎處于一個相對平衡階段。

　　但是，當ChatGPT月活用戶接近1億的時候，事情就不一樣了。這是互聯網發展20年來，增長最快的消費類應用。這也是人工智能誕生以來，面向C端用戶增長最快的速度。

　　這是獲得大眾認可的AI C端產品，而過去，人們只會叫他們“人工智障”。天貓精靈或者各種什么同學，有時候能讓你氣的腦溢血。人們往往用一用，就過了新鮮勁，所以更多的AI還是在B端，G端，用在現在，已經有1億人對ChatGPT表示出了高漲的熱情。大佬們更是給出了超高的評價：

　　比爾蓋茨說，“ChatGPT讓我們窺見了即將發生的事情，這項技術以及其革新速度都令人印象深刻。”美國《財富》雜志評價ChatGPT就是人工智能行業的iPhone。商湯智能產業研究院長田豐認為：“ChatGPT驗證了當前AI大模型的巨大商業價值和科研價值。ChatGPT的出圈，可能意味著一個AI大規模商業化時代的到來。

　　ChatGPT讓谷歌，微軟、百度等一眾大佬剛到恐懼，他雖然不是搜索引擎，但用戶通過ChatGPT獲得更準確、及時、人性化的答案，這個時候還需要搜索引擎嗎？谷歌的Gmail創始人保羅·布赫海特認為，谷歌距離被徹底顛覆可能只需要一兩年的時間，像ChatGPT這樣的AI聊天機器人將摧毀谷歌，消滅搜索引擎結果頁面。

　　ChatGPT取得的成績，以及各種高度的評價，足夠令人重視。而我們需要重視的，是ChatGPT背后的通用大模型技術：他已經在醫藥研究、虛擬電廠等各種方向開始創新和發展。但當他以To C的方式出圈，會進一步推動這種模型在產業層的應用。

　　而這樣一個需要進行大規模預訓練，具有3000億數據，將近2000億參數的超級大模型。當前僅僅是GPT-3.5,   近期將會更新GPT-4，他的參數將比3代再高出幾個量級。

　　這個模型的訓練，目前OpenAI至少導入了一萬多塊的英偉達最高端的GPU進行預訓練。而觸發第一次算力需求大爆炸時的AlphaGO 僅僅需要8塊GPU RTX680，而和柯潔對戰的go只用了4塊GPU。

　　這種大模型，對算力的需求至少是指數級的增長。當他從實驗室走向落地，旦類似的大模型開始根據各行各業做推廣和部署，這個算力需求是個無底洞，當前的算力是不夠的。甚至于東數西算打造的各種數據中心，也遠遠難以應對即將到來的，"新的一輪的，算力需求大爆炸"。

　　我們可能需要更多，不僅僅依賴于數據中心，云計算，更需要算力網絡，需要云網融合，甚至需要端測設備也提供算力，將端側的閑置算力鏈接并網。我們不僅需要GPU，更需要各種專用的云端訓練芯片，推理芯片。我們還需要各種端側的推理芯片，NPU/AI 芯片，未來的各種終端都需要具有AI算力。不僅僅用于處理端側的算力需求，還要將閑置的算力貢獻到整個算力網絡中調配，類似于BTC挖礦。

　　新的一次的算力需求大爆炸，我相信不會太遠，也許在2025年前后就會到來。這是個機會，因為潛力和想象力巨大。但也很難，因為我們在高端算力上缺失嚴重，我們在高科技領域、半導體領域、高性能計算等方面被各種掣肘。

　　不過國家正在規劃的事情放到一起去看，能看出些東西的。比如GPGPU、算力、訓練芯片各種芯片廠家快速獲得大額融資；比如各家互聯網大廠、新能源汽車主機廠的數據中心，算力中心，智算中心的加快建設；比如國家的東數西算，云網融合，算力網絡。

　　相信趕上不會太遠了。

　　來  源 | 知乎@陳清揚、雪球@撿貝殼的FBB

歡迎關注電子技術應用2023年2月22日==>>商業航天研討會<<