前幾天和一個在英偉達的老同事兼老同學一起吃飯時，聊到了許多老同事，很是感慨；我們這些人各有各的成功，共同的是都是在英偉達GPU計算這個平臺上，在HPC的業務上開啟了職業第一站。回想起2007年底英偉達第一次發布了CUDA，今天正好是12年，在中國的天干地支計年法中，12年是一個輪回，中國的電視劇中往往在輪回之時回首往事。
我2008年開始使用CUDA做GPU計算方面的工作，2011年加入英偉達，之后也基本一直從事HPC行業工作，經歷了英偉達的GPU計算業務幾乎從開始到現在的全過程，我想對于這個題目還是有一定發言權的。
我把英偉達GPU計算的成功總結為四個關鍵要素：戰略前瞻、核心能力構建、專注細分市場和重視生態，每個關鍵要求下面包含四五個小因素。
戰略前瞻，領導決定一切
2008年我剛在中科院過程所讀碩士，第一次接觸到GPU時很是吃驚，在當時4核CPU只有100GFLOPS計算能力的時候，英偉達的Tesla C1060已經過T了，并且推出GPU上的通用計算編程體系CUDA，相比友商的方案，顯著降低了編程難度。在那個時候稍早，在GPU上寫通用計算程序是要用OpenGL的，找某CPU廠商優化應用程序性能是要另外花錢的。在相近的價格下，能夠獲得近一個數量級的性能提升，并且硬件還可以用來玩高端游戲，這為GPU計算的擴張奠定了硬件基礎。
2008年AMD已經推出了16核的CPU，公眾開始意識到再在單板上堆更多的CPU核心有點不太現實，而通過CPU頻率提升來進一步提升單核性能這條路也難以為繼；在這樣的大形勢下，英偉達把之前用于圖形渲染的流水線GPU架構更新為統一架構，讓計算任務和圖形渲染任務使用共同的硬件單元運行，對圖形渲染來說這雖然浪費了一些GPU資源，但是他開啟了GPU通用計算的新時代，而統一架構使得在GPU上面運行通用的任務變得更為容易，可以基于CPU的通用的編譯器和工具鏈技術發展GPU技術，之前的知識和技術可以相對比較容易的遷移到GPU上，擴大了潛在的開發者數量。以后的歷史證明了，英偉達領導人的戰略眼光。
在大家都意識到摩爾定理難以為繼的時候，HPC領域并無太多潛在選擇，使用新架構是一個可能性，但是量子計算、生物計算都新架構還遠未達到可用水平，當時唯一的選擇只能是異構計算。通過把不同特性的計算任務交給不同的硬件執行，異構計算能夠獲得遠高于通用CPU的性能和效率，但是當時對于異構計算有許多選擇，比如DSP、FPGA以及各種ASIC，它們之間互不兼容，誰能夠最終笑傲江湖，依舊是未定之數。在NVIDIA 推出CUDA之后，一切就已經確定了，CUDA使用C語言擴展并行編程，通過共享存儲器來通信，兩個層次的并行都方式簡化了編程，使得本科生也能夠使用CUDA來寫大規模高性能計算程序；AMD的brook++一下子就黯然失色，brook是斯坦福一個實驗室開發的，Ian Buck當時正在那里實習。brook++是brook的升級版本，而那時Ian Buck已經在開發CUDA了，某種意義上說，CUDA從一個全新的路徑上揚棄了brook，而brook++只對brook做了修補，之后的發展大家就都知道了。這段歷史告訴我們，拋棄“歷史”可能意味著全新的可能和機會，當然這需要時機、領導者的勇氣、決心和擔當。
2012年一代不世出的天才alex 和 其導師Hinton使用CUDA在NVIDIA GPU上編寫了CUDA-CONVNET框架，在ImageNet競賽中一鳴驚人，開啟了深度學習的全新時代，英偉達敏銳的觀察到了其潛在的可能性，開始向世界的互聯網大企業推銷GPU，并且專門設立了互聯網行業銷售，我也是在那個時候開始關注BP算法，并且在一年后決定離開英偉達加入了當時如日中天的百度IDL。加入百度IDL后，著手開發深度學習基礎庫，當時在英偉達GPU上開發的深度學習基礎計算，性能遠超CUDA-CONVNET和Caffe，在此期間和alex在google code上有過討論，其學術天才氣質讓我自慚形穢；在一次內部Hi討論中，我論斷：如果英偉達在Deep Learning領域做成功，他在深度領域的成就將會遠超在傳統HPC領域，當時在那個群中的朋友依舊活躍在各大公司，但各人成就差距漸大，這是后話了。在向互聯網公司推銷GPU的同時，英偉達就開始了其深度學習基礎庫CUDNN的開發，并且在不到一年后推向市場。而我在轉正時決定離開百度IDL，后來追隨湯曉歐教授創立商湯，走向了另外一段旅程。
在CUDA推出的一段時間內，英偉達的HPC業務收入相比其它業務還是小頭，但是英偉達還是為了GPU計算開發了一代“熱卡”Fermi，Fermi進一步降低了CUDA編程的難度，但是在游戲市場上差點被AMD打敗，Fermi引發了是否應該為計算單獨設計一個GPU架構的討論。幾年后，當我獨自在各種限制和壓力下事實上負責一個業務的時候，我意識到“大黃”的聰明睿智，如果當年真的為計算獨立設計GPU，今天英偉達的GPU計算業務可能已經失敗，離開英偉達的幾年里，我漸漸深刻的認識到“大黃”是真正的戰略天才，這也漸漸讓我和商湯漸行漸遠，最終分道揚鑣。
因為業務體量小，英偉達的GPU計算還是掛在其它業務下面，這潛在的影響了GPU計算業務的發展，大約在2013年，英偉達成立了相關的BU，并且任命 Ian Buck作為負責人。Ian Buck是一員猛將加福將，在他負責之后，英偉達的GPU計算業務快速發展，很快迎來了深度學習時代。我記得：在潛在負責英偉達的GPU計算業務的候選人中，Ian Buck的職位并不高，但是任命他時，我沒有聽說有人質疑。這件事教會我不拘一格降人才的重要性，后來在我負責業務時，大力提拔和培養了許多人才，使得我的團隊成為商湯最強團隊之一，而我在負責的多個領域里也建立了自己的聲望。在我離開商湯后，我進一步意識到什么是真正頂尖的人才。
從2008年到2014年，在深度學習工業界大量應用之前，GPU計算給英偉達帶來的利潤并不高，客戶局限在一些知名大國企，但是每年的GTC “大黃”都會花大量的時間介紹GPU計算，出了什么新卡和新庫，CUDA新版本有那些特性等等，參會時經常忘記這是一家賣顯卡的公司。
核心能力構建，持續學習
當GPU從流水線架構轉向統一架構時，這意味著英偉達要開始轉型了，因為流水線架構的GPU只是一個圖形渲染的“加速器”，而統一架構的GPU已經可以稱為處理器了，這標志著英偉達從圖形渲染領域進入了HPC領域。
HPC業務需要的核心能力和GPU圖形渲染所需要的核心能力有非常大的區別，在英偉達進入HPC領域的時候，面臨了非常大的核心能力構建的挑戰；一個典型的例子就是：早期cublas和cufft的性能一而再再而三的被 HPC 領域人士吊打，但是英偉達很快就在相關領域建立了自己的核心能力，之后再也很少有人能夠提出吊打 cublas 和 cufft 的計算方法了。在被吊打期間，英偉達負責的團隊承受了非常大的壓力，但是英偉達內部并沒有給多的責備，更多的是提出期望，而基礎庫團隊也展現出了良好的風度，邀請相關人員去GTC上做講座，去交流，然后把學習到的成果更新到基礎庫中。從這段經歷里，我學習到了兩個受用至今并一直堅持的核心能力：一個是學習和迭代，另一個是解決問題而非責備。我每年至少讀十幾本書，找幾十個不同的人聊天，從書和他人身上學習好的方面。在帶團隊之后，在下屬沒有很好的解決問題時，我經常說：我發怒是因為我覺得你可以做得更好但是你沒有，這是一種期望而非責備。
在英偉達核心能力的構建過程中，按時間來看，主要有兩個部分：高性能計算能力和AI算法能力，其構建方法基本上是通過調用優秀人才組建初始團隊，然后再通過校招和社招補充領域頂尖人才。在具體的對外成果輸出上面，通過螺旋式提升來增強競爭力，幾個迭代下來，幾乎變成了業界最優的實現，cublas、cufft、cudnn和今天的許多新庫基本上都是同樣的方式完成的。在獨自成軍后，我也基本上借用了這個邏輯來創建新的團隊，調集一位有意向、學習能力、理解能力很強且具有自我成就感和追求的新人來負責，同時給他配備最優秀的新人，通過我的能力和威望讓團隊很快凝聚起來，形成集體建立共同目標；在產品開發上，第一版專注于應用場景的走通而非數字指標，之后再通過數字指標來引領進展，迭代提升。在解決問題的過程，強調全力追求最好的進展而非完美，在一個挑戰性的課題中，設計的越好可能就意味著失敗的可能性越大，因為在這個不確定性占主導的時代絕大多數時候沒人清楚的知道最終的結果全貌，我們只有一個模糊的形象或認知，而我們需要做的是一頭扎進去，在這種情況下維納斯才是完美。
專注細分市場，攻敵所不守
在CUDA推出時，高性能計算市場英特爾基本上一統天下，英偉達想無論是渠道、生態還是技術都遠遠落后，在這種情況下要從Intel嘴里搶肉吃，談何容易，選擇合適的細分市場和合作伙伴就很重要。孫子兵法所攻其所不守，“大黃”又一次展示了其戰略天賦，很明智的，英偉達從一個英特爾不能競爭的角度出發，英偉達說用上GPU你的程序就快了多少倍，你買的服務器就少了多少，你的維護成本就更低了，這個邏輯本身并不那么吸引人，因為客戶沒必要冒險從一個已經被無數人證明的平臺遷移到另一個平臺；但是這個戰略聰明的地方在于：英特爾沒法反擊，因為英特爾不能說我優化一下代碼，你用GPU的相對速度就沒那么快了，因為一旦客戶的程序快了，他買的機器就少了，這相當于斷自己的收入。“大黃”真正實現了“攻敵所不守”。
“攻敵所不守”并不能保證人們一定會用GPU計算，因為沒有應用，英偉達沒有一下子就從工業界出發，而是發現了從學術界出發的這條路，相比工業界，學術界更愿意試用新技術，畢竟那么多學生要發論文畢業。英偉達通過多種方式鼓勵高校和研究所從事CUDA相關的研究工作，設立CUDA研發中心，發CUDA大師證書，做CUDA技術認證，讓學術界為CUDA背書。通過學術界為工業界做預研，通過學術界為工業界培養人才。
超算是一個國家的核心競爭力之一，世界主要大國在這個領域競爭了幾十年，在可見的時間下依舊會競爭下去，這一領域有幾個典型的賽場：top500和green500，全球的多個國家都在這些賽場上展示自己的實力，而英偉達GPU超強的計算能力正好適合這個賽場，英偉達為各國的超算中心和國企在此賽場上的競爭提供彈藥。由于對國家來說，超算是核心競爭力，而國家并不缺乏“小錢”，更不缺乏人才，而在超算賽場上拿到第一對民眾的自豪感有極大的振奮作用，主導這些競賽的個人也獲得了巨大的政治收益，他們千方百計的使用各種技術來提升超算的競爭力，GPU為他們提供了最好的彈藥。英偉達通過支持各國的超算中心勇奪第一，既獲得了經濟收益，又作了很好的宣傳。
深度學習大火后，英偉達為互聯網大公司提供GPU用于深度學習訓練，這一領域基本上已經占據絕對優勢，并且為英偉達貢獻了大量收入和近十倍的市值提升。當英偉達意識到深度學習是一個潛在的大市場并為之大力投入時，其競爭對手幾無察覺。
重視生態，有所為有所不為
在推出CUDA后，如何建立生態，吸引開發者使用CUDA決定了英偉達是否能夠生存下去，英偉達推出了一系列的措施來建立生態，其中一些起到決定的性的作用。
在CUDA剛推出的時候，英偉達便宜的Geforce游戲卡就支持 CUDA，這一下子把CUDA的入門設備投入降低到千元級了，基本上那個學校的老師都買得起，完全去掉了設備這個限制，提高了開發者的覆蓋面。一些讀者可能要問：那英偉達怎么賺錢？答案是英偉達有企業級的Tesla卡，相比Geforce，Tesla為企業計算提供了更多支持，而且價格貴了許多。筆者CUDA開發的第一塊GPU卡就是 Geforce 系列，后來在前東家時，決策為集群使用了大量的 Titan 導致英偉達的同事責怪，據稱因為 Google 和 facebook聽說我們在用 Titan，因此他們也決定用Titan。2017年英偉達GPU驅動協議要求不能在數據中心使用 Titan，這是一個很有意思的舉動。
通過支持學生和老師發論文，英偉達為CUDA培養了大量的潛在開發者，而發論文和開發者因為興趣學習的最大區別是：發論文是必須要學，總不能因為不學習而畢不了業，而要畢業更要讓應用的性能足夠好。
英偉達通過inception計劃支持創業公司采用CUDA做項目，進入Inception計劃的項目能夠得到英偉達的資金和宣傳支持，這對許多創業公司來說還是有一定吸引力的。對于英偉達來說，通過 Inception 項目，他能夠了解世界上最領先的創業公司在做什么，同時通過投資等手段把這些創業公司吸引到自己的生態中。
英偉達開源了許多庫，如支持常見并行原語的cub，支持多GPU之間通信的NCCL，英偉達優化的nvcaffe等等，這些庫降低了各個領域使用英偉達GPU開發應用的難度。但是對于現有行業成功軟件和中間件，英偉達基本上沒有推出替代品，英偉達沒有自己的MPI實現，沒有自己的深度學習框架，英偉達通過開發能夠優化這些中間件的性能的基礎庫給這些廠商使能，通過這種“多交朋友”的方式，英偉達擴大了生態觸角；又避免了自己去做的潛在失敗可能，實際上大企業進入一個新的領域遇到挫折是常見的，一旦失敗，既被對方視為敵人又強化了對方的領域影響力。
