幾年前，有次我和一位正在創(chuàng)業(yè)的朋友喝咖啡。當(dāng)時(shí)他剛剛過(guò)了 40 歲生日，父親生病了，又經(jīng)常背痛，他覺(jué)得自己被生活壓得透不過(guò)氣。“別笑話我，”他對(duì)我說(shuō)，“我可是盼著奇點(diǎn)來(lái)臨拯救我呢。”

       我的這位朋友在科技行業(yè)工作，他目睹了微處理器的飛速發(fā)展和互聯(lián)網(wǎng)的崛起。即便是在中年危機(jī)來(lái)到之前，想要讓他相信機(jī)器智慧超越人類(lèi)——也就是被未來(lái)學(xué)家稱之為奇點(diǎn)的那一刻——也不是那么難。一種博愛(ài)的超級(jí)智慧或許能夠迅速以更快的速度分析人類(lèi)的基因密碼，破解人類(lèi)永葆青春的秘密。即便做不到這一點(diǎn)，或許至少能弄清楚如何解決背痛的問(wèn)題。

       但是如果它沒(méi)有那么友好會(huì)怎樣？牛津大學(xué)未來(lái)人類(lèi)學(xué)院主任 (Future of Humanity at the University of Oxford) 尼克?博斯特姆 (Nick Bostrom) 在他的新書(shū)《超級(jí)智慧》(Superintelligence) 中描述了下面一種情況，這段內(nèi)容也引發(fā)了一場(chǎng)有關(guān)未來(lái)人工智能的激烈辯論。試想一臺(tái)我們可以稱之為“紙夾最大器”(paper-clip maximizer) 的機(jī)器，它的程序被設(shè)置成生產(chǎn)盡可能多的紙夾。現(xiàn)在我們假設(shè)，這臺(tái)機(jī)器變得超級(jí)智能了。因?yàn)槠淠繕?biāo)已經(jīng)設(shè)置好，它可能會(huì)接著自己決定生產(chǎn)新型的、更有效率的紙夾制造機(jī)——直到有一天，就像米達(dá)斯 (King Midas) 一樣，它從本質(zhì)上將所有東西都變成了紙夾子。

       不必?fù)?dān)心，你可能會(huì)說(shuō)：我們只要將其程序設(shè)置成生產(chǎn) 100 萬(wàn)個(gè)紙夾之后立刻停止就可以了。但是如果這臺(tái)機(jī)器在生產(chǎn)了紙夾之后，又自己決定去檢查制造的產(chǎn)品怎么辦？檢查計(jì)數(shù)是否準(zhǔn)確怎么辦？這臺(tái)機(jī)器要變得更智能才可以確認(rèn)這些問(wèn)題。這臺(tái)超級(jí)智能機(jī)器生產(chǎn)了一些還未被發(fā)明的粗糙計(jì)算材料 ——稱之為“計(jì)算質(zhì)”(computronium) 并將其用于判斷每個(gè)疑問(wèn)。但是每一個(gè)新的問(wèn)題又隨著接踵而來(lái)，如此反復(fù)，直到整個(gè)地球都轉(zhuǎn)化為“計(jì)算質(zhì)”。當(dāng)然，除了那 100 萬(wàn)個(gè)紙夾之外。

       博斯特姆并不認(rèn)為“紙夾最大器”會(huì)發(fā)展成和上述情況一模一樣，這只是一個(gè)思維試驗(yàn)。人們進(jìn)行這種試驗(yàn)是為了說(shuō)明，即便是再仔細(xì)的系統(tǒng)設(shè)計(jì)也可能無(wú)法控制機(jī)器智能的極端情況。但是他堅(jiān)信超級(jí)智能會(huì)形成，并認(rèn)為這種智能能發(fā)揮偉大的作用，但是也會(huì)自己決定不再需要周?chē)娜祟?lèi)。

       如果這種說(shuō)法聽(tīng)起來(lái)讓你覺(jué)得很荒謬，你不是一個(gè)人。機(jī)器人專(zhuān)家羅德尼?布魯克斯 (Rodney Brooks) 就是批評(píng)者之一，他表示恐懼人工智能會(huì)失控的人誤解了我們所說(shuō)的電腦在思考或者電腦變得更智能。從這個(gè)角度來(lái)看，博斯特姆描述的所謂超級(jí)智能來(lái)臨的日子還很遠(yuǎn)，甚至大概不可能實(shí)現(xiàn)。

       但是卻有許多有智慧有思想的學(xué)者同意博斯特姆的看法，表現(xiàn)出擔(dān)憂。這是為什么呢？

自我意志 (volition)

      “一臺(tái)電腦能夠思考嗎？”這個(gè)問(wèn)題從一開(kāi)始就忽略了計(jì)算機(jī)科學(xué)。1950 阿蘭?圖靈 (Alan Turing) 提出一臺(tái)機(jī)器能夠像小孩子般思考；編程語(yǔ)言 LISP 的發(fā)明者約翰?麥卡錫 (John McCarthy) 在 1955 年提出用“人工智能”定義該領(lǐng)域。隨著 1960 年代和 1970 年代的人工智能研究者開(kāi)始使用電腦辨析圖像、翻譯語(yǔ)言并理解代脈之外的自然語(yǔ)言指令，一種認(rèn)為電腦最終會(huì)發(fā)展出能夠說(shuō)話以及思考的能力——并且會(huì)做壞事——的看法，在主流大眾文化中開(kāi)始出現(xiàn)。電影《 2001 太空漫游》(HAL from 2001: A Space Odyssey) 和 1970 年的《巨人:福賓計(jì)劃》(Colossus: The Forbin Project) 都出現(xiàn)了一臺(tái)大型電腦將世界帶到核毀滅邊緣當(dāng)中的劇情。同樣的劇情在 13 年后也出現(xiàn)在《戰(zhàn)爭(zhēng)游戲》(WarGames) 當(dāng)中，1973 年的《西部世界》(Westworld) 當(dāng)中，機(jī)器人失去控制開(kāi)始?xì)⒙救祟?lèi)。

      就在人工智能研究距離遠(yuǎn)大目標(biāo)還相聚甚遠(yuǎn)的時(shí)候，資金支持開(kāi)始枯竭，“人工智能的冬天”來(lái)了。即便如此，智能機(jī)器在 1980 年代和 90 年代的科幻作家中仍舊受到歡迎，正是科幻作家維納?溫哲 (Vernor Vinge) 讓奇點(diǎn)這個(gè)概念大眾化并流行。還有機(jī)器人研究學(xué)者漢斯?莫拉維克 (Hans Moravec)，工程師/創(chuàng)業(yè)者雷?庫(kù)茲維爾 (Ray Kurzweil)，他們?nèi)齻€(gè)人認(rèn)為：當(dāng)電腦能夠獨(dú)立思考不同的目標(biāo)實(shí)現(xiàn)方法時(shí)，很可能會(huì)具有自我反省的能力——這樣它就能夠改變軟件，讓自己變得更智能。不久之后，這種計(jì)算機(jī)將能夠設(shè)計(jì)它自己的硬件。

正如庫(kù)茲維爾所描述的，這種情況會(huì)開(kāi)始一個(gè)美麗的新世界。這種機(jī)器將會(huì)具有洞察能力和耐心 (以萬(wàn)億分之一秒計(jì)) 解決納米科技和空間飛行中的問(wèn)題；它們能夠改進(jìn)人體條件，讓我們把自己的意識(shí)上傳，變成一種永生的數(shù)字形式。智慧將在宇宙中自由傳播。

       你也可以找到和這種陽(yáng)關(guān)樂(lè)觀派恰恰相反的論調(diào)。史蒂芬?霍金 (Stephen Hawking) 就曾警告，因?yàn)槿祟?lèi)無(wú)法在與高級(jí)人工智能的競(jìng)爭(zhēng)中勝出，奇點(diǎn)“可能是人類(lèi)末日的同義詞”。在閱讀了《超級(jí)智慧》一書(shū)之后，伊隆?馬斯克 (Elon Musk) 發(fā) Twitter 消息警誡世人，之后他向未來(lái)生命研究所 (Future of Life Institute) 捐贈(zèng)了 1000 萬(wàn)美元。這家機(jī)構(gòu)的目標(biāo)就是要“努力排除人類(lèi)現(xiàn)在面臨的危機(jī)”(working to mitigate existential risks facing humanity)。

       現(xiàn)在還沒(méi)有人表示類(lèi)似這種超級(jí)智能的東西已經(jīng)存在了。實(shí)際上，我們還沒(méi)有這種通用的人工智能技術(shù)，甚至是一個(gè)清晰的技術(shù)實(shí)現(xiàn)路線方案。人工智能領(lǐng)域最近的進(jìn)展，從蘋(píng)果的自動(dòng)化助手 Siri 到谷歌的無(wú)人駕駛汽車(chē)，全都暴露了科學(xué)技術(shù)的嚴(yán)重缺陷：這兩個(gè)產(chǎn)品都遇到了從未碰到的局面。人工神經(jīng)網(wǎng)絡(luò)能夠自己學(xué)習(xí)判斷照片里的貓，但是它們要看過(guò)成百上千副照片才行，而且對(duì)貓的判斷準(zhǔn)確率比一個(gè)小孩兒更低。

    這也是諸如和布魯克斯一樣批評(píng)觀點(diǎn)的來(lái)源，即便人工智能令人印象深刻——和早先的電腦能夠做的事情相比——比如能夠判斷出圖片中的一只貓，但機(jī)器并沒(méi)有自主意志 (volition)，它不知道和貓類(lèi)似的東西是什么，照片里描述的是怎樣一種情況，也無(wú)法做到擁有人類(lèi)不計(jì)可數(shù)的洞察力。從這個(gè)角度來(lái)說(shuō)，人工智能可能會(huì)帶來(lái)智能機(jī)器，但是想要實(shí)現(xiàn)博斯特姆想象中的場(chǎng)景，還需要太多太多的工作要做。即便那一天真的出現(xiàn)了，智能也并不一定會(huì)帶來(lái)感知能力。基于目前人工智能的發(fā)展情況，就推測(cè)超級(jí)智能將會(huì)到來(lái)，就好像“看到更多高效內(nèi)燃機(jī)引擎出現(xiàn)就立刻判定 warp drive 馬上會(huì)來(lái)一樣。”布魯克斯在他最近的一篇文章中寫(xiě)到，完全不需要擔(dān)心“邪惡的人工智能”(Malevolent AI) ，他說(shuō)，至少在未來(lái)幾百年里是如此。

保護(hù)措施

    即便超級(jí)智能出現(xiàn)的機(jī)率和時(shí)間要很久，可能不采取措施也是不負(fù)責(zé)的。加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)教授司徒特?拉塞爾 (Stuart J. Russell) 與博斯特姆懷有同樣的擔(dān)心，他與庫(kù)茲維爾在谷歌的同事彼得?諾維格 (Peter Norvig) 合著了 Artificial Intelligence: A Modern Approach 一書(shū)，該書(shū)二十年來(lái)一直作為人工智能的標(biāo)準(zhǔn)教科書(shū)。

    “有許多本應(yīng)該是很聰明的公共知識(shí)分子現(xiàn)在完全不知道正在發(fā)生什么，”拉賽爾告訴我說(shuō)。他指出人工智能領(lǐng)域的進(jìn)展在過(guò)去十年里非常可觀，公眾對(duì)其的理解還限于摩爾定律 (Moore's Law)，而實(shí)際上現(xiàn)今的人工智能技術(shù)已經(jīng)是基礎(chǔ)性的，在計(jì)算機(jī)上使用諸如深度學(xué)習(xí)這樣的技術(shù)能夠讓它們自己增加對(duì)這個(gè)世界的理解。

    考慮到谷歌、Facebook 還有其他公司都在積極主動(dòng)研發(fā)智能的“學(xué)習(xí)型”機(jī)器，他解釋說(shuō)“我認(rèn)為有一件人類(lèi)不應(yīng)該做的事情是，在考慮清楚可能的潛在危險(xiǎn)之前，不要盡全力去制造這樣一種超級(jí)智能機(jī)器。這樣做有點(diǎn)不明智。”拉塞爾做了一個(gè)比較：“這就像合成試驗(yàn)。如果你問(wèn)一個(gè)研究員他在做什么，他們會(huì)說(shuō)在搞容器反應(yīng)物。如果你想要無(wú)限的能源，你最好控制住合成反應(yīng)。”同樣的道理，他說(shuō)，如果你想要無(wú)限的智能技術(shù)，你最好搞清楚怎樣讓計(jì)算機(jī)和人類(lèi)需求一致。

博斯特姆的書(shū)就是一個(gè)研究報(bào)告。超級(jí)人工智能將會(huì)是全能的，它怎么做完全取決于我們 (也就是，工程師們)。和任何一個(gè)父母一樣，我們必須要給自己的孩子樹(shù)立一定的價(jià)值觀。不能是隨便什么價(jià)值觀，而是那些以人類(lèi)最佳利益為本的價(jià)值觀。我們基本上是在告訴一個(gè)神要如何對(duì)待我們。那么如何進(jìn)行呢？

    博斯特姆很大程度上借鑒了思想家利澤?尤德考斯基 (Elizer Yudkowsky) 的一個(gè)想法，即“連貫推斷意志”(coherent extrapolated volition)——即從所有人當(dāng)中持續(xù)發(fā)展 (consensus-derived) 出的一種“最佳自我”(best self)。我們希望人工智能可以帶給我們富饒、幸福、滿足的生活：治愈背痛的疾病，幫助我們移居火星。考慮到人類(lèi)從未完全在任何一件事上達(dá)成共識(shí)，我們將會(huì)需要在某一天為自己做決定——為全體人類(lèi)做最佳的決定。那么我們?nèi)绾螌⑦@些價(jià)值觀設(shè)置成超級(jí)智能里的程序呢？怎樣的數(shù)學(xué)可以定義出它們呢？這些都是問(wèn)題所在，而博斯特姆認(rèn)為，研究學(xué)者們現(xiàn)在應(yīng)該開(kāi)始著手解決了。他認(rèn)為這是“我們這個(gè)時(shí)代的本質(zhì)課題”。

    對(duì)于普通民眾來(lái)說(shuō)，現(xiàn)在還沒(méi)有理由為了恐怖的機(jī)器人而擔(dān)心。我們尚未實(shí)現(xiàn)哪怕有一點(diǎn)接近超級(jí)智能的技術(shù)。不過(guò)還要強(qiáng)調(diào)的是，世界上許多最大的科技公司都在投入資源，想要讓他們的電腦更智能；一種真正的人工智能技術(shù)會(huì)給這些公司帶來(lái)難以置信的優(yōu)勢(shì)。他們也應(yīng)該考慮到這項(xiàng)技術(shù)潛在的不足，并且想辦法避免它們。

    在未來(lái)生命研究所的網(wǎng)站上，有這樣一封公開(kāi)信。這封信并沒(méi)有對(duì)可能存在的災(zāi)難發(fā)出警告，而是呼吁有更多研究能夠收獲人工智能技術(shù)的成果“同時(shí)避免潛在的問(wèn)題”。這封信的簽名者除了人工智能領(lǐng)域之外的人士比如霍金、馬斯克和博斯特姆之外，還有一些著名的計(jì)算機(jī)科學(xué)家 (包括頂級(jí)人工智能學(xué)者丹米斯?哈撒比斯)。

    畢竟，如果這些學(xué)者們?cè)O(shè)計(jì)了一種人工智能卻又無(wú)法實(shí)現(xiàn)最佳的人類(lèi)價(jià)值觀，那么說(shuō)明他們還不夠聰明，連自己的作品都無(wú)法掌控。