幾年前，有次我和一位正在創業的朋友喝咖啡。當時他剛剛過了 40 歲生日，父親生病了，又經常背痛，他覺得自己被生活壓得透不過氣。“別笑話我，”他對我說，“我可是盼著奇點來臨拯救我呢。”
我的這位朋友在科技行業工作，他目睹了微處理器的飛速發展和互聯網的崛起。即便是在中年危機來到之前，想要讓他相信機器智慧超越人類——也就是被未來學家稱之為奇點的那一刻——也不是那么難。一種博愛的超級智慧或許能夠迅速以更快的速度分析人類的基因密碼，破解人類永葆青春的秘密。即便做不到這一點，或許至少能弄清楚如何解決背痛的問題。
但是如果它沒有那么友好會怎樣？牛津大學未來人類學院主任 (Future of Humanity at the University of Oxford) 尼克?博斯特姆 (Nick Bostrom) 在他的新書《超級智慧》(Superintelligence) 中描述了下面一種情況，這段內容也引發了一場有關未來人工智能的激烈辯論。試想一臺我們可以稱之為“紙夾最大器”(paper-clip maximizer) 的機器，它的程序被設置成生產盡可能多的紙夾?，F在我們假設，這臺機器變得超級智能了。因為其目標已經設置好，它可能會接著自己決定生產新型的、更有效率的紙夾制造機——直到有一天，就像米達斯 (King Midas) 一樣，它從本質上將所有東西都變成了紙夾子。
不必擔心，你可能會說：我們只要將其程序設置成生產 100 萬個紙夾之后立刻停止就可以了。但是如果這臺機器在生產了紙夾之后，又自己決定去檢查制造的產品怎么辦？檢查計數是否準確怎么辦？這臺機器要變得更智能才可以確認這些問題。這臺超級智能機器生產了一些還未被發明的粗糙計算材料 ——稱之為“計算質”(computronium) 并將其用于判斷每個疑問。但是每一個新的問題又隨著接踵而來，如此反復，直到整個地球都轉化為“計算質”。當然，除了那 100 萬個紙夾之外。
博斯特姆并不認為“紙夾最大器”會發展成和上述情況一模一樣，這只是一個思維試驗。人們進行這種試驗是為了說明，即便是再仔細的系統設計也可能無法控制機器智能的極端情況。但是他堅信超級智能會形成，并認為這種智能能發揮偉大的作用，但是也會自己決定不再需要周圍的人類。
如果這種說法聽起來讓你覺得很荒謬，你不是一個人。機器人專家羅德尼?布魯克斯 (Rodney Brooks) 就是批評者之一，他表示恐懼人工智能會失控的人誤解了我們所說的電腦在思考或者電腦變得更智能。從這個角度來看，博斯特姆描述的所謂超級智能來臨的日子還很遠，甚至大概不可能實現。
但是卻有許多有智慧有思想的學者同意博斯特姆的看法，表現出擔憂。這是為什么呢？
自我意志 (volition)
“一臺電腦能夠思考嗎？”這個問題從一開始就忽略了計算機科學。1950 阿蘭?圖靈 (Alan Turing) 提出一臺機器能夠像小孩子般思考；編程語言 LISP 的發明者約翰?麥卡錫 (John McCarthy) 在 1955 年提出用“人工智能”定義該領域。隨著 1960 年代和 1970 年代的人工智能研究者開始使用電腦辨析圖像、翻譯語言并理解代脈之外的自然語言指令，一種認為電腦最終會發展出能夠說話以及思考的能力——并且會做壞事——的看法，在主流大眾文化中開始出現。電影《 2001 太空漫游》(HAL from 2001: A Space Odyssey) 和 1970 年的《巨人:福賓計劃》(Colossus: The Forbin Project) 都出現了一臺大型電腦將世界帶到核毀滅邊緣當中的劇情。同樣的劇情在 13 年后也出現在《戰爭游戲》(WarGames) 當中，1973 年的《西部世界》(Westworld) 當中，機器人失去控制開始殺戮人類。
就在人工智能研究距離遠大目標還相聚甚遠的時候，資金支持開始枯竭，“人工智能的冬天”來了。即便如此，智能機器在 1980 年代和 90 年代的科幻作家中仍舊受到歡迎，正是科幻作家維納?溫哲 (Vernor Vinge) 讓奇點這個概念大眾化并流行。還有機器人研究學者漢斯?莫拉維克 (Hans Moravec)，工程師/創業者雷?庫茲維爾 (Ray Kurzweil)，他們三個人認為：當電腦能夠獨立思考不同的目標實現方法時，很可能會具有自我反省的能力——這樣它就能夠改變軟件，讓自己變得更智能。不久之后，這種計算機將能夠設計它自己的硬件。
正如庫茲維爾所描述的，這種情況會開始一個美麗的新世界。這種機器將會具有洞察能力和耐心 (以萬億分之一秒計) 解決納米科技和空間飛行中的問題；它們能夠改進人體條件，讓我們把自己的意識上傳，變成一種永生的數字形式。智慧將在宇宙中自由傳播。
你也可以找到和這種陽關樂觀派恰恰相反的論調。史蒂芬?霍金 (Stephen Hawking) 就曾警告，因為人類無法在與高級人工智能的競爭中勝出，奇點“可能是人類末日的同義詞”。在閱讀了《超級智慧》一書之后，伊隆?馬斯克 (Elon Musk) 發 Twitter 消息警誡世人，之后他向未來生命研究所 (Future of Life Institute) 捐贈了 1000 萬美元。這家機構的目標就是要“努力排除人類現在面臨的危機”(working to mitigate existential risks facing humanity)。
現在還沒有人表示類似這種超級智能的東西已經存在了。實際上，我們還沒有這種通用的人工智能技術，甚至是一個清晰的技術實現路線方案。人工智能領域最近的進展，從蘋果的自動化助手 Siri 到谷歌的無人駕駛汽車，全都暴露了科學技術的嚴重缺陷：這兩個產品都遇到了從未碰到的局面。人工神經網絡能夠自己學習判斷照片里的貓，但是它們要看過成百上千副照片才行，而且對貓的判斷準確率比一個小孩兒更低。
這也是諸如和布魯克斯一樣批評觀點的來源，即便人工智能令人印象深刻——和早先的電腦能夠做的事情相比——比如能夠判斷出圖片中的一只貓，但機器并沒有自主意志 (volition)，它不知道和貓類似的東西是什么，照片里描述的是怎樣一種情況，也無法做到擁有人類不計可數的洞察力。從這個角度來說，人工智能可能會帶來智能機器，但是想要實現博斯特姆想象中的場景，還需要太多太多的工作要做。即便那一天真的出現了，智能也并不一定會帶來感知能力?；谀壳叭斯ぶ悄艿陌l展情況，就推測超級智能將會到來，就好像“看到更多高效內燃機引擎出現就立刻判定 warp drive 馬上會來一樣。”布魯克斯在他最近的一篇文章中寫到，完全不需要擔心“邪惡的人工智能”(Malevolent AI) ，他說，至少在未來幾百年里是如此。
保護措施
即便超級智能出現的機率和時間要很久，可能不采取措施也是不負責的。加州大學伯克利分校的計算機科學教授司徒特?拉塞爾 (Stuart J. Russell) 與博斯特姆懷有同樣的擔心，他與庫茲維爾在谷歌的同事彼得?諾維格 (Peter Norvig) 合著了 Artificial Intelligence: A Modern Approach 一書，該書二十年來一直作為人工智能的標準教科書。
“有許多本應該是很聰明的公共知識分子現在完全不知道正在發生什么，”拉賽爾告訴我說。他指出人工智能領域的進展在過去十年里非常可觀，公眾對其的理解還限于摩爾定律 (Moore's Law)，而實際上現今的人工智能技術已經是基礎性的，在計算機上使用諸如深度學習這樣的技術能夠讓它們自己增加對這個世界的理解。
考慮到谷歌、Facebook 還有其他公司都在積極主動研發智能的“學習型”機器，他解釋說“我認為有一件人類不應該做的事情是，在考慮清楚可能的潛在危險之前，不要盡全力去制造這樣一種超級智能機器。這樣做有點不明智。”拉塞爾做了一個比較：“這就像合成試驗。如果你問一個研究員他在做什么，他們會說在搞容器反應物。如果你想要無限的能源，你最好控制住合成反應?！蓖瑯拥牡览?，他說，如果你想要無限的智能技術，你最好搞清楚怎樣讓計算機和人類需求一致。
博斯特姆的書就是一個研究報告。超級人工智能將會是全能的，它怎么做完全取決于我們 (也就是，工程師們)。和任何一個父母一樣，我們必須要給自己的孩子樹立一定的價值觀。不能是隨便什么價值觀，而是那些以人類最佳利益為本的價值觀。我們基本上是在告訴一個神要如何對待我們。那么如何進行呢？
博斯特姆很大程度上借鑒了思想家利澤?尤德考斯基 (Elizer Yudkowsky) 的一個想法，即“連貫推斷意志”(coherent extrapolated volition)——即從所有人當中持續發展 (consensus-derived) 出的一種“最佳自我”(best self)。我們希望人工智能可以帶給我們富饒、幸福、滿足的生活：治愈背痛的疾病，幫助我們移居火星。考慮到人類從未完全在任何一件事上達成共識，我們將會需要在某一天為自己做決定——為全體人類做最佳的決定。那么我們如何將這些價值觀設置成超級智能里的程序呢？怎樣的數學可以定義出它們呢？這些都是問題所在，而博斯特姆認為，研究學者們現在應該開始著手解決了。他認為這是“我們這個時代的本質課題”。
對于普通民眾來說，現在還沒有理由為了恐怖的機器人而擔心。我們尚未實現哪怕有一點接近超級智能的技術。不過還要強調的是，世界上許多最大的科技公司都在投入資源，想要讓他們的電腦更智能；一種真正的人工智能技術會給這些公司帶來難以置信的優勢。他們也應該考慮到這項技術潛在的不足，并且想辦法避免它們。
在未來生命研究所的網站上，有這樣一封公開信。這封信并沒有對可能存在的災難發出警告，而是呼吁有更多研究能夠收獲人工智能技術的成果“同時避免潛在的問題”。這封信的簽名者除了人工智能領域之外的人士比如霍金、馬斯克和博斯特姆之外，還有一些著名的計算機科學家 (包括頂級人工智能學者丹米斯?哈撒比斯)。
畢竟，如果這些學者們設計了一種人工智能卻又無法實現最佳的人類價值觀，那么說明他們還不夠聰明，連自己的作品都無法掌控。