由于AI算法內(nèi)部的運作往往是不透明的，AI的黑箱問題和可解釋性問題越來越受到關(guān)注。《紐約時報》和《連線》最近的兩篇文章認(rèn)為，AI的黑箱并沒有那么可怕，我們不需要要求算法必須透明，甚至為了可解釋性犧牲AI系統(tǒng)的能力，相反，將其視為一個優(yōu)化問題更可行。
AI算法對人類生活的影響越來越大，但它們內(nèi)部的運作往往是不透明的，人們對這種技術(shù)的工作方式也愈加感到擔(dān)憂。MIT科技評論曾經(jīng)發(fā)表一篇題為“人工智能中的黑暗秘密”的文章，警告說：“沒有人真正知道先進(jìn)的機器學(xué)習(xí)算法是怎樣工作的，而這恐將成為一大隱憂。”由于這種不確定性和缺乏問責(zé)制，紐約大學(xué)AI Now Institute的一份報告建議負(fù)責(zé)刑事司法、醫(yī)療保健、社會福利和教育的公共機構(gòu)不應(yīng)該使用AI技術(shù)。
輸入的數(shù)據(jù)和答案之間的不可觀察的空間通常被稱為“黑箱”（black box）——名稱來自飛機上強制使用的飛行記錄儀“黑匣子”（實際上是橙色的，而非黑色），并且經(jīng)常在空難事故后用于向調(diào)查人員提供有關(guān)飛機當(dāng)時運作情況的數(shù)據(jù)。在人工智能領(lǐng)域，這個術(shù)語描述了AI技術(shù)如何在“暗處”運作的景象：我們提供數(shù)據(jù)、模型和架構(gòu)，然后計算機給出答案，同時以一種看似不可能的方式繼續(xù)學(xué)習(xí)——顯然對于我們?nèi)祟悂碚f，這太難理解了。
黑箱沒有什么可怕的
在醫(yī)療領(lǐng)域，這個問題尤其被關(guān)注。AI被用于區(qū)分哪些皮膚病變是癌變，從血液中識別早期癌癥，預(yù)測心臟疾病，確定人和動物的哪些化合物可以延長壽命，等等。但是，對黑箱的這些擔(dān)憂是不必要的。AI的透明程度并不亞于醫(yī)生一直以來的工作方式——在許多情況下，AI甚至是一種進(jìn)步，它增強了醫(yī)院的能力，對病人和整個醫(yī)療系統(tǒng)都有積極的作用。畢竟，對于新技術(shù)來說，AI的黑箱問題并不是一個新問題：人類智能本身就是一個黑箱，而且一直都是。
讓我們來看一個人類醫(yī)生做診斷的例子。病人可能會問醫(yī)生她是如何做出診斷的，醫(yī)生可能會說出一些她用來得出結(jié)論的數(shù)據(jù)。但她真的能夠解釋她是如何、以及為什么得出這個結(jié)論嗎,她從哪些研究中得到哪些具體數(shù)據(jù),她從所受的教育或?qū)熌抢锏玫搅耸裁从绊?她從自己以及同事的共同經(jīng)驗中得到哪些隱性知識，以及所有這些的結(jié)合如何引導(dǎo)她得出那個診斷?當(dāng)然，她可能會說出引領(lǐng)她往某個特定方向走的某些指示，但這也會有猜測的成分，有跟隨直覺的成分。即使沒有，我們也仍然不知道有沒有什么其他因素是她自己甚至沒有意識到的。
如果使用AI進(jìn)行同樣的診斷，我們可以從該患者的所有可用信息中獲取數(shù)據(jù)，以及在不同時間和從其他無數(shù)同類患者身上匿名收集的數(shù)據(jù)，用以做出最有力的基于證據(jù)的決策。這是一種與數(shù)據(jù)直接相關(guān)的診斷，而不是基于有限數(shù)據(jù)的人類直覺，或者相對少的局部患者的診斷經(jīng)驗總結(jié)。
但是，我們每天都必須在很多我們并不完全了解的領(lǐng)域做決策——并且通常都非常成功——從預(yù)測政策對經(jīng)濟的影響到天氣預(yù)報，再到我們最初接觸大部分科學(xué)的方式。我們要么認(rèn)為這些決策非常簡單，要么接受它們過于復(fù)雜以至我們無法解決，更不用說完全解釋它們了。這就像AI的黑箱：人類的智慧能夠針對一個給出的結(jié)論進(jìn)行推理和論證，但無法解釋我們得出一個特定結(jié)論的復(fù)雜、隱含的過程。試想一下一對夫妻因某個明確的原因（例如，不忠）而離婚這個問題——在現(xiàn)實中，有許多完全看不見的、錯綜復(fù)雜的原因、影響和事件共同促成了這一結(jié)果。為什么這一對夫婦選擇分手，而另一對類似情況的夫婦卻沒有?即使是處于這些關(guān)系中的人也無法完全解釋這個問題。這是一個黑箱。
AI的黑箱更多是一個特征，而不是一個bug
具有諷刺意味的是，與人類智能相比，人工智能實際上更加透明。與人類的思維不同，人工智能可以——也應(yīng)該——被審問和被解釋。例如檢查和改進(jìn)模型的能力，揭示深度神經(jīng)網(wǎng)絡(luò)中的知識差距，必須要構(gòu)建的調(diào)試工具，以及通過腦機接口增強人類只能的潛在能力，等等，有許多技術(shù)可以幫助解釋人工智能，而這些解釋AI的方式無法用于解釋人腦。在這個過程中，我們甚至可以更多地了解人類智能的運作方式。
也許批評者們擔(dān)憂的真正原因不是我們無法“看到”AI的推理過程，而是當(dāng)AI變得愈加強大時，人類的心智就變成了限制因素。他們擔(dān)心的是，在未來，我們需要利用AI去理解AI。在醫(yī)療領(lǐng)域以及其他領(lǐng)域，這意味著我們很快就會看到一個新類別的專業(yè)人士的出現(xiàn)，他們自己不必去做即時的決策，而是管理一個AI工人去做決策——就像商用飛機的駕駛員在惡劣的天氣條件下使用自動駕駛儀降落一樣。醫(yī)生將不再“主導(dǎo)”初始診斷；相反，他們需要確保AI系統(tǒng)對患者的診斷是相關(guān)的和易于理解的，并監(jiān)督AI在何時以及如何提供更多的說明和解釋。未來的醫(yī)生辦公室很可能有多名計算機助理，包括醫(yī)生方面的和病人方面的，以及來自外部的數(shù)據(jù)輸入。
當(dāng)這種情況成為現(xiàn)實時，顯然，所謂的人工智能“黑箱”將更多是一種特征，而不是一個bug——因為它相比人類的大腦更能夠理解和解釋決策的過程。這并沒有否定或忽視對AI進(jìn)行監(jiān)督的需求，只是說與其擔(dān)心黑箱，我們更應(yīng)該關(guān)注機會，從而更好地應(yīng)對這樣一個未來：AI不僅增強人類智能和人類直覺，而且甚至可以啟發(fā)人之本質(zhì)。
不要為了可解釋性犧牲AI的能力
當(dāng)前的AI系統(tǒng)可能會發(fā)生一些故障，例如使自動駕駛汽車遭遇事故，或在用于司法時對黑人判處相比白人更長的刑期。我們會知道這些，是因為AI已經(jīng)在這些方面出現(xiàn)了錯誤。但是，這并不意味著我們應(yīng)該堅持AI需要解釋它在任何情況下如何做決策，包括歐盟的“一般數(shù)據(jù)保護(hù)條例”（GDPR）也如此要求。
要求可解釋性聽起來不錯，但實現(xiàn)它可能需要讓AI人為地變蠢。機器學(xué)習(xí)有如此強大的使用前景，縮減AI的能力可能意味著無法診斷疾病、無法發(fā)現(xiàn)氣候變化的重要原因，等等。充分利用機器學(xué)習(xí)的能力意味著必須依賴那些現(xiàn)在無法向人類大腦解釋的結(jié)果。
機器學(xué)習(xí)，特別是深度學(xué)習(xí)，可以將數(shù)據(jù)分析成數(shù)以千計的變量，將它們排列成非常復(fù)雜而敏感的加權(quán)關(guān)系數(shù)組，然后通過基于計算機的神經(jīng)網(wǎng)絡(luò)反復(fù)運行這些數(shù)組。要想理解這些運行的結(jié)果，例如為什么系統(tǒng)認(rèn)為有73％的幾率患上糖尿病，或者在象棋中走這步棋有84％的幾率能導(dǎo)致最終勝利，這就需要理解這些成千上萬的變量之間的關(guān)系，這些變量是通過大量的神經(jīng)網(wǎng)絡(luò)計算得出的。我們的大腦根本無法掌握這么多的信息。
可解釋性是工具：我們用這些工具來達(dá)成目標(biāo)。通過機器學(xué)習(xí)，可解釋性能夠幫助開發(fā)人員debug。可解釋性也可以用來判斷一個結(jié)果是否基于不應(yīng)該計數(shù)的因素（例如性別，種族等，取決于具體情況）來評估責(zé)任。但是，我們可以通過其他方法來實現(xiàn)預(yù)期的效果，而不用約束機器學(xué)習(xí)系統(tǒng)的能力。
一個很有前景的工具是優(yōu)化（optimization）。例如，在20世紀(jì)70年代石油危機期間，美國政府決定將限速降至55英里/時，從而優(yōu)化高速公路。同樣，政府也可以決定對自動駕駛汽車進(jìn)行優(yōu)化。
AI系統(tǒng)需要對針對某個目的的優(yōu)化及其結(jié)果保持透明，特別是對我們希望它們支持的一些關(guān)鍵值保持透明。但是不一定要求算法是透明的。如果一個系統(tǒng)沒有達(dá)到它的目標(biāo)，就需要對它進(jìn)行調(diào)優(yōu)。如果達(dá)到了目標(biāo)，可解釋性就不是必要的。
通過將AI的可解釋性問題視為優(yōu)化問題，我們可以將爭論集中在真正重要的問題上：我們想從一個系統(tǒng)中得到什么，我們愿意放棄什么來得到它？