昨日，ACM 2018 圖靈獎得主公布，深度學(xué)習(xí)三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒布，一方面讓人感嘆「終于」、「實至名歸」之外，也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER，他是否也應(yīng)該獲此榮譽(yù)呢？
在官方公告中，ACM 介紹說，「因三位巨頭在深度神經(jīng)網(wǎng)絡(luò)概念和工程上的突破，使得 DNN 成為計算的一個重要構(gòu)成，從而成為 2018 年圖靈獎得主。」
確實，在這波 AI 浪潮中，深度學(xué)習(xí)扮演著主力角色。在人工神經(jīng)網(wǎng)絡(luò)歷經(jīng)寒潮之時，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持，帶來了如今深度學(xué)習(xí)的崛起。
正如 ACM 主席 Cherri M. Pancake 所說，「人工智能如今是整個科學(xué)界發(fā)展最快的領(lǐng)域之一，也是社會上討論最廣的主題之一。AI 的發(fā)展、人們對 AI 的興趣，很大程度上是因為深度學(xué)習(xí)的近期進(jìn)展，而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎(chǔ)……」
因此，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow（捂臉）獲此殊榮實至名歸。
然而，在我們感嘆有「計算機(jī)界諾貝爾獎」之稱的 ACM 圖靈獎「終于」頒發(fā)給深度學(xué)習(xí)時，也有學(xué)者發(fā)出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應(yīng)獲得此榮譽(yù)。
Jurgen 也該得獎？
2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持，并引領(lǐng)學(xué)界走向深度學(xué)習(xí)爆發(fā)的三位先驅(qū)，這是 AI 領(lǐng)域的一件喜事。在大獎結(jié)果正式公布后，社交網(wǎng)絡(luò)上的討論也在熱烈開展，不過人們的焦點卻有些文不對題：
（圖注）在 Reddit 上，有關(guān)圖靈獎的帖子被頂最多的幾個回復(fù)：「Schmidhuber 哭暈在廁所」。
對此，人工智能著名學(xué)者，南京大學(xué)人工智能學(xué)院院長周志華第一時間也表示：「要論對深度學(xué)習(xí)的貢獻(xiàn)，Hinton 無疑居首，LeCun 和 Schmidhuber 貢獻(xiàn)都很大。但 HLB 總捆綁在一起，而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票，人緣也重要。。。不過沒關(guān)系，有 LSTM 這樣教科書級的貢獻(xiàn)足以淡定。」
在知乎問答上，也有眾多網(wǎng)友肯定 Schmidhuber 的成就，感興趣的讀者可查看該知乎帖子：
鏈接：https://www.zhihu.com/question/317715156
看來大家紛紛對 Jurgen Schmidhuber 在人工智能領(lǐng)域里的貢獻(xiàn)表示肯定。不過此人在業(yè)內(nèi)人緣似乎的確不夠好，在 2015 年還曾發(fā)文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。
作為一個例子，讓我們看看《自然》雜志 2015 年的人工神經(jīng)網(wǎng)絡(luò)（NN）文章《Deep Learning》，它是深度學(xué)習(xí)的一篇標(biāo)志性文章，目前引用量已經(jīng)達(dá)到了 13886。該文章是 LeCun、Bengio 和 Hinton （簡寫LBH）聯(lián)合寫的，他們從當(dāng)下的卷積、循環(huán)和反向傳播算法等核心概念概覽了深度學(xué)習(xí)，并表示無監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)結(jié)合強(qiáng)化學(xué)習(xí)等方向才是發(fā)展趨勢。
然而，Schmidhuber 在當(dāng)年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀(jì)以前開創(chuàng)領(lǐng)域的先驅(qū)者。此外，Schmidhuber 在文章中還說了一句「They heavily cite each other」。
如下展示了Schmidhuber 批判的前三條觀點，他對該論文一共提出了九條批判性意見。
截自：http://people.idsia.ch/~juergen/deep-learning-conspiracy.html
總體而言，Schmidhuber 列舉了三人對于深度學(xué)習(xí)、反向傳播、前饋學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)等等方面對于前人研究的忽視，可謂詳盡。
如此耿直，難怪不受人待見。不過另一方面，我們評判一位學(xué)者的成就不應(yīng)該看他的性格，而更應(yīng)該以學(xué)術(shù)成就作為標(biāo)準(zhǔn)。
正如人們所說的，Jurgen Schmidhuber 是一名人工智能先驅(qū)。
Jurgen 的學(xué)術(shù)成就
作為 LSTM 發(fā)明人、深度學(xué)習(xí)元老，Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰寫了一篇論文，其中提出了一種利用記憶功能來增強(qiáng)人工神經(jīng)網(wǎng)絡(luò)（模擬人類大腦的計算機(jī)系統(tǒng)）的方法，即根據(jù)之前獲得的信息，添加解釋文字或圖像模式的循環(huán)。他們稱之為「長短期記憶（LSTM）」。
LSTM 解決 RNN 存在的短板，在隨后的多年中被人們廣泛采用。然而遺憾的是，當(dāng)時 LSTM 也并沒有受到業(yè)界更多的重視，在 1995 年，首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年，關(guān)于 LSTM 的論文被麻省理工學(xué)院退稿。「即便是美國、加拿大及其他地區(qū)的著名的神經(jīng)網(wǎng)絡(luò)專家，都沒能意識到我們自 1990 年代起于高山上實驗室研發(fā)的深度循環(huán)神經(jīng)網(wǎng)絡(luò)的潛能。」Schmidhuber 多次在媒體采訪時表露出遺憾。
語音識別最重要的模型之一——Connectionist temporal classification（CTC），是由 Graves、Schmidhuber 等人在 2006 年提出的，該論文出現(xiàn)在 2006 年的 ICML 上。CTC 是一種改進(jìn)的 RNN 模型，可以讓網(wǎng)絡(luò)自動學(xué)會對齊，十分適合語音識別和書寫識別。
Jurgen 貢獻(xiàn)的重要研究還不止于此。2018 年，由谷歌大腦研究科學(xué)家 David Ha 與瑞士 AI 實驗室 IDSIA 負(fù)責(zé)人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環(huán)境的未來狀態(tài)進(jìn)行預(yù)測的新方法，而論文的名字也非常霸氣：
今天人工智能的形態(tài)，是由眾多學(xué)者共同打造的。在恭喜三巨頭獲得圖靈獎的同時，不要忘了另外一些人的貢獻(xiàn)。
最后，網(wǎng)友實力「皮」了一波：兩彈元勛黃仁勛是不是離圖靈獎也不遠(yuǎn)了……