「我懷疑同行評審實際上會造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結的怪趨勢?！菇袢?，谷歌大腦知名研究科學家、GAN 的提出者 Ian Goofellow 在 Twitter 上發表多條信息炮轟同行評審機制。

質疑同行評審

今日，谷歌大腦研究科學家 Ian Goofellow 發了一條 Twitter，引起了大家激烈的討論：

我懷疑同行評審實際上會造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結的怪趨勢。

最近，「同行評審」一直是 Reddit 上與 Twitter 上的熱門話題，從本科畢業生成為評審到 NIPS 2018 評審結果的出爐，都引發了 AI/ML 學者對同行評審機制的討論。

在這條帖子中，Ian Goodfellow 毫不客氣地質疑同行評審的作用，認為這種機制會造成而非減緩 Zachy Lipton 在 ICML 2018 期間總結的機器學習研究中的怪現狀，也就是：

無法區分客觀闡述和猜想。

無法確定達到好效果的來源，例如，當實際上是因為對超參數微調而獲得好效果的時候，卻強調不必要修改神經網絡結構。

數學性：使用令人混淆的數學術語而不加以澄清，例如混淆技術與非技術概念。

語言誤用，例如，使用帶有口語的藝術術語，或者過多的使用既定的技術術語。

（詳細內容請參見：機器學習近年來之怪現狀）。

同時，Ian Goodfellow 的觀點也得到了 Zachy Lipton 的贊同，表示同行評審機制的退化也應該被列在在文章的「原因」章節之下。

之后，Ian Goodfellow 接連發了多條 Twitter，「嘲諷」評審論文方式：

我常常擔任某領域的主席，且自己管理了一個小型研究組織，因此我看過大量評審，包括我們組的研究成果和其他人的研究。

通常評審人員讀到實驗性論文時會抱怨缺乏「理論」。但是他們卻并不要求理論論文來解決任何特定問題。我認為他們就是為了找到一個拒絕的理由——他們略讀論文，沒有看到論文中的方程。

這可以通過添加無用的數學來解決，評審者通常不會因為其無用而指出來。這樣論文就通過了「我略讀論文，也看到了方程或矯揉做作的理論名稱」的測試。

類似地，評審人員也會在讀到一篇關于表現良好的新方法的論文時，因為論文中沒有解釋為何該方法性能良好而拒絕該論文。

而如果你真的添加了解釋，那么不管解釋多么蒼白，評審人員通常會接受。

評審者往往通過論文的實驗部分來理解一個系統的運行方式，并對論文提出抱怨：沒有新算法。這個問題可以通過在論文中提出一個實際上完全無關的新方法來解決。

評審者似乎討厭「科學」論文，但是如果添加一些新的工程方法，則很容易「蒙混過關」。

（后者和其他情況相比不那么常見。我見過一些科學論文得到了很高的評審分數，但卻常常被一些會議拒絕。）

沒有同行評審有可能帶來其他不好的趨勢，但是我看到評審者基本上一直是要求作者添加數學原理、虛假解釋和虛假的新穎性。

其實，Ian Goodfellow 并非在批評同行評審機制本身，而是認為該機制在實際應用中沒有做好，「我認為同行評審理論上是個好主意，但在實踐中正確地執行非常重要?！?/p>

此外，也有其他學科的學者表示，不只是 AI/ML 社區有 Ian Goodfellow 所說的問題，生物科學等其他領域也這樣。但是，單單的批評并不能解決問題，整個社區需要的是解決方案。

最后小編想問，Ian Goodfellow 的 NIPS 2018 論文也被評審批得一無是處嗎？