9 月 9 日-14 日，Deep Learning Indaba 2018 大會在南非斯泰倫博斯舉行。會上，DeepMind 強化學習研究小組負責人、首席研究員、AlphaGo 項目負責人 David Silver 發表演講，介紹了強化學習的十大原則。機器之心對該演講進行了介紹。
演講課件地址：http://www.deeplearningindaba.com/uploads/1/0/2/6/102657286/principles_of_deep_rl.pdf
原則一：評估方法驅動研究進展
David Silver 指出，客觀、量化的評估方法是強化學習進展的重要驅動力：
評估指標的選擇決定了研究進展的方向；
這可以說是強化學習項目中最重要的一個決定。
David Silver 介紹了兩種評估方法：
排行榜驅動的研究
確保評估指標緊密對應最終目標；
避免主觀評估（如人類評估）。
假設驅動的研究
形成一個假設：Double-Q 學習優于 Q 學習，因為前者減少了向上偏誤（upward bias）；
在寬泛的條件下驗證該假設；
對比同類方法，而不是只與當前最優方法進行對比；
尋求理解，而不是排行榜表現。
原則二：可擴展性是成功的關鍵
David Silver 認為可擴展性是強化學習研究成功的關鍵。
算法的可擴展性指與資源相關的算法的性能變化；
資源包括計算量、內存或數據；
算法的可擴展性最終決定算法成功與否；
可擴展性比研究的起點更加重要；
優秀的算法在給定有限資源的條件下是最優的。
原則三：通用性（Generality）支持算法的長遠有效性
算法的通用性指它在不同強化學習環境中的性能。研究者在訓練時要避免在當前任務上的過擬合，并尋求可以泛化至未來未知環境的算法。
我們無法預測未來，但是未來任務的復雜度可能至少和當前任務持平；在當前任務上遇到的困難在未來則很有可能增加。
因此，要想使算法可以泛化至未來的不同強化學習環境，研究者必須在多樣化且真實的強化學習環境集合上測試算法。
原則四：信任智能體的經驗
David Silver 指出經驗（觀察、動作和獎勵）是強化學習的數據，公式可以寫作：
h_t=o_1,r_1,a_2,o_2,r_2,...,a_t,o_t,r_t
經驗流隨智能體在環境中學習時間的延長而累積。
他告誡我們，要把智能體的經驗作為知識的唯一來源。人們在智能體學習遇到問題時傾向于添加人類的專業知識（人類數據、特征、啟發式方法、約束、抽象、域操控）。
他認為，完全從經驗中學習看起來似乎不可能。也就是說，強化學習的核心問題非常棘手。但這是 AI 的核心問題，也值得我們付出努力。從長遠來看，從經驗中學習一直是正確的選擇。
原則五：狀態是主觀的
David Silver 指出：
智能體應該從它們的經驗中構建屬于自己的狀態，即：s_t=f(h_t)
智能體狀態是前一個狀態和新觀察的函數：s_t=f(s_t-1,a_t-1,o_t,r_t)
如下圖所示：
它是循環神經網絡的隱藏狀態。
永遠不要根據環境的「真實」狀態來定義狀態（智能體應該是一個部分可觀察馬爾可夫鏈模型）。
原則六：控制數據流
智能體存在于豐富的感覺運動（sensorimotor）數據流中：
觀測結果的數據流輸入到智能體中；
智能體輸出動作流。
智能體的動作會影響數據流：
特征控制 => 數據流控制
數據流控制 => 控制未來
控制未來 => 可以最大化任意獎勵
原則七：用價值函數對環境建模
David Silver 首先給出了使用價值函數的三個原因：
高效地對未來進行總結/緩存；
將規劃過程簡化為固定時間的查找，而不是進行指數時間量級的預測；
獨立于時間步跨度進行計算和學習。
他指出，學習多個價值函數可以高效地建模環境的多個方面（控制狀態流），包括隨后的狀態變量；還能在多個時間尺度上學習。他還提醒我們避免在過于簡化的時間步上建模環境。
原則八：規劃：從想象的經驗中學習
David Silver 提出了一種有效的規劃方法，并將其分為兩步。首先想象下一步會發生什么，從模型中采樣狀態的軌跡；然后利用我們在真實經驗中用過的 RL 算法從想象的經驗中學習。他提醒我們從現在開始關注價值函數逼近。
原則九：使用函數近似器
David Silver 認為，可微網絡架構是一種強大的工具，可以豐富狀態表示，同時使可微記憶、可微規劃以及分層控制更加便利。他提出將算法復雜度引入網絡架構，以減少算法復雜度（指參數的更新方式），增加架構的表達性（指參數的作用）。
原則十：學會學習
AI 史是一個進步史：
第一代：舊式的 AI
手動預測：此時的人工智能只能執行手動預測
什么也學不會
第二代：淺層學習
手動構建特征：研究人員需要耗費大量時間、精力手動構建特征
學習預測
第三代：深度學習
手動構建的算法（優化器、目標、架構……）
端到端學習特征和預測
第四代：元學習
無需手工
端到端學習算法和特征以及預測
