上面插圖顯示了一些使用 actor-critic 方法的學(xué)習(xí)方法。（左）具有共享獎勵的獨立學(xué)習(xí)者，（中）具有共享信息和共享獎勵的獨立學(xué)習(xí)者，（右）具有獨立獎勵的聯(lián)合學(xué)習(xí)者。美國陸軍
美國陸軍研究人員開發(fā)了一個開創(chuàng)性的框架，為協(xié)作多智能體系統(tǒng)的開發(fā)提供了基線。
該框架在調(diào)查論文“利用集中訓(xùn)練的近期多智能體強化學(xué)習(xí)算法調(diào)查”中有詳細(xì)介紹，該論文在 SPIE 數(shù)字圖書館中有特色。研究人員表示，這項工作將支持強化學(xué)習(xí)方法的研究，以開發(fā)協(xié)作多智能體系統(tǒng)，例如可以與未來士兵并肩工作的機(jī)器人團(tuán)隊。
“我們認(rèn)為潛在的信息共享機(jī)制在多智能體系統(tǒng)的集中學(xué)習(xí)中起著關(guān)鍵作用，但研究界對這種現(xiàn)象的研究有限，”美國陸軍研究員兼計算機(jī)科學(xué)家皮尤什·K·夏爾馬博士說，他來自美國陸軍作戰(zhàn)能力發(fā)展司令部（ DEVCOM）陸軍研究實驗室。“我們對強化學(xué)習(xí)算法及其信息共享范式的最先進(jìn)技術(shù)進(jìn)行了這項調(diào)查，以此為基礎(chǔ)詢問有關(guān)多智能體系統(tǒng)集中學(xué)習(xí)的基本問題，以提高它們的協(xié)同工作能力。”
Sharma 在該項目上的合作者包括 DEVCOM ARL 研究人員 Drs。Erin Zaroukian、Rolando Fernandez、Michael Dorothy、Derrik Asher 和 Anjon Basak，橡樹嶺聯(lián)合大學(xué)獎學(xué)金計劃的博士后研究員。
這項對強化學(xué)習(xí)最先進(jìn)技術(shù)的調(diào)查為尋求通過增強的信息共享機(jī)制（例如獎勵功能或觀察和狀態(tài)空間共享）開發(fā)自主多智能體系統(tǒng)的研究人員建立了基線。
由于復(fù)雜環(huán)境的動態(tài)特性，可能會受到維度災(zāi)難的影響，因此同時訓(xùn)練多個智能體更加困難；夏爾馬說，代理越多，協(xié)調(diào)就越復(fù)雜。本文開發(fā)了一個框架來表征經(jīng)常令人困惑且不易理解的關(guān)鍵信息共享參數(shù)。
研究人員預(yù)測，集中訓(xùn)練可能是更快開發(fā)自主系統(tǒng)的解決方案，這些系統(tǒng)可以在未來靈活地與士兵一起工作。
“一致、集中的訓(xùn)練可以使多智能體系統(tǒng)更可靠地協(xié)同工作，提高人工智能士兵的信任水平，”夏爾馬說?！熬唧w來說，我們專注于識別和表征最新集中式學(xué)習(xí)算法的基礎(chǔ)數(shù)學(xué)框架?！?/p>
美國陸軍研究人員開發(fā)了一個開創(chuàng)性的框架，為協(xié)作多代理系統(tǒng)的開發(fā)提供了基線。信用：Spc。艾德琳·威瑟斯彭
他說，這樣的數(shù)學(xué)模型可以提供一種途徑來探索替代的集中學(xué)習(xí)技術(shù)，以衡量它們對學(xué)習(xí)率和緊急協(xié)作行為的影響。
該調(diào)查在兩個方面超越了先前的研究文獻(xiàn)：
創(chuàng)建強化學(xué)習(xí)算法最新技術(shù)的綜合視圖
概述了一種描述集中學(xué)習(xí)期間共享信息的新方法
研究人員專注于五到六年內(nèi)發(fā)布的算法。由于這些算法是最新的，研究界還沒有對它們進(jìn)行廣泛的探索。在出版時，他們沒有找到全面的先前工作。
研究人員試圖對共享機(jī)制進(jìn)行定義和分類，以實際共享什么而不是如何共享為導(dǎo)向。他們樂觀地認(rèn)為，他們已經(jīng)發(fā)現(xiàn)了最近的強化學(xué)習(xí)技術(shù)中值得進(jìn)一步研究的差距，這些差距可能會增強代理培訓(xùn)過程。
研究人員表示，他們樂觀地認(rèn)為，這項調(diào)查將引發(fā)對機(jī)器學(xué)習(xí)問題空間的討論和進(jìn)一步探索，以訓(xùn)練自主多智能體系統(tǒng)。
“隨著商業(yè)行業(yè)對多代理系統(tǒng)協(xié)同工作的需求變得越來越普遍，例如亞馬遜倉庫機(jī)器人、英特爾在 2018 年冬季奧運會上的無人機(jī)展。也出現(xiàn)了對這些多代理系統(tǒng)技術(shù)的新興需求，以協(xié)助陸軍在協(xié)同戰(zhàn)術(shù)行動中，”夏爾馬說?！斑@份調(diào)查文件產(chǎn)生的研究可以實現(xiàn)可靠的協(xié)作人工智能的目標(biāo)?！?/p>
展望未來，團(tuán)隊感覺更有能力研究基于多智能體強化學(xué)習(xí)的方法的特定方面，這些方法以集中方式訓(xùn)練智能體。
Sharma 說，集中式技術(shù)有一定的局限性，因此他們還將對現(xiàn)有的分散式學(xué)習(xí)技術(shù)進(jìn)行實證分析。他們計劃轉(zhuǎn)向多智能體強化學(xué)習(xí)訓(xùn)練的建模和模擬，以驗證和擴(kuò)展智能體學(xué)習(xí)、行為和協(xié)調(diào)的理論。
