一種基于深度強化學習的任務卸載方法
2022年電子技術應用第8期
高宇豆1，2，黃祖源1，王海燕1，保 富1，張 航1，李 輝1
1.云南電網有限責任公司 信息中心，云南 昆明650214；2.西南林業大學 大數據與智能工程學院，云南 昆明650224
摘要： 隨著車聯網的快速發展，車載應用大多是計算密集和延遲敏感的。車輛是資源受限的設備，無法為這些應用提供所需的計算和存儲資源。邊緣計算通過將計算和存儲資源提供給網絡邊緣的車輛，有望成為滿足低延遲需求的有效解決方案。這種將任務卸載到邊緣服務器的計算模式不僅可以克服車輛資源的不足，還可以避免將任務卸載到云可能導致的高延遲。提出了一種基于深度強化學習的任務卸載方法，以最小化任務的平均完成時間。首先，把多任務卸載決策問題規約為優化問題。其次，使用深度強化學習對優化問題進行求解，以獲得具有最小完成時間的優化卸載策略。最后，實驗結果表明，該方法的性能優于其他基準方法。
中圖分類號： TP311
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.212133
中文引用格式： 高宇豆，黃祖源，王海燕，等. 一種基于深度強化學習的任務卸載方法[J].電子技術應用，2022，48(8)：29-33.
英文引用格式： Gao Yudou，Huang Zuyuan，Wang Haiyan，et al. Task offloading based on deep reinforcement learning for Internet of Vehicles[J]. Application of Electronic Technique，2022，48(8)：29-33.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.212133
中文引用格式： 高宇豆，黃祖源，王海燕，等. 一種基于深度強化學習的任務卸載方法[J].電子技術應用，2022，48(8)：29-33.
英文引用格式： Gao Yudou，Huang Zuyuan，Wang Haiyan，et al. Task offloading based on deep reinforcement learning for Internet of Vehicles[J]. Application of Electronic Technique，2022，48(8)：29-33.
Task offloading based on deep reinforcement learning for Internet of Vehicles
Gao Yudou1，2，Huang Zuyuan1，Wang Haiyan1，Bao Fu1，Zhang Hang1，Li Hui1
1.Center of Information，Yunnan Power Grid Co.，Ltd.，Kunming 650214，China； 2.School of Big Data and Intelligent Engineering，Southwest Forestry University，Kunming 650224，China
Abstract： With the rapid development of Internet of Vehicular, more and more vehicles′ applications are computation-intensive and delay-sensitive. Resource-constrained vehicles cannot provide the required amount of computation and storage resources for these applications. Edge computing(EC) is expected to be a promising solution to meet the demand of low latency by providing computation and storage resources to vehicles at the network edge. This computing paradigm of offloading tasks to the edge servers can not only overcome the restrictions of limited capacity on vehicles，but also avoid the high latency caused by offloading tasks to the remote cloud. In this paper, an efficient task offloading algorithm based on deep reinforcement learning is proposed to minimize the average completion time of applications. Firstly, the multi-task offloading strategy problem is formalized as an optimization problem. Secondly, a deep reinforcement learning is leveraged to obtain an optimized offloading strategies with the lowest completion time. Finally, the experimental results show that the performance of the proposed algorithm is better than other baselines.
Key words : task offloading；Internet of Vehicles；edge computing；deep learning；reinforcement learning
0 引言
車聯網(Internet of Vehicle，IoV)是車載網(Vehicular Ad hoc Network，VANET)和物聯網(Internet of Things，IoT)的深度融合，旨在提高車輛網絡的性能，降低交通擁堵的風險[1]。在車聯網中，許多車輛應用不僅需要大量的計算資源，還對響應時間有嚴格的要求[2]。但是，車輛是計算資源和通信能力有限的裝置。對于這些計算密集、延遲敏感的應用，車輛無法提供足夠的計算和存儲資源[3]。
為應對車載應用所需的大量計算資源，云計算被視為一種可行的解決方案。在云計算環境下，車輛可以通過無線網絡將計算密集型應用卸載到云上運行。這種端-云協作的計算模式很好地擴展了車輛的計算能力[4]。
然而，對于計算密集、延遲敏感的應用，端-云協作的計算模式是不夠的。因為，遠程任務卸載帶來的高傳輸延遲會降低用戶體驗[3]。為解決此問題，將車聯網和邊緣計算相結合的車輛邊緣計算，被認為是滿足低延遲的更好解決方案[5]。
本文詳細內容請下載：http://m.jysgc.com/resource/share/2000004645。
作者信息：
高宇豆1，2，黃祖源1，王海燕1，保 富1，張 航1，李 輝1
(1.云南電網有限責任公司 信息中心，云南 昆明650214；2.西南林業大學 大數據與智能工程學院，云南 昆明650224)
此內容為AET網站原創，未經授權禁止轉載。