| 基于單元集群的MapReduce中節(jié)點失效的改進 | |
| 所屬分類：技術(shù)論文 | |
| 上傳者：aet | |
| 文檔大小：480 K | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：針對傳統(tǒng)MapReduce框架中任務(wù)節(jié)點和工作節(jié)點的失效問題，提出了在配置備份節(jié)點的分層主從式MapReduce框架中加入單元集群的處理方法。在改進框架中，任務(wù)處理的最小單位是單元集群，當單元集群中的某個工作節(jié)點失效或者超過時間闕值時，子任務(wù)節(jié)點則選擇該單元集群中的空閑工作節(jié)點來分配任務(wù)，并且不需要重新傳輸任務(wù)文件分塊，這既節(jié)省了工作節(jié)點重選擇的時間，又降低了網(wǎng)絡(luò)傳輸?shù)膲毫ΑＪ褂迷摽蚣茚槍Σ煌瑪?shù)量的數(shù)據(jù)塊進行實驗，工作節(jié)點的災(zāi)難恢復(fù)時間均可以節(jié)省25 ms左右，證明了單元集群的處理方法可以有效解決工作節(jié)點的失效問題。 | |
| 現(xiàn)在下載 | |
| VIP會員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。 | |
相關(guān)資源
aet 的最新分享
Copyright ? 2005-2024 華北計算機系統(tǒng)工程研究所版權(quán)所有 京ICP備10017138號-2