《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 計算網格資源管理優化技術和相關算法的研究

計算網格資源管理優化技術和相關算法的研究

2008-08-11
作者:周 健 戴梅萼 王作遠 劉

??? 摘 要: 在對現有的網格資源管理" title="資源管理">資源管理模型進行分析和比較的基礎上,提出了一種基于分層結構的具體模型HRMM,將資源管理分為作業并行分析、全局資源分配" title="資源分配">資源分配、局部資源分配和本地資源管理四個層次,并為每個層次設計了相應的優化策略和算法。該模型對資源管理的最大" title="最大">最大計算復雜度為O(n2)~O(n3),是一個優化而有效的網格資源管理模型。
??? 關鍵詞: 計算網格? 資源管理? 資源分配? 作業? 資源調度? Globus Toolkit

?

??? 計算網格是近年興起的一種重要的并行分布式計算技術,其關鍵技術之一是對網格中的資源進行管理。網格中的資源具有廣域分布、異構和動態的特性,使得網格資源管理變得很復雜。當前還沒有一種模型能夠處理所有的網格應用需求。目前,網格資源管理模型主要分為分層模型、抽象所有者模型和經濟/市場模型三類。Globus項目組在網格協議制定上有重要發言權,包括IBM、Microsoft、Sun、Compaq、SGI、NEC在內的眾多重要公司都宣布支持Globus Toolkit。因此Globus所采用的分層模型代表了網格資源管理的發展趨勢。
??? 本文在Globus分層模型設計思想的基礎上提出一種優化的網格資源管理模型HRMM(Hierarchical Resource Management Model),并給出了相應的資源管理算法。為了提高效率,在HRMM的主要模塊中運用了Globus Toolkit 2.4提供的數據結構和接口。
1 HRMM的總體結構
??? HRMM的設計思想是:動態接收來自用戶的作業請求,并為該作業分配符合條件的計算資源,同時提供整個計算過程中有關資源信息的在線反饋,接受用戶的在線控制。HRMM的體系結構如圖1所示,將計算網格的資源管理任務分為四個層次:作業并行分析、全局資源分配、局部資源分配和本地資源管理。

?


???? 由圖1可見,用戶經過GUI(圖形用戶界面)向HRMM提交作業請求,作業并行分析器接收用戶的作業請求,再按最大并行度將作業中的任務劃分為若干任務組,提交給全局資源分配器。對多任務組中的每個任務,全局資源分配器在靜態資源庫中一次搜索多個滿足該需求的集群,組成候選集群組提交給局部資源分配器。局部資源分配器在動態資源庫中讀取候選集群組中每個集群的有關信息,并將相應任務分配給最符合條件的集群。然后,該集群應用本地資源管理器執行任務。在整體上,本地資源管理器每隔一定時間向靜態資源庫發送靜態資源更新信息。另外,局部資源分配器讀取動態資源庫前,動態資源庫會從本地資源管理器讀取更新信息。
??? 在這個分層模型中,一方面,用戶提交的作業能夠以最大的并行度執行,從而高效體現了并行計算的思想;另一方面,選多個集群組成候選集群組,再確定其中某一分配資源的方案,由于綜合考慮了任務的靜態需求和動態需求,避免重復的查詢操作,從而提高了資源分配的效率。
2? 作業并行分析器
??? 如圖1所示,用戶經過GUI向作業并行分析器提交作業請求。這個請求包括該作業中所含的多" title="的多">的多個任務的相關信息、任務間的依賴關系及每個任務的計算資源需求。作業并行分析器分析該作業中的任務及相互關系,根據各任務的依賴關系將作業中的任務劃分為不同的任務組,并對每個任務組進行適當描述后提交給全局資源分配器。
2.1 作業的拓撲表示
?? ?一個作業由一個或多個任務組成。作業的拓撲定義為一個滿足如下條件的有向無環圖:該圖的節點與作業中的任務一一對應;若任務B直接依賴于任務A,則存在一條由節點A到節點B的有向邊,稱A為B的直接前驅,B為A的直接后繼;如果存在一條從A到B的由多條有向邊組成的有向通路,則稱A為B的前驅,B為A的后繼。
??? 圖2表示一個作業的拓撲結構。設該作業由標記為A~G的7個任務及其相互關系組成。如圖2所示,任務D需要在任務A和B完成后才能開始,而任務G必須在任務E和F完成后才能開始。

?


??? 為了提高作業的并行執行效率,需要關注任務在拓撲定義中的深度。記任務T的直接前驅集合為Pd(T),則其深度d(T)為:
???

2.2? 作業的最大并行度劃分
??? 作業的并行劃分是指:一個作業拆分后形成的一系列對應每個任務、前后有序且相互獨立的任務組。一個作業可以有一個或多個并行劃分方案,形成該作業對應的并行劃分集,稱為作業的最大并行度劃分,將作業中的多個任務按照相應的深度進行劃分,形成一個最大并行度劃分。如圖2中的作業,其最大并行度劃分為:

3 全局資源分配器
??? 全局資源分配器接收到以RSL描述的任務組后,立刻進行分析和解釋,獲得每個任務的靜態資源需求。系統根據每個任務的資源需求在靜態資源庫中搜索滿足條件的多個集群,并將結果提交給局部資源分配器。
3.1 靜態資源庫
??? 系統中的靜態資源庫采用基于輕量目錄訪問協議LDAP結構。在HRMM模型中,網格系統的所有靜態資源都在LDAP服務器的DIT(目錄信息樹)中建立了相應的目錄項,并用<屬性,值>的組合描述各種資源屬性。靜態資源庫選擇LDAP可以在性能上帶來以下優點:
??? (1) LDAP專門對讀操作進行了優化,在讀操作頻繁的情況下,可以提高讀取效率。
??? (2) LDAP是跨平臺協議,可在任何計算機上使用。從而增加系統對異構網格環境的適應性。
??? (3) LDAP服務器支持分布式的結構,靜態資源庫可訪問本地或全局的LDAP服務器,并能很方便地實現同步,即增強資源管理的分布性。
3.2 全局資源分配算法
?? ?根據任務組中每個任務的靜態需求,全局資源分配器在靜態資源庫中搜索滿足需求的集群。在搜索時首先隨機選擇搜索的起始位置,然后為每個任務分別返回最先發現的N個滿足該任務需求的集群,形成候選集群組,并以ClusterList數據結構描述后提交給局部資源分配器;其中ClusterList是用來描述候選集群組的廣義表結構,如圖3所示。對于任何一個任務,如果只找到K(

?


4 局部資源分配器
??? 局部資源分配器在動態資源庫中搜索候選集群組的動態信息,將這些動態信息和從全局資源分配器獲得的靜態信息相組合并進行綜合分析,最終將任務組中的每個任務分配給最適合的集群。
4.1 動態資源庫
?? ?動態資源庫中的數據以XML描述,帶來如下優點:
??? (1) XML針對更新操作進行了優化。因此,對于需要不斷更新的動態資源庫,可有效提高效率。
??? (2) XML和LDAP在存儲結構上都是樹狀結構,可以很方便地相互轉化。用XML描述數據,可使動態資源庫和基于LDAP的靜態資源庫具有更好的耦合性。
??? (3) XML與平臺無關,以XML表示的數據可很方便地被其他程序使用。
4.2 局部資源分配策略
??? 局部資源分配器得到候選集群組ClusterList后,從動態資源庫獲取每個候選集群的動態信息,并將這些動態信息添加到相應集群的靜態信息之后,然后將靜態資源和動態資源信息相組合,形成集群綜合資源信息。設一個集群的動態資源信息為h=[h1,…,hm]T,靜態資源信息為t=[t1,…, td]T,其中m和d分別為動態和靜態資源描述的字段數,則集群綜合信息為v=[tT hT]T =[v1,…, vp]T,其中p=m+d。如圖3所示,集群2,2的綜合信息表示為v2,2。類似地,將任務靜態資源需求和動態資源組合,設一個任務的動態資源需求為g=[g1,…,gm]T,靜態資源需求為s=[s1,…,sd]T,則綜合資源需求為r=[sT gT]T=[r1,…,rp]T。任務i的綜合資源需求表示為ri。在確定分配策略時,將只考慮任務的綜合資源需求和集群的綜合資源信息。
??? 首先,為了任務能夠順利完成,最終被選擇的集群必須同時滿足任務的靜態資源需求和動態資源需求,即滿足任務的綜合資源需求:
???

??? 其中,n為任務組中的任務數量,p為向量v和r的維數,f(i)為任務i的候選集群(即ClusterList中Taski對應的集群鏈表" title="鏈表">鏈表)中最終被選擇集群的序號。因此,首先在ClusterList中刪除所有不滿足上述條件的集群,并記第i個任務還剩余Ki個符合綜合資源需求的候選集群,其中1≤i≤n,1≤Ki≤N。最后,局部資源分配器要為每個任務Taski從Ki個候選集群中選擇最合適的一個。綜合考慮計算網格的整體資源分配效率,在具體選擇集群時采用如下決策機制:
??? (1) 獲選集群的綜合資源信息應盡量接近相應任務的綜合資源需求,避免資源的浪費,即:

??? 其中C是可以改變的加權系數,且C>0。由于f(i)為離散值且取值范圍有限,因此提出以下優化方法,通過較少的計算來搜索近似的最優解。記候選集群組為ClusterList,則算法表示如下:
??? STEP 1. 對每個任務和候選集群,將靜態和動態資源信息組合為綜合資源信息;
????STEP 2. 刪除ClusterList中不滿足總和資源需求的集群;

??? STEP 4. 并行地對Cost的每一列排序,并按從小到大的次序重排ClusterList中的集群鏈表;
??? STEP 5. 則報告不存在滿足條件的解,算法結束;

??? 該算法為資源分配查找到了近似的最優解,并在最大程度上利用了資源管理站點所在集群的計算資源,將大部分計算并行化。設資源管理站點所在集群的節點數為P,則該算法在每個節點上的計算復雜度為O(n2N/P)3);如果在全局資源分配器中設置N≈P,則計算復雜度為O(n2)。
5 分析與總結
??? 本課題組采用基于分層模型的結構,將資源管理分為四個層次,然后在每個層次對模型的性能做出優化并提出了相應的算法。從總體上,HRMM對一個作業進行資源管理的最大計算復雜度不超過O(n3),是一個優化而有效的網格系統資源管理模型。
參考文獻
1 K. Czajkowski, I. Foster, N. Karonis, C. Kesselman. A resource managementarchitecture for metacomputing systems[C]. Proceedings of the 4th Workshop on Job Scheduling?Strategies for Parallel Processing, 1998.
2 Kurowski.K, Nabrzyski.J, Pukacki.J. User preference driven?multiobjective resource management in grid environments [C].Proceedings First IEEE/ACM International Symposium,15~18?May 2001.
3 Peng Liu, Yao Shi, San-li Li. Computing Pool--a Simpli-fied and Practical Computational Grid Model[C].The Second?International Workshop on Grid and Cooperative Computing(GCC 2003), 2003;(12):7~10
4 I. Foster, C. Kesselman, S. Tuecke. The Anatomy of the?Grid: Enabling Scalable Virtual Organizations[J].International?J. Supercomputer Applications, 2001;15(3)

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久久久9999亚洲精品| 久久国产欧美精品| 午夜精彩国产免费不卡不顿大片| 一区二区三区精品久久久| 国产精品福利av| 欧美在线视频一区二区三区| 久久精品道一区二区三区| 一区国产精品| 欧美日韩精品一本二本三本| 亚洲免费影视| 欧美一区二视频在线免费观看| 激情欧美一区| 国产一区美女| 欧美精品久久一区二区| 亚洲欧美日韩成人高清在线一区| 9人人澡人人爽人人精品| 亚洲天堂成人在线观看| 国产一区二区三区日韩| 国产日韩欧美成人| 欧美激情综合网| 欧美高清在线一区| 欧美亚洲免费| 亚洲精品一区二区三区四区高清| 亚洲一区二区三区在线看| 国产自产在线视频一区| 欧美日韩中文字幕精品| 久久久久se| 久久久久.com| 欧美成人精品在线播放| 欧美在线观看视频一区二区| 欧美专区第一页| 久久亚洲精品中文字幕冲田杏梨| 亚洲一区二区三区精品在线| 久久激情视频免费观看| 久久精品五月| 日韩视频在线观看免费| 欧美一区二区三区啪啪| 欧美亚洲在线播放| 一区二区精品在线观看| 亚洲高清毛片| 国产亚洲欧美在线| 国产亚洲免费的视频看| 在线看无码的免费网站| 国产精品亚洲成人| 欧美精品啪啪| 欧美亚洲成人精品| 欧美成人性生活| 欧美日韩不卡在线| 国产精品视频第一区| 国产综合亚洲精品一区二| 亚洲国产精品一区二区久| 一区二区日韩| 欧美在线国产精品| 99视频有精品| 欧美在线播放一区| 欧美激情视频一区二区三区不卡| 国产精品久久久久久久午夜 | 亚洲精品国产品国语在线app| 日韩特黄影片| 亚洲国产精品va| 亚洲天堂av电影| 亚洲国产成人高清精品| 欧美一区二区三区四区视频 | 久久人体大胆视频| 欧美日韩亚洲综合在线| 欧美福利视频一区| 国产精品v日韩精品| 国模吧视频一区| 日韩午夜在线| 亚洲精品一区二区三区不| 亚洲国产三级在线| 亚洲成人资源网| 亚洲一二三区在线| 亚洲精品久久久蜜桃| 久久国产精品99精品国产| 午夜精品美女久久久久av福利| 久久这里只有| 美女图片一区二区| 久久欧美肥婆一二区| 欧美视频精品一区| 一区在线影院| 亚洲欧美福利一区二区| 亚洲一区二区三区在线视频| 91久久久久久国产精品| 亚洲乱码国产乱码精品精98午夜| 亚洲欧美制服另类日韩| 欧美日韩福利视频| 狠狠色丁香婷婷综合久久片| 国产综合久久久久久| 一区二区欧美日韩| 亚洲美女免费精品视频在线观看| 久久精品国产欧美亚洲人人爽| 欧美性猛交xxxx免费看久久久| 在线看成人片| 欧美一区二区私人影院日本| 亚洲欧美日韩另类| 欧美午夜宅男影院| 亚洲免费高清| 亚洲另类自拍| 欧美成人国产| 伊人色综合久久天天| 亚洲第一区在线| 久久9热精品视频| 欧美主播一区二区三区美女 久久精品人 | 欧美激情aⅴ一区二区三区| 精品电影在线观看| 欧美在线综合| 久久久久久久尹人综合网亚洲 | 欧美 亚欧 日韩视频在线| 欧美va天堂va视频va在线| 国产香蕉97碰碰久久人人| 韩日午夜在线资源一区二区| 亚洲一区二区网站| 午夜精品免费在线| 国产精品你懂的| 国产在线成人| 欧美一级免费视频| 久久精品二区亚洲w码| 国产视频在线观看一区二区三区| 性久久久久久久| 久久国产精品色婷婷| 国产一区日韩一区| 久久激情五月激情| 免费日韩精品中文字幕视频在线| 亚洲电影免费在线观看| 亚洲精品一区在线观看| 欧美久久在线| 国产有码一区二区| 久久精品国产久精国产爱| 久久综合成人精品亚洲另类欧美| 今天的高清视频免费播放成人| 久久精品国产999大香线蕉| 久久先锋影音av| 欲色影视综合吧| 99国产精品久久久久久久| 欧美日韩国产大片| 亚洲四色影视在线观看| 欧美亚洲网站| 国产一区视频网站| 亚洲精品一级| 欧美午夜在线观看| 欧美一二区视频| 免费观看日韩| av不卡在线观看| 性xx色xx综合久久久xx| 国产在线欧美| 99国产精品私拍| 国产精品福利影院| 久久www成人_看片免费不卡| 美女尤物久久精品| 一区二区激情| 久久亚洲欧美| 日韩亚洲不卡在线| 久久精品91久久久久久再现| 在线日韩电影| 亚洲综合精品| 国产亚洲欧美激情| 亚洲精品影院| 国产女人18毛片水18精品| 最新国产精品拍自在线播放| 欧美在线视频导航| 欧美大片国产精品| 亚洲少妇最新在线视频| 久久精品免费播放| 亚洲国产精品毛片| 午夜一区二区三区不卡视频| 韩国三级在线一区| 一区二区av| 欧美日韩色一区| 欧美一区二区三区视频免费播放 | 欧美日韩综合不卡| 欧美一区二区三区日韩视频| 欧美精品97| 欧美亚洲综合在线| 欧美日本亚洲| 久久激情五月激情| 国产精品激情偷乱一区二区∴| 亚洲国产欧美日韩| 久久久精品999| 日韩午夜电影| 可以免费看不卡的av网站| 一级成人国产| 欧美成人三级在线| 亚洲欧美电影在线观看| 欧美精品免费视频| 亚洲第一区在线观看| 国产精品xnxxcom| 亚洲精品欧美一区二区三区| 国产精品综合不卡av| 一本一本a久久| 黄色av一区| 欧美伊人影院| 国产欧美日韩亚州综合| 99re6这里只有精品视频在线观看 99re6这里只有精品 | 欧美天天综合网| 91久久精品美女高潮| 国产日韩久久| 亚洲在线国产日韩欧美| 亚洲激情成人网| 久久婷婷国产麻豆91天堂|