摘? 要: GM是Myrinet專用的系統軟件，由于采用了用戶層通信、在LANai上運行MCP等機制，故具有占用系統開銷小、延遲短、帶寬大等優點，在國外已廣泛應用于并行計算領域。
關鍵詞: Myrinet? GM? 用戶層通信? LANai
?
1 GM簡述
GM是美國MyriCom公司為其高性能網絡產品Myrinet而推出的系統軟件，專門用于網絡并行計算，在國外已廣泛應用于大規模并行計算領域。
GM的設計思想就是要實現一種高帶寬低延遲，主機開銷極少的通信方式。GM的高效率，除了采用用戶層通信機制等以外，關鍵在于充分配合Myrinet在硬件架構上的特性。GM在Myrinet網卡的LANai芯片上運行MCP，承擔了大部分的通信處理工作，大大減輕了主機的通信開銷。總的來說，GM具有如下特性:
·支持超過1000個節點;
·可在不可靠網絡環境中提供可靠、有序的數據傳輸服務;
·低開銷，每個數據包只耗費主機大約1μs的處理時間;
·通過提供高低兩個優先級，可實現高效的防死鎖算法;
· 對多個用戶層程序直接訪問網絡接口提供存儲保護;
· 理論上支持的消息長度可達231-1字節，實際則受限于主機DMA內存大小;
· 自動對Myrinet進行映射，解決路由問題。
GM的不足之處在于編程模式不靈活和不支持多線程。
2 GM的結構
GM由MCP，DRIVER，LIBGM三部分構成。這三部分之間的關系可以用圖1來描述。
LIBGM為用戶程序提供編程接口，其中最重要的是發送和接收函數。此外，還提供一整套通用函數，如初始化、DMA內存管理、令牌管理、哈希管理、CRC校驗等。
LIBGM 所實現的功能可分成三類:第一類是通用函數，如哈希管理;第二類是通過DRIVER實現的功能，如內存映射功能;第三類是和MCP協同完成的功能，如發送和接收操作。其中第三類是完成數據通信功能的核心。為提高整個系統的性能，LIBGM和MCP之間的交互都繞開了操作系統，避免了包括在用戶態和核心態之間的切換，從用戶空間到核心空間數據拷貝等在內的各種開銷。因此，從發送和接收操作的路徑上看，GM采用的是用戶層通信。
DRIVER是GM中的一個重要部分。其最主要的功能是完成MCP的初始化，其次是提供一些輔助性的功能。以Linux + x86平臺為例，DRIVER以Module的形式實現，當被加載到內核的時候，DRIVER同時完成一系列初始化工作，包括:查找并自動配置PCI網卡設備，把MCP從主機加載到LANai的EPROM上，并且對LANai進行初始化，對LANai發出reset指令，驅動MCP運行。LIBGM通過調用DRIVER的ioctl功能來完成各種輔助功能。
MCP 是GM最關鍵的部分，GM的其他功能都是在MCP的基礎上構架起來的。MCP運行在Myrinet的網卡的LANai芯片上，它由DRIVER加載到LANai上。MCP借助LANai上的CPU和SRAM承擔了大部分的通信處理工作，包括:在主機內存和LANai SRAM之間的數據DMA傳送、數據包的拆分和組裝、CRC校驗、通信的應答管理、端口和令牌資源的分配、調度管理等。因此，主機方面的通信開銷幾乎為零。
網卡上的SRAM主要用作發送和接收數據的緩沖。MCP采取端口(port)、優先級(Priority)和發送/接收令牌(Token)等手段來實現資源的控制、分配和利用。對用戶程序而言，網卡上只有固定數目的端口，每個端口有高低兩個優先級，而每個端口有固定數目的發送和接收令牌。在發送或接收前，必須首先要打開端口，并申請發送或接收令牌，然后才能以某個優先級發送或者接收數據。與此機制相適應，采用了MCP的如圖2所示的數據結構方式。
?
如圖2，MCP的數據是以多級鏈表的方式組織的。第一級是表示各個主機之間的互連關系的雙向鏈表;在該雙向鏈表的每個節點處掛上一條表示通過該連接進行傳輸的第二級子端口雙向鏈表SP;而在子端口雙向鏈表的每個節點處，還掛接一條要通過該子端口進行數據發送的第三級發送令牌ST鏈表。用戶程序發送數據時，只需要在這個多級鏈表結構中掛上發送令牌，因此開銷很小，大概只需要1μs的處理時間。
3 GM的工作原理和編程模型
下面介紹GM的數據發送和接收的工作過程。實際程序中，通信前需要進行一系列預備工作:
· 選定一個通信端口，調用gm_open()打開該端口。gm_open()進行初始化工作，主要是打開設備文件(在Linux下一個GM端口對應一個設備文件)，將LANai上的EPPROM和SRAM映射到主機的內存中去，以便用戶程序的訪問。
· 申請DMA存儲區。GM使用LANai上的DMA引擎來實現主機內存與LANai SRAM之間的數據傳輸，所以主機方面的數據必須存放在DMA存儲區中。
· 申請發送令牌。令牌是LANai的資源管理手段，每個端口都只有有限數量的發送令牌和接收令牌。獲得令牌是使用LANai資源的保證，因此發送操作完成后，須馬上釋放令牌以保證后面的發送操作可以獲得必要的LANai資源。
現在假設上述預備工作已經完成，一臺主機調用gm_send()發送數據。gm_send()僅僅根據發送參數填寫Send Token數據結構，并將其掛接到MCP的多級鏈表上。
MCP以輪詢的方式不斷檢測多級鏈表，當發現有發送請求，就啟動發送事件處理句柄來完成實際的發送操作。這個過程包括數據從主機到LANai SRAM的數據DMA傳送、數據拆分、組包、CRC校驗、發送到網絡上。當一個發送請求被處理后，就會被轉到另外的一個鏈表中，該鏈表維護所有已經處理但是尚未收到對方應答的發送請求。只有收到了對方的應答后，數據發送才算真正完成。
在接收方，當網卡采集到數據以后，會啟動處理句柄對其處理，包括數據校驗、重組、數據應答等，然后存放在SRAM緩存中等待以DMA的方式傳送到主機內存中。這需要主機方面預先準備DMA內存和接收令牌，如果主機長時間不提供接收資源，那么這些數據將被丟棄。
4 GM的編程模型和API
GM用戶程序一般都是用輪詢的方式執行的。程序在進行了打開端口、申請內存等預備工作以后，就進入一個循環，在這個循環里，通過不斷地調用gm_receive()來獲取當前發生的事件，比如發送完成、有數據到達、系統出錯等來決定相應的動作。下面是GM用戶程序的通用模式:
?
事實上這種編程模式不太靈活，這也是GM的高性能運作模式所決定的。
LIBGM為GM用戶程序提供了一整套的API接口。這套API提供了以下的功能:
· 系統初始化和釋構;
· 數據發送，接收;
· DMA內存的申請，釋放，映射;
· Token管理;
· 哈希存儲管理;
· 獲取和定制系統參數，比如獲取節點ID，設定可接收數據包的最少長度。
?
參考文獻
1 GM-1.1.3 source code，http：//www.myri.com/
2 Nanette J.Boden，et al，. Myrinet： a gigabit-per-second?local area network.[J]1999，29～36.