摘? 要: 采用蛀洞路由機制是新型多計算機并行系統的重要特征,介紹用蛀洞路由器ST_C104構造全互連多機并行系統的方法并給出構造實例,證明它具有并行效率高、通信速度快、拓撲結構可變、擴展性強等特點。

　　關鍵詞: 多計算機? 并行? 蛀洞路由? ST_C104

?

　　近年來,在高性能并行計算機系統中,分布存儲型的多計算機系統的研究與應用得到快速發展。MPP(Massively Parallel Processors)系統屬于一種松散耦合的計算機系統,它一般由數十臺至百臺以上計算機結點和高速互連網絡組成,由于沒有共享內存,各結點之間通過互連網以消息傳遞的方式相互通信,各結點間既相互獨立又可相互交流、共享信息,它非常適合目前各行各業方興未艾的網絡發展的需要。新型的由硬件支持的路由技術特別是蛀洞路由器的出現,使多計算機系統的網絡互連變得更加靈活方便,更為重要的是大大減小了通信時延,使遠程通信時延和本地通信時延一樣,即通信時延與兩個結點之間的距離無關,從而大大提高了多計算機并行系統的通信效率。

　　本文介紹采用蛀洞路由器ST_C104構造全互連多機并行系統的方法,我們將該技術應用于“長纓-III分布式并行仿真計算機系統” 的研制中，取得了良好的效果。

1 ST_C104的結構與特點

　　ST_C104是SGS-THOMSON公司于1996年推出的32×32高速異步網絡開關,是專門為多CPU間互連而設計的系列產品之一,其結構如圖1所示。

?

　　ST_C104具有如下主要特點:

　　·支持蛀洞路由方式,且可傳遞任意長度的信息包(Packet);

　　·時延小,不大于1μs;

　　·通信速率為32×100Mb/s,通信帶寬達300MB/s;

　　·支持虛擬通道和自適應尋徑;

　　·具有硬件出錯處理機制(Fault Tolerant Network);

　　·提供2對控制鏈Clink,用于初始化及出錯處理;

　　·提供32對數據鏈Dlink,用于數據傳遞及校驗。一個C104最多可直接連接32個滿足Link協議的CPU(如T9000等),也可通過與高速鏈路適配器ST_C101相配合,實現與任意型號CPU的連接;

　　·在線編程,可動態改變網絡拓撲結構;

　　·可無限級連。

2 基于ST_C104的多計算機系統

　　對于一般的CPU,因為外部數據線多為并行總線,且時序、協議各不相同,因此與C104連接時需要利用C101進行鏈路適配,如圖2中小框所示,而對于具有Link協議的CPU,可直接與C104相連,不需加C101。一個C104最多可連接32個CPU,如果不需要那么多的CPU,或希望提高鏈路通信帶寬,則可減少CPU數量,而將C104的多個鏈路分配給同一個CPU,如圖2中#30節點,它占用了3根Link,雙向帶寬達600Mb/s。

?

　　圖2中各個CPU的地位是完全相同的,每個CPU既可做為主控結點,也可做為從結點。將一個或多個任務按一定策略劃分后分配到各個結點,所有結點可同時進行工作,各結點之間通過C104為媒介進行實時通信,因此該多機系統是全互連的、并行的。

　　一般將由一個C104相互連接的結點合稱為一個機群,如圖2中的全部1～30個CPU結點機即構成了一個機群。

3 ST_C104的級連與擴展

??? C104采用蛀洞路由方式尋徑,通信時延小,且與結點間距離無關,因此理論上C104可無限級連構成一個任意大的MPP系統。但實際上任何系統級連的數量與其性能都不可能永遠線性地增加,而是有一個平臺,在此之后,系統性能增長緩慢。事實上,在現實應用中對系統規模一般也是有限的,圖3是用6個(可繼續擴展)C104構成的平面拓撲結構的多機系統。

?

　　圖中將C104相連的實線表示數據鏈,虛線表示控制鏈,控制鏈的連接順序是任意的,不同的連接順序即可得到不同的網絡拓撲結構。可見C104間所需連接的線很少,它們的互連是非常簡單的。圖中每個C104用于與其它C104互連占用了4根數據鏈,因此還可以連接28個其它CPU結點,即構成了一個由6個機群組成,而每個機群可各帶28個CPU結點的并行機系統。

　　可擴展性是多機并行系統的重要性能之一,C104的互連簡單,其擴展功能非常強大,例如可輕易擴展成環形結構、二維網絡結構、立方體結構、三維超立方體結構等多種拓撲結構,這里不再重述。

4 ST_C104應用實例

　　我們以C104為核心構造了“長纓-III分布式并行仿真計算機系統”,它主要是針對部隊對仿真計算機小型化(機動性強)、高速高精度、伸縮性好、環境適應性強等要求而設計制造的。該系統由6個C104構成的6個機群及1個I/O子系統組成,每個機群包含9個結點,其中8個計算結點(即CPU結點),1個I/O通信結點,總共為48個計算結點,6個I/O通信結點。為了增加機群間的通信帶寬,機群之間的互連用了5根數據鏈,通信帶寬達1000MB/s,如圖4所示,圖中小方塊表示1個計算結點,小圓圈表示I/O結點。

?

?????? 每個計算結點中,CPU采用Intel公司高性能RISC微處理器I860,其主頻為40MHz,單精度峰值運算速度為80Mflops,雙精度峰值運算速度為60M flops,DRAM采用單體結構,頁方式(Page Mode)工作,字長64位,每頁4K字節。其它輔助電路包括8MB～16MB的動態存儲器DRAM、64KB的只讀存儲器EPROM(用于存放初始引導程序)、定時電路TIMETR、中斷控制電路INTER、2個高速并行Link適配器C101(用2個C101并在一起,是為了得到64位的通訊帶寬)組成,如圖5所示。

?

　　I/O通信結點形式有多種,可根據用戶任務的需要進行選擇,目前應用的有2種:(1)多總線通信板。用于與普通PC機或工作站間的通信,適用于AT、ISA、PCI、VME協議的插槽,并行機在運行過程中可與任何具有上述協議的計算機進行實時通信;(2)A/D、D/A通信板。用于并行機與外界實物數據采集或輸出系統間的通信,可并行或串行通信,分別適用于高速、近距離與中速、遠距離通信的場合。長纓-III并行計算機具有非常強大的I/O接口能力,且擴展性強,目前已配備了16路16位A/D與16路16位D/A,在并行通信方式下,相距100m時一組A/D、D/A數據與并行機通信時間小于45μs,完全突破了目前業界通信時間在ms級的瓶頸。

　　總之,ST_C104是網絡互連專用產品,我們在應用中發現它確實具有優秀的互連能力,用它設計的“長纓-III分布式并行仿真計算機系統”采用的CPU性能并不高,但構成MPP系統后表現出了很高的并行效率,系統性能穩定,使用簡便,其主要性能指標如下:

　　·單精度浮點運算速度:38.4億次/s;

　　·雙精度浮點運算速度:21.6億次/s;

　　·系統總存儲容量:6×64Mbyte;

　　·機群間通信帶寬:1000Mbits/s;

　　·結點間通信帶寬:200Mbits/s;

　　·I/O接口配置:16路16位A/D,16路16位D/A;????

　　·多總線通信板:可直接與外部計算機的AT、ISA、PCI、VME總線通信;

　　·軟件配置:并行C,并行FORTRAN,并行程序開發環境。

　　“長纓-III分布式并行仿真計算機系統”在戰略戰術導彈的閉環動態測試、導彈射前仿真與修偏、大型武器系統性能評估與決策、氣象數據處理等領域均獲得良好運用。

?

參考文獻

1 SGS-THOMSON Co.ST_C104 DATA BOOK.1997-06

2 SGS-THOMSON Co.Transputer Development System.1997-06

3 吳少軍等.長纓-III分布式并行仿真計算機系統研究報告.1998