摘  要: Linux SCSI體系結(jié)構(gòu)及API數(shù)據(jù)結(jié)構(gòu)的操作原理和相關(guān)的系統(tǒng)調(diào)用,運(yùn)用SCSI API實(shí)現(xiàn)了有關(guān)的數(shù)據(jù)存儲(chǔ)。

　　關(guān)鍵詞: SCSI通用驅(qū)動(dòng)器  SCSI接口  數(shù)據(jù)存儲(chǔ)

　　隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和計(jì)算機(jī)圖形圖像處理技術(shù)的飛速發(fā)展,影視行業(yè)對(duì)計(jì)算機(jī)技術(shù)的依賴程度越來(lái)越大。影視數(shù)字化編輯播出系統(tǒng)是一個(gè)信息量巨大、精度高、實(shí)時(shí)性強(qiáng)的高速?gòu)?fù)雜的分布式多媒體網(wǎng)絡(luò)信息系統(tǒng)。它所需要的網(wǎng)絡(luò)服務(wù)器的規(guī)模很大,因此對(duì)服務(wù)器存儲(chǔ)技術(shù)要求非常高。目前服務(wù)器的存儲(chǔ)技術(shù)主要分為二大類:直接連接存儲(chǔ)技術(shù)DAS(Direct-Attached Storage)和附網(wǎng)存儲(chǔ)技術(shù)NAS(Network-Attached Storage)。當(dāng)前DAS的主流技術(shù)是Ultra 3 SCSI和RAID。由于受IDE設(shè)備擴(kuò)展性的限制及IDE設(shè)備缺乏可替換技術(shù)的支持,目前IDE RAID的應(yīng)用還不多。因此服務(wù)器的DAS技術(shù)一直和SCSI技術(shù)的發(fā)展緊密關(guān)聯(lián),而且在市場(chǎng)上SCSI技術(shù)的影響也很廣泛。

　　為了建立影視數(shù)字化與空間數(shù)據(jù)組織及管理的原型實(shí)驗(yàn)室,作為其先期的工作,需要對(duì)SCSI技術(shù)有深入的研究與分析,以期實(shí)現(xiàn)大容量數(shù)據(jù)的高效分布式存儲(chǔ)及調(diào)度。本文對(duì)SCSI接口和Linux下的SCSI API進(jìn)行了詳細(xì)的分析,并運(yùn)用此API作了與數(shù)據(jù)存儲(chǔ)相關(guān)的實(shí)現(xiàn)。

1  SCSI接口

　　SCSI指小型計(jì)算機(jī)系統(tǒng)接口(Small Computer System Interface),最早研制于1979年,原是為小型機(jī)研制出的一種接口技術(shù)。但隨著電腦技術(shù)的發(fā)展,現(xiàn)在它已被完全移植到了普通微機(jī)上,如硬盤、光驅(qū)、打印機(jī)、光盤刻錄機(jī)等設(shè)備。

　　SCSI接口從技術(shù)和性能上始終擁有頂級(jí)設(shè)備的特征。SCSI接口與IDE接口相比具有以下特點(diǎn):(1)適應(yīng)面廣。使用IDE接口時(shí),會(huì)受到系統(tǒng)IRQ(中斷號(hào))及IDE通道的限制,一般情況下每個(gè)IDE通道使用一個(gè)IRQ,所接的IDE設(shè)備最多不能超過15個(gè)。而使用SCSI時(shí),所接的設(shè)備可以超過15個(gè),且所有這些設(shè)備只占用一個(gè)IRQ。(2)多任務(wù)。SCSI允許在對(duì)一個(gè)設(shè)備傳輸數(shù)據(jù)的同時(shí)對(duì)另一個(gè)設(shè)備進(jìn)行數(shù)據(jù)查找,這對(duì)于服務(wù)器來(lái)說(shuō)是非常重要的。因?yàn)榉?wù)器常常需要同時(shí)處理幾個(gè)進(jìn)程,并且對(duì)服務(wù)器硬盤的操作也經(jīng)常是既有讀數(shù)據(jù),又有寫數(shù)據(jù)。(3)寬帶寬。理論上,目前最快的SCSI總線帶寬為160Mbps,這意味著硬盤的傳輸速率最高可達(dá)160Mbps(這是理論值,實(shí)際應(yīng)用中會(huì)降低)。而目前最快的IDE接口硬盤的外部速度為100Mbps(即ATA-100,這也是理論值),而且由于各方面的限制,現(xiàn)在所能用的最高速度只有33Mbps。(4)較少的CPU占用率。使用傳統(tǒng)IDE接口時(shí),CPU需要全程控制數(shù)據(jù)的傳輸操作,所以在IDE傳輸數(shù)據(jù)的過程中,CPU不能執(zhí)行任何操作,直到傳輸結(jié)束才可執(zhí)行后續(xù)的指令。而SCSI在進(jìn)行數(shù)據(jù)傳輸時(shí),CPU在將傳輸指令傳給SCSI后就可立即處理后續(xù)的指令,傳輸?shù)墓ぷ鲃t交給SCSI卡上的處理芯片自行負(fù)責(zé),直到SCSI處理完畢、發(fā)出信號(hào)通知CPU后,CPU再進(jìn)行后續(xù)處理,因此占用CPU資源較少。

2 Linux下的SCSI API

　　由于SCSI具有多任務(wù)的特點(diǎn),因此它在多任務(wù)操作系統(tǒng)(如Linux、Windows NT)中可以獲得更高的性能。為了能夠更好地對(duì)Linux的SCSI子系統(tǒng)進(jìn)行管理,本文先對(duì)SCSI體系結(jié)構(gòu)和與系統(tǒng)相關(guān)的應(yīng)用接口進(jìn)行分析,然后再運(yùn)用API對(duì)數(shù)據(jù)存儲(chǔ)相關(guān)方面進(jìn)行實(shí)現(xiàn)。

2.1 SCSI體系結(jié)構(gòu)

　　從圖1中可以看出,上層支持用戶-內(nèi)核接口,SD屬于磁盤類,SR屬于CD-ROM子系統(tǒng),它們都有一個(gè)中斷設(shè)備接口。ST是用來(lái)讀寫磁帶的字符驅(qū)動(dòng)器,SG是用一個(gè)字符設(shè)備接口連接設(shè)備的命令,它們都有一個(gè)字符設(shè)備接口。SCSI中間層定義了內(nèi)部接口,為上層和下層驅(qū)動(dòng)器提供服務(wù)。

　　通過SG驅(qū)動(dòng)器的請(qǐng)求可以分為三個(gè)階段:(1)從用戶接受請(qǐng)求,預(yù)留所需要的資源。如果需要,在用戶區(qū)的數(shù)據(jù)先被傳送到內(nèi)核緩沖區(qū),然后將請(qǐng)求提交給SCSI中間層(然后給適配器)去執(zhí)行。(2)假設(shè)SCSI適配器支持中斷,當(dāng)請(qǐng)求完成時(shí)中斷就被接收。當(dāng)中斷到達(dá)時(shí),數(shù)據(jù)傳輸即完成。也就是說(shuō),如果SCSI命令是READ發(fā)的,則數(shù)據(jù)就在內(nèi)核緩沖區(qū)或者在用戶緩沖區(qū)。(3)用戶通過一個(gè)調(diào)用取出請(qǐng)求的結(jié)果。如果需要,內(nèi)核緩沖區(qū)中的數(shù)據(jù)會(huì)被傳送到用戶層,此時(shí)與這個(gè)請(qǐng)求相關(guān)的內(nèi)核資源被釋放。通常write()調(diào)用就是第一階段的發(fā)送請(qǐng)求,之后read()調(diào)用取得數(shù)據(jù)或者出錯(cuò)信息。另外SCSI中間層自動(dòng)維護(hù)一個(gè)隊(duì)列以支持多個(gè)用戶請(qǐng)求。

2.2 主要數(shù)據(jù)結(jié)構(gòu)

　　當(dāng)前通用SCSI-3驅(qū)動(dòng)器的最主要數(shù)據(jù)結(jié)構(gòu)是struct sg_io_hdr。其余的一些數(shù)據(jù)結(jié)構(gòu)是關(guān)于特定驅(qū)動(dòng)器信息(如struct sg_scsi_id,struct sg_req_info等)的。另外,老版本的SCSI接口struct sg_header是SCSI-2的主要控制結(jié)構(gòu)。

　　sg_io_hdr中的主要成員有:interface_id,一般情況下它被置為‘S’,標(biāo)志接口的版本;dxfer_direction標(biāo)志數(shù)據(jù)的傳輸模式;SG_SXFER_NONE標(biāo)記測(cè)試設(shè)備是否就緒;SG_SXFER_TO_DEV標(biāo)記一個(gè)寫命令;SG_SXFER_FROM_DEV標(biāo)記一個(gè)讀命令;SG_SXFER_UNKNOWN用在當(dāng)前應(yīng)用程序不清楚具體傳輸模式的情況下;cmdp指向一個(gè)SCSI命令的指針;cmd_len代表了命令的長(zhǎng)度;dxferp表示用戶內(nèi)存緩沖空間,存放被傳輸數(shù)據(jù);dxfer_len表示緩沖空間的大小;sbp表示錯(cuò)誤信息的存放地點(diǎn)。其余一些數(shù)據(jù)成員是輔助性的成員,本文不再介紹。此外,有關(guān)命令操作碼可以參看scsi.h文件。

2.3 系統(tǒng)調(diào)用

　　成功地打開一個(gè)sg設(shè)備文件名,就在文件描述符和連接的SCSI設(shè)備間建立了一個(gè)連接。sg設(shè)備保存著在SCSI設(shè)備和文件描述符層(如保留緩沖區(qū))中的狀態(tài)信息和資源。即使SCSI設(shè)備被拔掉,一個(gè)應(yīng)用仍然可以擁有該設(shè)備的文件描述符。如USB這樣的熱拔插設(shè)備就可以被拔掉,但它的文件描述符仍然存在。此時(shí)大多數(shù)試圖訪問該設(shè)備的系統(tǒng)調(diào)用會(huì)生成ENODEV錯(cuò)誤,poll()調(diào)用會(huì)產(chǎn)生一個(gè)POLLHUP錯(cuò)誤,但close()調(diào)用會(huì)正常完成。如對(duì)這個(gè)文件進(jìn)行open()操作,則也會(huì)產(chǎn)生一個(gè)ENODEV錯(cuò)誤。

　　(1)open()調(diào)用

　　調(diào)用的形式為open(const char*filename,int flags)。

　　filename為sg設(shè)備文件名。flags為以下標(biāo)記或者為以下標(biāo)記的組合:

　　O_RDONLY:只能用于read()和ioclt()操作中。

　　O_RDWR:允許所有的系統(tǒng)調(diào)用執(zhí)行。

　　O_EXCL:在處理之前等待與SCSI設(shè)備相關(guān)的其他打開關(guān)閉。當(dāng)其他人打開了一個(gè)SCSI設(shè)備,如果設(shè)置了O_NONBLOCK就會(huì)產(chǎn)生EBUSY。該標(biāo)記不允許和O_RDONLY、O_EXCL一起用。

　　O_NONBLOCK:設(shè)置non_blocking模式。這個(gè)標(biāo)記被ioclt(SG_IO)忽略。

　　在以上的標(biāo)記中,O_RDONLY和O_RDWR必需設(shè)置,其他標(biāo)記可以任選。

　　(2)write()調(diào)用

　　調(diào)用形式為write(int sg_fd,const void*buffer,size_t count)。

buffer應(yīng)該指向數(shù)據(jù)類型為sg_io_hdr_t的對(duì)象,count為(sg_io_hdr_t)的大小。如果write()調(diào)用成功,count就作為結(jié)果返回,命令請(qǐng)求就被發(fā)送給SCSI設(shè)備。

　　(3)read()調(diào)用

　　調(diào)用形式為read(int sg_d,void*buffer,size_t count)。

　　buffer應(yīng)該指向數(shù)據(jù)類型為sg_io_hdr_t的對(duì)象,count為(sg_io_hdr_t)的大小。如果read()調(diào)用成功,則count作為結(jié)果返回。通常read()返回的是最早被完成的命令請(qǐng)求。

　　(4)poll()調(diào)用

　　調(diào)用的形式為poll(struct pollfd*ufds,unsigned int nfds,int timeout)。這個(gè)調(diào)用用于測(cè)試sg文件的當(dāng)前狀態(tài)。POLLIN說(shuō)明可以進(jìn)行read()調(diào)用,POLLOUT則代表可以發(fā)送write()命令,POLLHUP意味一個(gè)設(shè)備被分離需要進(jìn)行清理工作,POLLERR則表示出錯(cuò)。

　　(5)close()調(diào)用

　　調(diào)用的形式為close(int sg_fd)。close()調(diào)用應(yīng)該在所有write()及read()調(diào)用完成之后進(jìn)行。返回0代表成功,-1表示錯(cuò)誤。

3  SCSI API在數(shù)據(jù)存儲(chǔ)中的應(yīng)用

　　在一臺(tái)雙CPU HP服務(wù)器(512MB)上掛載了二個(gè)Ultra3 Lvd SCSI硬盤,系統(tǒng)平臺(tái)為RedHat Linux 7.3,其內(nèi)核為L(zhǎng)inux2.4.18。往內(nèi)存中隨機(jī)寫入200MB數(shù)據(jù),然后按一定的策略將其分布儲(chǔ)存到二個(gè)SCSI硬盤,其算法流程見圖2。

讀操作所涉及到函數(shù)是int sg_read(int sg_fd,unsigned char*buff,int blocks,int from_block,int bs,int*diop)。其中sg_fd代表數(shù)據(jù)源所在設(shè)備的句柄,buff是獲得數(shù)據(jù)的存儲(chǔ)區(qū),這個(gè)函數(shù)從sg_fd的from_block處開始讀取blocks*bs大小的數(shù)據(jù)到buff中去。diop標(biāo)志是否使用DMA方式。下面是用C語(yǔ)言編寫的讀操源程序的主要部分,略去了一些完整性控制。

　　按照上述的算法,將200MB的數(shù)據(jù)分布地寫到二個(gè)SCSI硬盤上,同時(shí)也將200MB的數(shù)據(jù)寫到一個(gè)SCSI硬盤上進(jìn)行對(duì)比測(cè)試。測(cè)試時(shí)使用Linux系統(tǒng)下的time函數(shù)獲得運(yùn)行時(shí)間,圖3的縱坐標(biāo)表示傳輸200MB數(shù)據(jù)所需要的總時(shí)間。從圖3中可以得到單硬盤傳輸200MB數(shù)據(jù)所需要的平均時(shí)間為12.4112s,平均的傳輸速率為16.115Mbps,這和系統(tǒng)提供的拷貝命令的傳輸速率差不多。按上述算法存儲(chǔ)200MB數(shù)據(jù)所花的平均時(shí)間為8.8314s,平均的傳輸速率是22.647Mbps。不難發(fā)現(xiàn)分布儲(chǔ)存的效率比一個(gè)硬盤儲(chǔ)存要高40.5%,具體數(shù)據(jù)參見圖3。