國家計算機質檢中心陽小珊：論閃存的質量特性及測試與評價技術
目前，對閃存產品的測試和評價技術指標主要從功能、性能、可靠性、易用性等方面進行多維度綜合測評，而不同的產品形態，測評的技術指標不一定相同。閃存作為行業高度認可的未來存儲介質，其質量如何保障，是大家都需要考慮的問題，生產高質量的國產閃存產品始終離不開嚴格的測試和標準的制定。
—— 國家計算機質檢中心存儲測評實驗室主任陽小珊
本文記錄陽小珊在2018全球存儲半導體大會暨全球閃存技術峰會上的演講實錄，主題：《閃存的質量特性及測試與評價技術》。陽小珊分別從對當前閃存市場的產品質量、產業發展狀況以及有關閃存的測試與評價內容進行了深入分析。
以下為演講實錄：
我的演講首先涉及到閃存產品的質量。作為用戶和普通第二方、第三方怎么評價這個產品是非常關鍵的，所以題目重點是閃存質量特性及測試評價。主要從這幾個方面來講，第一是質量與產業鏈的關系，第二是閃存及測試現狀，主要是國內現狀，第三是閃存的質量特性，從多個方面評價產品，第四是測試與評價。這個題目原來是在設計的時候后面加了技術，因為涉及到我講的面比較廣，所以不需要深入講測評技術。
第一個方面是質量內容，首先重點講一下質量和國家發展的關系。質量，進入二十一世紀以來，行業和國家都非常關注質量的內容。作為國家級戰略，這部分已經寫入十九大報告。質量報告包括四方面的內容，第一是產品質量是堅石的基礎，也就是說芯片，包括上面的應用產品是我們的重點。然后是質量保障、質量提升和質量監管，關于第四部分質量監管目前是國內改革的重點，行政許可基本放權，測試和評價是后面重要的監管手段，事前事中事后，通過后面的質量監管體現服務質量。
測試和質量的關系，談到質量肯定離不開測試，測試對我們的技術研究、產品設計、產品制造和產品應用都是非常關鍵的，對我們最終的用戶來說，產品的應用非常關鍵，所以里面涉及到不同的測試方案都不一樣，是整個產業生態鏈中不可缺失的重要環節。測試在我們企業產品生產過程中是重要的保障手段，也是發現產品問題、提升產品質量的重要手段。測試需求我們都知道，測試不僅僅說普通的用戶需要，第一方需要，第二方需要，第三方也需要，第三方就是我們目前主要做的工作，做質量鑒定、認可、發證這些方面的工作。
談到質量離不開標準，標準在產業發展中的地位不可動搖，具體表現在支撐性、戰略性和基礎性。標準是保證產品質量的重要依據，也是調整產業結構的杠桿，更是科技成果轉化的橋梁。技術形成以后怎么才能形成產業標準指導產業發展是非常重要的，只要標準化出來引導標準。尤其是現在很火的5G，誰能引導標準，這在國際上的競爭是非常重要的。
存儲產品對整個信息化發展具有非常重大的促進作用，是基礎產品。目前物聯網、大數據需求很旺，但是我們國內的情況不是太樂觀，起步比較晚，技術比較低，知識產權相對比較少，缺少關鍵的核心技術。閃存作為未來發展的重要存儲設備，它的地位不可動搖。整個行業怎么把質量提升上來，如何保證用戶的使用，是大家都需要共同考慮的問題。
下面我講一下測試的現狀。既然講到測試的話，需要有標準和方法，要明確產品的類型，我這里講閃存測試是針對閃存的相關產品。在行業里面目前分了幾大產品類型，第一是閃存卡，我們經常用到，也是比較成熟的。第二是固態盤，閃存盤也歸在里面，產品不一樣，標準方法也不一樣。第三是閃存陣列，這是對特殊應用來說的，包括混合陣列和全閃陣列等等。第四是閃存系統，就是上層的應用產品，包括具有閃存的軟硬件系統，像固態盤、閃存介質、閃存文件管理系統等方面的內容。
還有非常關鍵的測試跟產業鏈的關系，剛才簡單講了。測試其實是廣泛和深入的學科，里面涉及到的東西很多，第一是評測指標體系。剛才陳教授講可靠性的話，可靠性其實是非常廣泛和深入的評價體系和指標體系，對應的方法和標準、服務測試都不一樣，里面的內容很多。測試體系大的三個方面去研究，第一是測評指標體系，先要測試它，這個產品的質量要做評價指標體系。第二是針對不同產品和不同指標設計相關方面，研制相關標準。最后是相關的測試工具進行測評服務，所以涉及到整個產業鏈里面的關鍵技術研究。在新技術研究的時候，都需要這些指標和方法去驗證，包括測試儀器和工具。產品模型設計，產品生產制造是比較關鍵的，會涉及到定型檢測、出廠檢測，這是軟件間的提升，再就是生產和應用的表現。
接下來講閃存國內的測評需求，針對國內產品類型的分類，我通過多年的測試情況整理了一些測試分類。第一個是市場上的需求，目前民用測試需求很廣，在市場上作為第三方經常幫助用戶買存儲設備，閃存卡、閃存盤，容量不夠、性能出問題、可靠性出問題的鑒定檢測。第二是消費者協會威權檢測，國內有12315質量協會。第三是政府的采購，重點是對專業領域大的存儲系統購買。隨著閃存產品的成熟，海量級閃存產品替代作為政府關鍵采購設備，有些替代傳統滿足性能，可靠性功能等各方面的需求。我們中心作為國家機關政府采購指定單位，每年承擔很多方面的測評工作。我們目前也遇到了很多瓶頸，因為產品剛成熟，相關方法標準和工具都比較缺失。另外是部隊，部隊是特殊行業軍用的，比如說航空閃存產品最多，考慮到重量、抗震和特殊的溫度環境，是非常關鍵的領域。隨著閃存跟國內存儲企業發展成熟，去年我負責全軍首次自主光存儲設備測試與評價工作，基本上國內存儲設備企業都參與其中。還有一些民用的測試，包括學校存儲方面科研成果的鑒定檢測，還有863項目或者科研項目的驗收，都是我們存儲的測評需求。
這是中央政府采購網的大型系統測試和評價，里面有很多，這只是簡單的舉例。這是去年首次做的自主存儲設備測試評估與規范，包括測試與評價。測試就是用具體的技術手段，去測性能指標有沒有達到具體的要求。評價就是看是什么級別，跟別的相差多少，這樣的話才有總體的認可。對于普通用戶或者使用者來說，根本就不需要了解那么深入的證書，通過這個結果就知道產品的質量問題。
閃存產品的測試現狀，測試方面國內跟國外可能不一樣，今天來了IOL實驗室的專家，國際上是自主型的組織，相關企業如果通過了驗證，兼容性或者性能可以做一些比較。國內重點是國家認監委和認可委管理，標準化和專業化比較強，管控國內六七千家實驗室。里面測試需要具備的東西非常關鍵，人、機、料、法、環是主要的因素，但是閃存領域相關產品測試還是不太樂觀。首先是測試人員非常稀缺，包括華中科技大學出來的學生做測試非常少，在企業里面做測試的也非常少。如果在企業里面可能做得不太專業，不太全面。再就是機器，目前的情況重點是國外開元軟件工具或者存貯設備，對閃存的測試工具和設備不是太完善。如果有相關專業底層設備包括芯片的話，那是非常昂貴的。方法就是相關標準和技術方法沒有完成，有些部分還不健全。環境的話就是實驗室服務平臺沒有建起來，國內好多企業的產品做出來，可能還需要送到國外去測試。
說到質量離不開標準化，標準化就是相關標準規范。我們做了相關的跟蹤和研究，國外有部分測試方法，像耐久性測試、擴展，還有性能測試規范。國內也做了一些成果，我們跟著行業做了一些標準。2010年華中科技大學聯合我們一起做了移動存儲閃存盤的通用規范，當時是針對USB的產品規范。這兩年有兩個行標，第一個是磁盤陣列通用規范，還有固態盤的通用規范。國標的話是和存儲聯盟一起推了盤陣列通用規范，盤陣列包括閃存陣列和磁盤陣列。另外是今年剛發布也是我主導編寫的固體盤測試方法，2019年1月1日實施，涉及到性能、功能、可靠性、數據保持持久性等內容。
半導體相關方面的測試標準，快閃存儲器也是國標，還有非易失性存儲器耐久和數據保持，這幾個標準都是國內今年發布的，半導體芯片產品一系列標準。還有其他方面團體標準，國內有中國存儲產業技術創新戰略聯盟，我們是聯盟的指導單位，我也在主導做分布式全閃存存儲系統測試規范，整個體系標準規范研制過程中。部隊里面也在做閃存盤、固態盤、存儲設備等相關測試標準，這是國內的測試現狀。
第三個內容，講講閃存產品的質量特性。閃存產品的質量特性，其他的產品信息是一樣的，質量關鍵是滿足需求，一般都要給予用戶需求去考慮。這些要求的話，定性的不太好評價，一定要有相應的考核指標，怎么樣評價和檢驗考核需要一定的質量特性，質量特性下面就轉化為我們的技術指標。質量特性就是指產品過程或者體系相關的要求，對閃存產品的測試評價技術，我們做了總結和分類，第一個是功能、性能、可靠性、易用性方面，多維度的綜合評測。我下面列了比較全面的測評體系，需要注意不同產品測評技術和指標是不一樣的，像閃存陣列要評價橫向和縱向的擴展性，所以要考慮適用性的問題。
我們整理了一下，針對產品級別來說測評指標體系的需求，第一個是功能，根據用戶的需求，剛才第二節評測是質量特性，第三節叫做技術指標。第二個是適用性，功能里面通訊協議怎么支持，數據加解密有沒有功能，實現得怎么樣，掉電保護功能有沒有實現，數據有沒有銷毀功能，都是根據功能的實現，實現了功能就要考慮性能，讀寫速率、數據傳輸率，在產品測試里面重點講的是與時間特性相關表現，一般都是帶上時間的質量特性，標準方面的東西。第三個是可靠性，剛才有提到技術指標，容錯性、數據保存時效、出錯率都是可靠性的子指標。還有可用性，產品展示宣傳手冊經?？吹娇煽啃远嗌?，可用性多少個9，其實這是沒有標準和規范，是不統一的表現。在規范化研究里面，多少個9是放在可用性的，多長時間里面容忍多久的宕機或者停機服務。另外還有兼容性，第一個是硬件的兼容，第二個是軟件的兼容。還有比較關鍵的信息安全性，它是大的學科和領域，重點講的是物理安全和邏輯安全。網絡通訊網絡信息安全，網絡空間安全不算產品質量的特性。環境適應性，氣侯適應、機械環境這些非常關鍵，在應用領域像產品涉及到高低溫情況，電源適應也是非常關鍵的指標，還有相關功耗等，簡單帶過一下。
具體講測試與評價，不講技術了，非常關鍵的指標就是容量，我們買到的容量和企業產品標注的容量可能不一樣，有的標注容量多少個G，實際用的沒有那么多。對用戶來說相信哪個，G大B、G小B，都需要行業的標準和規范。還有掉電保護，掉電保護是一項功能，對用戶是可靠性的手段，包括單盤掉電和盤陣掉電。另外還有接口、通訊協議、數據加解密都是我們平常用到的。性能方面，性能一定要注意一個問題，所有的產品宣傳冊單獨只講結果的，行業里面有個笑話，不說應用場景的都叫耍流氓，一定要明確測試環境，是大IO還是小IO，這樣才有可比性和參考性，不同產品性能需求不一樣。
可靠性，剛才講過了，容錯性需要我們重點注意，在測試當中主要的測試方法就是故障注入測試，通過斷電、硬件故障、軟件故障，通過這些綜合性的方法檢測產品可靠性。
保存時效，通過測試的話，我們設計的條件比較嚴苛，要經過不同環境的測試。還有MTBF，有的產品標稱幾百萬MTBF，按說這個東西是比較難實現的，一般是理論和實際結合起來才可以出平均無故障間隔時間。下面還有插拔和開關測試。
可用性，對用戶來說能不能提供服務，這是非常關鍵的，跟可靠性經常是混著用。故障的修復時間，存儲系統出了故障以后多久修復是用戶能接受的，我們提了ITO技術指標。數據重構時間、業務切換接管時間非常關鍵，不同業務需求注重的指標不一樣。另外是我們說的多少個9。
兼容性，要考慮道不同的東西，接口、部件、整體，部件涉及到內存、硬盤和板卡，軟件的話有驅動、協議、操作系統等。
信息安全是大家關注的重要內容，這里面講的信息安全要規避網絡安全。我們現在講物理安全，特殊設備講可信的物理空間，安全環境有沒有涉秘空間，有沒有防拆裝。另外是安全保護裝置，盤陣可靠性提供，有沒有非易時性緩存，是BBU實現的還是UPS實現的，實現的能力有多強，這些是具體的技術指標。軟件包括檢錯能力。還要講究邏輯安全，通過軟硬件手段實現傳輸和存儲安全，重點是保障數據的完整性、防篡改和機密性。
下面是環境適應性的技術要求，大部分標準是國標，還有強制性標準，是必須要滿足的要求，尤其是信息與設備，包括氣侯環境和機械環境。工作溫度和存儲溫度，機械環境也很多，振動沖擊、碰撞跌落。電磁兼容涉及到人身安全的重要領域，重點依據標準是國標9254，它是強制標準，生產相關設備的話取得3C許可證才可以銷售，無線電騷擾、抗擾度、防靜電等。電源適應性也是很重要的要求，重點從人身安全考慮的內容，有一般要求、接觸電、抗電和安全的保護功能。另外是功耗，在我們的行標里面提了產品的動態功耗和靜態功耗，存儲器SPC也提了功耗怎么測法。
這就是我介紹的整體內容，希望產學研用各單位一起將測評體系進一步完善。國內對測試不是太重視，但是隨著質量強國，希望不要有外國月亮比中國圓的情況，一起保證國內生產出有競爭力高質量的閃存產品，這是我們的希望。謝謝各位聆聽。