楊貞祥，趙興奮，賀虎林

　　（蘇州桑泰海洋儀器研發(fā)有限責(zé)任公司，江蘇 蘇州 215125）

        摘要：從大數(shù)據(jù)的角度，利用軟件測試歷史數(shù)據(jù)，分析和研究軟件開發(fā)及測試過程，為軟件質(zhì)量保證和項目管理及組織能力建設(shè)提供了新的思路。在組織內(nèi)部建立測試數(shù)據(jù)收集機(jī)制，對軟件測試相關(guān)數(shù)據(jù)進(jìn)行收集，建立數(shù)據(jù)分析模型，從軟件開發(fā)過程、軟件測試過程、軟件缺陷數(shù)據(jù)等方面對測試數(shù)據(jù)進(jìn)行分析，獲得多個具有實際意義的量化指標(biāo)，將此指標(biāo)反饋到軟件開發(fā)和軟件測試及項目管理等過程中，顯著提高了軟件產(chǎn)品質(zhì)量及工作效率，降低了過程風(fēng)險，提高了組織市場競爭能力。

　　關(guān)鍵詞：軟件測試；測試歷史數(shù)據(jù)；數(shù)據(jù)統(tǒng)計分析

　　中圖分類號：TP301文獻(xiàn)標(biāo)識碼：ADOI： 10.19358/j.issn.1674-7720.2017.04.007

　　引用格式：楊貞祥，趙興奮，賀虎林.基于歷史數(shù)據(jù)的軟件測試數(shù)據(jù)統(tǒng)計分析研究［J］.微型機(jī)與應(yīng)用，2017,36（4）：22-24，28.

0引言

　　技術(shù)高度發(fā)展的結(jié)果必然是各行業(yè)及行業(yè)內(nèi)精細(xì)化的社會分工。在軟件行業(yè)表現(xiàn)為計算機(jī)技術(shù)與其他行業(yè)相結(jié)合，向?qū)I(yè)化發(fā)展，意味著每個軟件開發(fā)組織開發(fā)的軟件越來越具備系列化、繼承性的特點，這一重要特征使得針對軟件測試歷史數(shù)據(jù)的數(shù)據(jù)分析具有了重要意義。楊旭等人將數(shù)據(jù)分析定義為：“數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進(jìn)行分析，為提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程”［1］。軟件測試是最主要的軟件質(zhì)量保證手段［23］，研究者們在測試過程改進(jìn)［4］、建立評估基準(zhǔn)［5］及度量理論研究［6］方面已經(jīng)進(jìn)行了深入研究。但這些研究或重點研究測試過程和技術(shù)、或傾向于理論研究，而對軟件測試歷史數(shù)據(jù)進(jìn)行分析研究［7］，則能夠從軟件開發(fā)和測試結(jié)果入手，從問題現(xiàn)象分析問題原因，有針對性地改進(jìn)軟件開發(fā)、軟件測試、項目管理等過程，從而提高軟件質(zhì)量。由于該研究過程針對每個組織自身的實際問題，故在具體實施中具有很強的可操作性。

1數(shù)據(jù)準(zhǔn)備

　　數(shù)據(jù)分析離不開數(shù)據(jù)，而要收集具有分析價值的測試數(shù)據(jù)，需要構(gòu)建測試數(shù)據(jù)收集系統(tǒng)，包括測試數(shù)據(jù)庫的物理架構(gòu)和測試數(shù)據(jù)邏輯存儲結(jié)構(gòu)兩方面。

　　1.1軟件測試數(shù)據(jù)庫系統(tǒng)

　　軟件測試數(shù)據(jù)存儲系統(tǒng)作為軟件測試管理系統(tǒng)的一部分，可以單獨架構(gòu)，也可以作為項目配置管理系統(tǒng)的一部分，架構(gòu)在項目配置管理系統(tǒng)上。為了便于管理和運行，該系統(tǒng)采用B/S架構(gòu)，部署在局域網(wǎng)上，考慮到項目數(shù)據(jù)安全性，該局域網(wǎng)與互聯(lián)網(wǎng)物理隔離，在系統(tǒng)中配備唯一的數(shù)據(jù)導(dǎo)入和導(dǎo)出終端。系統(tǒng)架構(gòu)圖如圖1所示。

　　圖1中，測試人員在測試終端機(jī)上上傳測試數(shù)據(jù)，存儲到測試數(shù)據(jù)存儲服務(wù)器上，數(shù)據(jù)處理服務(wù)器與存儲服務(wù)器及用戶進(jìn)行交互，運行自動化測試系統(tǒng)等處理操作。測試數(shù)據(jù)備份機(jī)存儲測試歷史數(shù)據(jù)，并通過備份方式保證數(shù)據(jù)安全。

　　1.2測試數(shù)據(jù)邏輯存儲結(jié)構(gòu)

　　為了有效收集數(shù)據(jù)，對數(shù)據(jù)表的結(jié)構(gòu)進(jìn)行了設(shè)計，如圖2所示。

　　圖2中測試用例表存儲了需要分析的基礎(chǔ)數(shù)據(jù)，在數(shù)據(jù)庫中按照項目代號（或被測件標(biāo)識）分類存儲。人員信息表中包括了開發(fā)人員信息和測試人員信息，作為人員工作分析的一部分，將在下一節(jié)描述。問題分類表、開發(fā)人員分類表、測試人員分類表及被測軟件分類表則根據(jù)檢索要求，在整個測試數(shù)據(jù)庫范圍進(jìn)行信息檢索，給出相應(yīng)的視圖，以便進(jìn)一步分析。

2測試數(shù)據(jù)集分析

　　2.1被測試軟件數(shù)據(jù)集分析

　　基于被測試軟件數(shù)據(jù)進(jìn)行分析，獲取相應(yīng)指標(biāo)，對相似類別軟件或模塊進(jìn)行結(jié)果對照，得到分析結(jié)論。

　　（1)軟件可測度

　　軟件可測度用同等難度系數(shù)下測試用例密度與平均用例密度差來反映。軟件可測度計算公式如下：

　　可測度值大于零，表示該項目用例密度高于平均密度，軟件可測試性較好，反之，則該項目用例密度小于平均密度，軟件可測試性較差。正常情況下，可測度值應(yīng)該是在零值上下波動，波動幅度不得超過平均用例密度的1/2。若上下波動幅度超過限定范圍，則有可能是該項目測試用例設(shè)計粒度太大或者太小，或者對該項目的難度等級估計不準(zhǔn)確，使得公式（1）中的平均用例密度值選取不匹配。

　　（2)模塊復(fù)用率

　　模塊復(fù)用率可以通過統(tǒng)計各個項目對模塊的復(fù)用次數(shù)獲得。模塊復(fù)用率反映模塊或函數(shù)在組織內(nèi)部的復(fù)用情況。由于同一個組織內(nèi)部產(chǎn)品的相似性及系列性，使得核心模塊復(fù)用的概率較高，而復(fù)用模塊一般比新開發(fā)模塊具有更高的軟件可靠性和算法成熟性，故模塊復(fù)用率能夠間接反映軟件質(zhì)量情況。另一方面，對復(fù)用模塊的測試一般會復(fù)用以前的測試用例，減少測試難度和測試工作量。從而測試模塊復(fù)用率越高，軟件模塊越穩(wěn)定，軟件測試工作量越小。

　　2.2測試用例數(shù)據(jù)集分析

　　基于測試用例數(shù)據(jù)的分析包括測試用例分布分析、用例通過率分析、用例效率分析。

　　（1)測試用例分布分析

　　測試用例分布分析指對測試用例在軟件各模塊中的分布情況進(jìn)行分析。根據(jù)軟件測試經(jīng)驗，測試用例數(shù)隨著軟件模塊復(fù)雜度的增加而增加，而模塊中存在缺陷的概率也隨著模塊復(fù)雜度的增加而增大。軟件測試用例密度計算公式定義為：

　　若要計算模塊的測試用例密度，則軟件代碼行數(shù)是指該模塊行數(shù)；若要計算整個軟件的測試用例密度，則軟件代碼行數(shù)是指整個軟件代碼行數(shù)。在同一個項目中，對各模塊測試用例密度進(jìn)行比較，從而識別關(guān)鍵模塊，采取措施提高軟件質(zhì)量。也可以進(jìn)行同難度系數(shù)下項目間的整體用例密度比較，獲得對各項目設(shè)計質(zhì)量的指標(biāo)值。

　　（2)用例通過率分析

　　測試用例通過率定義為：

　　若剔除測試誤差、設(shè)計和測試人員水平因素、測試環(huán)境因素，測試用例通過率可以用來表征軟件的成熟性。反過來，測試用例通過率也可以用來對設(shè)計和測試情況進(jìn)行估計，若一次測試的測試用例通過率顯著低于公司同類軟件平均水平，則需要深入分析該軟件設(shè)計人員的設(shè)計是否合理、測試人員的測試設(shè)計和執(zhí)行是否正常或者測試環(huán)境差異是否對測試結(jié)果造成嚴(yán)重影響等。

　　（3)用例效率分析

　　測試用例效率計算公式定義為：

　　上式中復(fù)雜度系數(shù)根據(jù)軟件邏輯復(fù)雜度的不同而不同，取值范圍大于0且小于1。對于軟件測試來說，測試覆蓋率為基本要求，在保證測試覆蓋率的前提下，測試用例效率能夠表征測試工作效率和測試用例設(shè)計水平。在實際使用時，該指標(biāo)需要與測試用例粒度保持平衡，不能為了追求高測試用例效率而增大測試用例顆粒度，從而使得測試用例界限不合理，這樣的測試用例反而會降低測試執(zhí)行效率。

　　2.3缺陷數(shù)據(jù)集分析

　　（1)缺陷在軟件模塊中的分布

　　軟件缺陷具有集群效應(yīng)，即出現(xiàn)缺陷的模塊或程序段，再次發(fā)現(xiàn)軟件缺陷的可能性越大。據(jù)此，在軟件質(zhì)量分析和風(fēng)險應(yīng)對方案制定過程中，使用軟件缺陷分布，能夠有效預(yù)防缺陷再次發(fā)生，提高軟件質(zhì)量。

　　（2)組織的缺陷-能力曲線

　　將組織數(shù)據(jù)庫中的缺陷按照不同類別進(jìn)行統(tǒng)計，根據(jù)不同類型缺陷分布情況，可以得到缺陷分布曲線，相應(yīng)地，根據(jù)缺陷分布曲線獲得組織軟件能力曲線。由于各個類別軟件的業(yè)務(wù)量有差別，因此對于統(tǒng)計獲得的缺陷數(shù)據(jù)應(yīng)該按照相應(yīng)類別在整個工作量中的占比進(jìn)行加權(quán)，獲得最終的權(quán)衡缺陷數(shù)。缺陷分布曲線與軟件能力曲線關(guān)系圖如圖3所示。

　　圖3中橫坐標(biāo)的類別為組織能力范圍，左側(cè)坐標(biāo)為缺陷指數(shù)刻度值，右側(cè)坐標(biāo)為能力曲線刻度值。實線為類別缺陷指數(shù)曲線，虛線則表示組織在類別能力指數(shù)曲線。缺陷能力曲線圖說明缺陷指數(shù)越大，則給類別軟件缺陷越多，軟件質(zhì)量越差，表明組織在該類別軟件的開發(fā)能力越差。

　　2.4開發(fā)人員數(shù)據(jù)集分析

　　從軟件測試角度，使用測試數(shù)據(jù)庫中積累的數(shù)據(jù)資源對開發(fā)人員數(shù)據(jù)進(jìn)行分析，能夠獲得軟件開發(fā)人員開發(fā)質(zhì)量因子指標(biāo)。該指標(biāo)計算公式定義為：

　　上式中工作量以代碼行為單位，表示每個項目中該開發(fā)人員編寫的代碼行數(shù)，難度系數(shù)是對該部分工作復(fù)雜度的評估值，缺陷總數(shù)指在測試數(shù)據(jù)庫中統(tǒng)計的該代碼范圍內(nèi)的缺陷數(shù)量。

　　對于同一個軟件開發(fā)組織來說，每個開發(fā)人員的質(zhì)量因子趨勢應(yīng)該是趨于相同的，若分析后發(fā)現(xiàn)相同組織內(nèi)部開發(fā)人員質(zhì)量因子曲線趨勢差別很大，則說明該組織在溝通、培訓(xùn)及交流學(xué)習(xí)中出現(xiàn)了問題，組員之間沒有共享技術(shù)和經(jīng)驗，這對組織發(fā)展是不利的。

　　2.5測試人員數(shù)據(jù)集分析

　　從效率和質(zhì)量的角度，根據(jù)測試數(shù)據(jù)庫中的歷史數(shù)據(jù)，對測試人員工作進(jìn)行量化。本文從測試效率和漏測率兩方面進(jìn)行描述。

　　（1)測試效率

　　測試效率可以用來對單個軟件測試人員一段時間內(nèi)的工作效率進(jìn)行衡量。測試效率計算公式定義為：

　　上式中N代表該測試人員在測試數(shù)據(jù)庫中的任務(wù)數(shù)量；測試代碼行數(shù)為第n個任務(wù)的代碼行數(shù)；難度系數(shù)為該任務(wù)的難度估計值；測試周期以天為單位，在公式中換算到小時數(shù)。

　　（2)缺陷漏測率

　　作為對軟件測試質(zhì)量的度量，項目經(jīng)理可以通過缺陷漏測率指標(biāo)對產(chǎn)品質(zhì)量進(jìn)行監(jiān)控，若某個測試人員一段時間的缺陷漏測率指標(biāo)高于平均水平，則需要分析具體原因并采取相應(yīng)措施。

　　上式中N表示測試人員總數(shù)，工作量占比表示該測試人員在整個測試組織中的工作比重值。

3結(jié)論

　　軟件測試是保證軟件質(zhì)量的主要手段，軟件測試能夠有效降低項目風(fēng)險，故在軟件行業(yè)中越來越受到重視。軟件測試數(shù)據(jù)也成為軟件開發(fā)組織重要的過程資產(chǎn)，建立有效的測試數(shù)據(jù)收集數(shù)據(jù)庫，對測試過程和測試結(jié)果數(shù)據(jù)進(jìn)行有效收集，并在軟件測試歷史數(shù)據(jù)基礎(chǔ)上對數(shù)據(jù)進(jìn)行分析，獲得多個具有重要意義的量化指標(biāo)，

　　用其分析和研究軟件開發(fā)、測試、項目管理等過程，以求發(fā)現(xiàn)問題并解決問題，使得組織能力獲得提高。基于軟件測試歷史數(shù)據(jù)的分析統(tǒng)計方法在軟件項目實施過程中具有一定的實用價值。

參考文獻(xiàn)

　　［1］ 楊旭，湯海京．?dāng)?shù)據(jù)科學(xué)導(dǎo)論［M］.北京：北京理工大學(xué)出版社,2014.

　　［2］ 鄭人杰.計算機(jī)軟件測試技術(shù)［M］. 北京:清華大學(xué)出版社,1992.

　　［3］ 陳開顏,王希武，孫會珺，等.軟件質(zhì)量與軟件測試［J］.河北省科學(xué)院學(xué)報,2004,21(2):18-22.

　　［4］ EDWARD K.軟件測試過程改進(jìn)［M］.李新華，譯.北京:機(jī)械工業(yè)出版社,2003.

　　［5］ JONES C.軟件評估、基準(zhǔn)測試與最佳實踐［M］.韓柯，等，譯.北京：機(jī)械工業(yè)出版社,2003.

　　［6］ 邢大紅.面向?qū)ο筌浖亩攘繉W(xué)理論與工具實現(xiàn)［D］.合肥:合肥工業(yè)大學(xué),1998.

　　［7］ 王悠,羅燕京，易福華，等.基于用例的軟件復(fù)雜度估算及應(yīng)用［J］.計算機(jī)技術(shù)與發(fā)展,2007,17（7）:196-199.