隨著入侵者的攻擊手段日趨智能化、復雜化，傳統的機器學習技術對異常攻擊行為的檢測有效性在下降。近年來，深度學習以其獨特的學習機制，利用大數據和高算力達到學習的高準確率。通過廣泛的文獻調查，目前已經有很多基于深度學習設計的入侵檢測系統。本綜述在對傳統機器學習技術和深度學習技術進行對比后，詳述了基于深度學習和數據集的入侵檢測系統。
0
引 言
近年來，大數據、人工智能、云計算和 5G技術得到迅猛發展，網絡的應用也變得更廣泛和便捷。據中國互聯網絡信息中心（CNNIC）發布的第 47 次《中國互聯網絡發展狀況統計報告》顯示，截至 2020 年 12 月，我國網民規模達到 9.89億人，較 2020 年 3 月增長 8540 萬人，互聯網普及率已達 70.4%。網民規模的擴大，引入了更大的網絡流量和網絡攻擊面，使得保護網絡信息和通信安全成為一個更具挑戰性的問題。入侵檢測系統（Intrusion Detection System，IDS） 對提高系統的安全水平起著至關重要的作用。
隨著網絡攻擊的復雜性和網絡功能的多樣化，傳統的入侵檢測技術存在誤報率高、適應性差和檢測率低的問題。因此，我們需要研究新的入侵檢測技術來提高入侵檢測系統的安全檢測能力。近年來，深度學習[1] 在圖像識別、語音識別、自然語言處理等方面取得了驚人的成績。深度學習技術在處理復雜的大規模數據方面具有出色的性能，這也為處理多特征入侵數據帶來了新的思路。深度學習在網絡入侵檢測領域的靈活應用可以有效提高檢測率，降低誤報率和漏報率。
本文從以下幾方面展開研究：第一，提出當前的網絡安全防護存在的一些問題；第二，介紹了基于機器學習和深度學習的入侵檢測技術，并對這兩種技術做了分析比較；第三，介紹了入侵檢測系統訓練的必需因素數據集；第四，對深度學習模型結合數據集在入侵檢測系統上的應用和近幾年相關研究工作做了綜述；第五，對全文進行了總結，并對今后的工作進行了展望。
1
安全防護現狀
隨著新興技術突飛猛進的發展，信息技術的應用已經逐步滲透到各行各業中，為我們的工作和生活帶來便捷和智能服務的同時，也帶來了逐步加劇的網絡安全問題。其中，零日攻擊、APT 攻擊、勒索病毒攻擊等智能化攻擊日益猖獗。在信息化時代中常見的網絡安全問題如下。
?。?）用戶操作不當：計算機產生的安全問題和用戶的操作不當有著密切的關系。對于使用網絡的普通用戶而言，因缺乏必要的計算機網絡安全知識，沒有對網絡系統進行有效防護，比如用戶密碼過于簡單、將個人信息隨意泄露給別人。對于網絡管理員而言，因為新的網絡系統非常復雜，配置操作容易出錯，這些錯誤很可能會被黑客利用，存在大量的安全隱患。
?。?）網絡系統存在缺陷：相關的開發人員在最初設計軟件系統時，沒有充分考慮系統的安全性問題，導致軟件在開發過程中會出現一些安全漏洞。盡管有一些測試工具可以發現和修復一些漏洞，但是不可能完全修復。一旦出現嚴重的安全隱患問題，這一漏洞便會成為很多黑客進行網絡攻擊的突破口。黑客在未經用戶允許的情況下修改計算機系統，造成用戶信息丟失或泄露。
?。?）內部威脅日益嚴重：大部分組織都會設置防御系統，制定防范機制來保護內部系統不受外部攻擊，往往忽視了來自內部員工的威脅。在信息化時代中，員工越來越容易拿到內部訪問權限，一旦這些員工做出惡意行為，所造成的內部威脅很難被及時發現，帶來的危害性更大。
（4）防護機制更新不及時：網絡攻擊方式千變萬化，使新型攻擊往往可以繞過防護和檢測機制，入侵防御系統規則庫的更新速度跟不上攻擊變種的速度，導致安全防范滯后。因此需要通過動態學習和自動更新機制來升級安全解決方案。
以上因素推動了入侵檢測系統的發展，研究設計智能化的入侵檢測系統具有十分重要的應用前景。
2
入侵檢測技術
入侵檢測系統（Intrusion Detection Systems，IDS）是一種非常重要的軟件或硬件安全工具，用于檢測可能出現的威脅，防止未經授權的訪問或濫用，并向安全管理員報告攻擊。入侵檢測系統按引擎檢測機制分類可分為基于簽名檢測的 IDS 和基于異常行為檢測的 IDS。
（1）基于簽名檢測的 IDS：根據已知的簽名進行檢測，這種方法能有效識別簽名庫中已有的攻擊，但無法識別未知攻擊和已知攻擊的變種。
?。?）基于異常行為檢測的 IDS：通過學習網絡流量行為來對流量進行分類，可以檢測未知的攻擊。
第一種方法能高效準確地識別出攻擊，但它檢測不出新型的攻擊，比如零日攻擊，所以整體的檢測率較低。而第二種方法更具靈活性、健壯性和可擴展性。因此，為了實現動態入侵檢測系統，主要推薦基于異常行為的檢測技術。目前常用的是基于機器學習和基于深度學習對入侵檢測中的異常行為進行檢測，以下將對這兩種技術做概括介紹。
2.1 基于機器學習的入侵檢測技術
機器學習是人工智能的一個分支，主要研究通過經驗來自動改進計算機算法，常見的機器學習模型如下。
1）數理統計（Statistical）：通過檢查用戶或系統的正常行為和異常行為來創建統計模型，統計模型可以用來識別新的攻擊。常用的統計方法有主成分分析、卡方分布、高斯混合分布。
（2）支持向量機（Support Vector Machine，SVM）：支持向量機是一種在數據樣本有限的情況下檢測入侵事件的有效方法。向量機的目標是以最合適的方式用一個特征向量來區分兩種類型數據。它們有很多應用領域，如人物識別、聲音識別等，是機器學習中的經典模型。
?。?）數據挖掘（Data Mining）：數據挖掘是從采集的海量數據中提取大量的信息，通過分析用戶與數據之間的關聯關系來提取關鍵規則，是用戶行為分析的常用方法。
?。?）基于規則集（Rule-Based）：由安全研究人員分析網絡中的攻擊流量，提取關鍵規則，從而在這基礎上降低數據維度后再對入侵行為進行檢測。該方法在一定程度上可以減少檢測計算量，提高檢測效率。
（5） 人 工 神 經 網 絡（Artificial Neural Network，ANN）[2]：人工神經網絡是一種智能的信息處理模型，它模擬人類大腦對信息進行加工、存儲和處理。神經網絡通過學習獲得知識，并將學到的知識存儲在連接點的權重中。該模型具有學習性和自適應性，并且可以識別未知入侵。
2.2 基于深度學習的入侵檢測技術
深度學習通常是人工神經網絡的改進，是一種深度神經網絡（Deep Neural Network，DNN），用于特征提取、感知和學習。“深度”是指神經網絡中隱藏層的層數。傳統的神經網絡只包含到 2~3 個隱藏層，而深度神經網絡可能包含高達 150 個隱藏層。深度學習使用多個連續層執行操作，各層相互連接，每層接收前一層的輸出作為輸入。簡單的深層神經網絡如圖 1 所示，其包括一個輸入層、三個隱藏層和一個輸出層；輸入維是 6，輸出維是 2；隱藏層分別包含 12 個、6 個和 3 個神經元。
圖 1 簡單的深度神經網絡
在深度學習中，不是人工去提取特征，而是使用有效的算法來自動提取數據特征。深度學習被應用于多種領域，比如語音識別、無人駕駛、圖像識別與分類、自然語言處理、生物信息學等。
深度學習和機器學習的區別如下。
（1）在深度學習中，需要輸入海量數據進行訓練才能使算法模型達到最理想的狀態；而在機器學習中，大量的數據并不能提高模型的性能。
?。?）在深度學習中，自動從數據中提取特征；而在機器學習中，特征由專家來指定。
?。?）在深度學習中，需要在高性能機器上工作；而在機器學習中，可以在性能不高的機器上工作。
?。?）在深度學習中，問題是端到端解決的；而在機器學習中，先將問題分成幾部分，再逐個解決每部分的問題，然后形成解決方案。
?。?）與傳統的機器學習相比，深度學習可以對輸入的高維特征進行多次抽象變換，使它具有較強的特征表達能力，更利于解決許多復雜特征問題。
深度學習常見的 4 個模型為深度前饋網絡（Deep Feedforward Network，DFN）、 遞 歸 神經 網 絡（Recursive Neural Network，RNN）、卷 積 神 經 網 絡（Convolution Neural Networks，CNN）、自編碼器（AutoEncoder，AE）。
?。?）深度前饋網絡：也稱為全連接前饋神經網絡或多層感知機。在前饋神經網絡內部，信息從輸入層向輸出層傳播，只能單向傳播，不能反向傳播。
?。?）遞歸神經網絡：也稱為循環神經網絡，能有效處理序列數據。與深度前饋網絡不同，神經元的輸出可以在下一個時間戳直接作用到本層神經元上。主要應用在文本描述、語音識別、機器翻譯等領域。
?。?）卷積神經網絡：包括卷積層、池化層、全連接層，能夠在保留圖片特征的前提下，將大數據量的圖像有效降維到小數據量。主要應用在圖像分類、人臉識別、骨骼識別等領域。
?。?）自編碼器：是一種無監督的神經網絡模型，由編碼器和解碼器組成，主要目的是將輸入值編碼成中間值，然后將中間值解碼，使輸入數據被重構，從而實現降維。
3
入侵檢測數據集
數據集是評估和訓練基于異常行為檢測的入侵檢測系統的必需條件。入侵檢測數據集分為主機數據集和網絡數據集。因為本文重點關注的是網絡入侵檢測系統，所以這里僅討論基于網絡的數據集。本節將介紹入侵檢測系統中最常用的數據集。
3.1 KDD Cup99 數據集
KDD Cup99[3] 數據集在 1999 年設計完成，為智能入侵檢測系統的研究奠定了基礎。KDDCup99 數據集分成具有標識的訓練數據和未加標識的測試數據，總共約有 500 萬條記錄其中攻擊數據約占 80%。數據集中共有 41 個特征屬性，可分為基本特征、流量特征和內容特征。該數據集中的數據可分為 5 大類別，其中攻擊類別有 4 類。
（1）正常類別：沒有攻擊類型的數據。
（2）攻擊類別：拒絕服務攻擊類（Denial of Service，DoS）、探測攻擊類（Probe）、遠程對本地攻擊類（Remote-to-Login，R2L）、用戶對管理員攻擊類（User-to-Root，U2R）。這 4種攻擊類別中包含了 22 種攻擊。
3.2 NSL-KDD 數據集
為了使深度學習算法在 KDD Cup99 上更好地工作，研究人員在 2000 年基于 KDD Cup99 數據集創建了 NSL-KDD[4] 數據集。該數據集刪除了 KDD Cup99 中重復的記錄，減少了數據量。NSL-KDD 包含了 KDD Cup99 數據集的基本記錄和數據特性，識別的攻擊類別都和 KDD Cup99數據集一樣。但有以下不同。
?。?）由于訓練集中沒有冗余數據，分類器不會偏向更頻繁的記錄。
?。?）因為測試集中沒有重復的數據，所以檢測率更為準確。
?。?）每個難度級別組中選擇的記錄數與原始 KDD 數據集中記錄的百分比成反比。這將對不同學習技術的準確評估更有效。
3.3 UNSW-NB15 數據集
UNSW-NB15[5] 數據集由澳大利亞網絡安全中心實驗室在 2015 年設計完成，是一個開源的數據集。數據集的訓練是利用 IXIA 流量生成器，根據 CVE 網站上公開的漏洞信息技術，盡可能模擬真實的攻擊環境。該數據集共有 49 個特征屬性，類似 KDD Cup99 數據集，包括 5 個流量特征、13 個基本特征、8 個內容特征、9 個時間特征、12 個其他特征、2 個標記特征。
該數據集按訓練集和測試集做了分割，在訓練集中共有 175341 條記錄，在測試集中共有82332 條記錄，分別以 CSV 文件格式保存。數據集包含模糊攻擊類、社會工程學攻擊類、后門攻擊類、拒絕服務攻擊類、漏洞利用類攻擊類、 泛型攻擊、掃描攻擊類、Shellcode 攻擊類、蠕蟲攻擊類等。
3.4 CIC-IDS 2017 數據集
CIC-IDS 2017[6] 數據集由加拿大網絡安全研究所（CIC）在 2017 年創建。該數據集使用了CICFlowMeter 工具從原始數據中提取 80 多個特征屬性。提取特征的方法有兩種，分別是在線模式和離線模式。在線模式可以實時監控網絡流量，并產生特征，監聽結束后，將特征屬性以CSV 格式保存在本地。離線模式是提交一個 .pcap格式的完整數據包到 CICFlowMeter 工具，會得到一個包含特征的 CSV 文件。CIC-IDS 2017 數據集可識別的攻擊類別有僵尸網絡攻擊類、Web攻擊類、DoS&DDoS 攻擊類、滲透攻擊類、SSH暴力破解攻擊類、FTP 暴力破解攻擊類。
接下來將結合以上數據集，介紹深度學習模型在入侵檢測系統上的應用。
4
基于深度學習的入侵檢測系統
不同的深度學習模型結合合適的數據集，適用于不同的攻擊類型分類。本節選擇近幾年的國內外文獻，來說明當前深度學習在入侵檢測系統中的應用情況。
Roy 等人[7] 提出了一種利用深度神經網絡模型的入侵檢測系統，并驗證了該模型可以提高入侵檢測系統的性能。作者提出的深度神經網絡模型是一種全連接前饋神經網絡，包含 3 層或者更多層人工神經元，由輸入層、約 400 個隱藏層神經元和輸出層神經元 3 個部分組成。作者使用 ReLu 函數作為激活函數，使用 Softmax分類器對流量進行分類。作者還使用了 KDD Cup99 數據集，將數據集中的 41 個特征輸入算法模型中進行驗證。作者比較了深度神經網絡模型和支持向量機模型的性能。實驗結果表明，使用深度神經網絡模型的準確率為 99.994%，而使用支持向量機模型的準確率僅為 84.635%。這一結果表明了深度神經網絡模型在入侵檢測中的有效性。
Potluri 等人[8] 也提出了另一種利用深度神經網絡模型的入侵檢測系統。因為神經網絡需要大量的訓練計算，所以該研究利用多核 CPU和 GPU 來提高入侵檢測系統的性能。作者研究選取深度學習模型中的棧自編碼器（Stacked AutoEncoder，SAE）來構建神經網絡。第一個自編碼器（AutoEncoder，AE）在第一隱藏層有20 個神經元，第二個自編碼器在第二隱藏層有10 個神經元，輸出層有 5 個神經元。在訓練階段，由于第一個自編碼器的隱藏層成為第二個自編碼器的輸入，因此每個自編碼器被單獨但按順序地訓練。有兩次微調過程，第一次是通過 Softmax 激活函數完成的，第二次是通過整個網絡的反向傳播完成的。此研究選擇 NSL-KDD數據集來測試這種方法。作者首先測試了 2 類到 4 類不同攻擊類型組合的網絡。因為不平衡的攻擊類型分布會導致較少的攻擊類型得到很好的結果，所以較少數量的攻擊類型比較多數量的攻擊類型表現更佳。為了加速，作者使用了兩個不同的 CPU 和一個 GPU。作者還嘗試使用串行和并行 CPU。實驗結果表明，使用并行CPU 的訓練速度是使用串行 CPU 的 3 倍，使用GPU 的訓練速度與并行 CPU 相似。
Yin 等人[9] 指出傳統機器學習算法無法有效解決海量入侵數據的分類問題。作者利用了遞歸神經網絡（Recursive Neural Network，RNN）的優勢，提出了一種基于遞歸神經網絡模型的入侵檢測系統?；?RNN 模型的入侵檢測系統先對數據進行預處理，包括數值化和標準化。然后將特征準備數據傳到 RNN 的訓練步驟進行訓練。最終訓練輸出的模型使用測試數據集進行測試。在實驗時，作者使用 NSL-KDD 數據集進行訓練和測試。實驗將數據集的 41 個特征經過將字符串映射為二進制的數字化后就變換成 122個特征。實驗測試了兩種分類，即二分類和多分類。結果表明，二分類的準確率為 83.28%，多分類的準確率為 81.29%。RNN 在二分類和多分類方面都優于作者測試的其他機器學習方法。
Li 等人[10] 在入侵檢測系統上使用卷積神經網 絡（Convolutional Neural Networks，CNN） 模型作為特征提取器和分類器進行了實驗。卷積神經網絡在與圖像相關的分類任務中取得了許多成功的實現，但在文本分類方面還存在難點，所以該試驗最大的挑戰就是將文本數據轉換成圖像的步驟。實驗的時候，Li 等人采用了 NSLKDD 數據集，圖像轉換步驟首先將 41 個原始特征映射為 464 個二進制向量，接著將 464 個向量轉換成 8×8 像素圖像。這些圖像將作為卷積神經網絡訓練的輸入數據。作者用學習過的卷積神經網絡模型 ResNet 50 和 GoogLeNet 進行實驗。實驗結果表明，ResNet 50 模型和 GoogLeNet 模型的準確率分別為 79.14% 和 77.14%。雖然這一結果并沒有改善入侵檢測技術的現狀，但作者展示了如何在入侵檢測環境中應用卷積神經網絡和圖像轉換方法。
Zarai 等人[11] 提出了一種基于深度神經網絡 和 長 短 期 記 憶（Long Short-Term Memory，LSTM）網絡的入侵檢測系統。LSTM 模型是一種改進版的 RNN 模型，用來解決梯度消失或爆炸的問題。作者采用 KDD Cup99 數據集，將DNN 和 LSTM 應用于入侵檢測系統中用來預測攻擊，實驗表明基于 3 層架構的 DNN 或基于 3層架構的 LSTM 的入侵檢測模型對異常攻擊檢測更有效。
李學勇[12] 在 2020 年的畢業論文中提出了一種基于多元相關性分析算法的長短期記憶網絡（Multiple Correlation Analysis Long Short-Term Memory，MCA-LSTM）的入侵檢測模型，用來解決網絡入侵檢測模型因高維數據所導致的檢測性能低，誤報率高的問題。該模型首先通過信息增益特征選擇模塊選擇出最優的特征子集；然后利用多元相關性分析算法將特征子集轉換為 TAM 矩陣（主對角線全為 0 的對稱矩陣）；最后將 TAM 矩陣輸入長短期記憶網絡模塊中進行訓練和測試。為了更好地展現該模型的性能，與現有的卷積神經網絡、遞歸神經網絡、深度森林（Deep Forest）、支持向量機和 K 最近鄰（KNN）等方法的性能進行了對比分析。試驗結果表明，提出的 MCA-LSTM 模型在 NSL-KDD 數據集 5分類任務中和 UNSW-NB15 數據集 10 分類任務中具有較好的準確度。與傳統的機器學習和現有深度學習模型相比，該模型具有較好的分類檢測性能。
綜上所述，不同的深度學習模型在入侵檢測系統中會產生不同的應用效果。本章節中所提到的研究工作主要使用 4 種典型的深度學習模 型， 結 合 KDD Cup99、NSL-KDD、UNSWNB15 數據集，通過實驗來測試入侵檢測的準確率和檢測性能。這對未來的研究有著一定的指導意義。
5
結 語
入侵檢測系統的有效性直接取決于所使用的檢測引擎。為了提高系統的靈活性，需要用學習系統來實現異常檢測。深度學習是檢測引擎中執行的最新訓練和分類技術之一。本文對基于深度學習的入侵檢測系統進行了簡要的綜述，并列出一些公開的檢測數據集，給出了它們的優點和缺點，對這一領域的研究人員有一定的幫助。未來的工作建議是針對以下幾個方面進行進一步的研究。
?。?）在以大數據為基礎的信息化時代中，流量模型變得更復雜、數據量更大。而當前所使用的大部分數據集都存在數據樣本過時、信息冗余和數據不平衡等問題。因此，在后續工作中，建立擁有龐大的數據量、豐富的攻擊類型（比如零日攻擊）和平衡的樣本的入侵檢測數據集是提高檢測性能的重要方向。
?。?）本文提及了 4 種典型的深度學習模型，希望未來能有更多新的神經網絡模型被應用到入侵檢測研究工作中，為網絡安全防護提供更好的入侵檢測方法。
（3）目前大部分實驗是在計算機模擬環境中進行的，與實際的網絡環境還具有較大差異。隨著物聯網、5G 網絡、無線網等網絡的發展，在后續研究工作中，應多考慮新型的網絡應用場景，解決如何在實際環境中進行實時性和適應性的驗證。
