《電子技術(shù)應用》
您所在的位置:首頁 > 模擬設(shè)計 > 設(shè)計應用 > 一種基于指令流水線的數(shù)據(jù)匹配算法
一種基于指令流水線的數(shù)據(jù)匹配算法
電子技術(shù)應用
楊嘉佳,李正,鄭兒,趙靜,燕瑋,劉金
中國電子信息產(chǎn)業(yè)集團有限公司第六研究所
摘要: 基于正則表達式的數(shù)據(jù)匹配技術(shù)在基礎(chǔ)數(shù)據(jù)治理和清洗方面有著重要的應用價值。然而,在高性能計算領(lǐng)域的數(shù)據(jù)處理過程中因算法匹配吞吐率低,無法滿足大數(shù)據(jù)處理環(huán)境下對算法的高性能要求,造成其應用范圍受限。針對此現(xiàn)象,提出一種基于指令流水線的數(shù)據(jù)匹配算法,稱之為γFA:利用Intel架構(gòu)內(nèi)置的向量指令流水式讀入若干字符段,通過大寬度向量比較函數(shù)進行字符段與非信任字符集的流水比值處理并轉(zhuǎn)換成整型向量,通過位置定位函數(shù)累加定位出所有整型向量的首個非信任字符位置,計算出可略過的總字符數(shù),減少正則表達式匹配引擎因處理非信任字符集導致訪問低速內(nèi)存而帶來巨大的時間開銷,實現(xiàn)正則表達式匹配算法的性能提升。實驗結(jié)果表明,γFA算法的吞吐率是原始DFA算法的15.88~53.06倍,相比于ßFA算法,吞吐率提升了35.12%~63.26%,取得較好的性能加速效果。此外,通過對γFA算法進行優(yōu)化后,性能可接近100 Gb/s,為原始DFA匹配算法性能的15.88~64.94倍,相比于γFA算法性能提升了2.15%~43.09%。
中圖分類號:TP391.1 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245345
中文引用格式: 楊嘉佳,李正,鄭兒,等. 一種基于指令流水線的數(shù)據(jù)匹配算法[J]. 電子技術(shù)應用,2025,51(2):81-85.
英文引用格式: Yang Jiajia,Li Zheng,Zheng Er,et al. A data matching algorithm based on instruction pipeline[J]. Application of Electronic Technique,2025,51(2):81-85.
A data matching algorithm based on instruction pipeline
Yang Jiajia,Li Zheng,Zheng Er,Zhao Jing,Yan Wei,Liu Jin
The Sixth Research Institute of China Electronics Corporation
Abstract: The data matching technology based on regular expressions has significant application value in basic data governance and cleaning. However, in the data processing process of high-performance computing, the low performance of algorithm matching cannot meet the high-performance requirements of algorithms in the big data processing environment, resulting in limited application scope. To address this issue, a high-performance data matching algorithm based on instruction pipelining is proposed, known as γFA. It utilizes the vector instruction pipelining built into the Intel architecture to read in multiple character segments, performs pipeline ratio processing of the character segments with untrusted character sets through a wide-width vector comparison function, and converts them into integer vectors. The position location function is then used to accumulate and locate the first untrusted character position in the integer vector, calculate the number of characters that can be skipped, and reduce the significant time overhead caused by the regular expression matching engine accessing slow memory when processing untrusted character sets. This achieves performance acceleration for the regular expression matching algorithm. Experimental results show that the γFA algorithm achieves a throughput rate that is 15.88 to 53.06 times higher than the original DFA algorithm. Compared to the ßFA algorithm, the throughput rate is improved by 35.12% to 63.26%, achieving a better performance acceleration effect. Furthermore, after optimizing the γFA algorithm, a performance close to 100 Gb/s can be achieved, which is 15.88 to 64.94 times better than the performance of the original DFA matching algorithm. This represents an improvement of 2.15% to 43.09% compared to the γFA algorithm.
Key words : regular expression matching;instruction pipeline;high-performance data matching

引言

數(shù)據(jù)匹配技術(shù)可應用于數(shù)據(jù)的清洗和治理,如基于正則表達式的數(shù)據(jù)匹配技術(shù)在基礎(chǔ)數(shù)據(jù)的過濾方面發(fā)揮重要作用,通過數(shù)據(jù)匹配可將無關(guān)數(shù)據(jù)剔除過濾,減少噪聲數(shù)據(jù)的干擾。正則表達式因具有強大的表征能力,適合用于匹配過濾真實環(huán)境下的復雜噪聲數(shù)據(jù)。例如,開源入侵檢測系統(tǒng)Bro IDS、Snort[1]等都使用了基于正則表達式的數(shù)據(jù)匹配功能。

基于正則表達式的數(shù)據(jù)匹配實現(xiàn)方式通常可分成兩種:基于非確定型有限自動機(NFA)和確定型有限自動機(DFA)。前者空間復雜度比較低,與正則表達式的長度呈線性關(guān)系,但因處理一個字符需激活多個狀態(tài),造成匹配時間復雜性較大和匹配性能不穩(wěn)定。相比而言,DFA的時間復雜性比較低,處理一個字符只需一次激活單個狀態(tài),然而卻因規(guī)則的復雜性易導致狀態(tài)轉(zhuǎn)移空間膨脹甚至“爆炸”,造成巨大的空間開銷。

在大數(shù)據(jù)匹配環(huán)境中,DFA更多地被選擇與應用。DFA的匹配性能和空間消耗是基于正則表達式數(shù)據(jù)匹配技術(shù)的重要衡量因素。截至目前,DFA的空間消耗已有很多可行的算法被提出[2],因而不是本文研究重點。盡管已有若干算法對DFA的匹配性能進行研究,但性能低依舊是制約其廣泛應用的瓶頸因素。

針對此問題,本文基于單指令多數(shù)據(jù)流(Single Instruction Multiple Data)向量指令連續(xù)從內(nèi)存中讀入若干字符段,然后分別與最常被訪問狀態(tài)(行)對應的非信任字符集進行字符并行比較操作,通過位置定位函數(shù)累加定位出首個非信任字符位置,獲取直接略過的總字符數(shù),減少訪存次數(shù),提高算法吞吐率。


本文詳細內(nèi)容請下載:

http://m.jysgc.com/resource/share/2000006330


作者信息:

楊嘉佳,李正,鄭兒,趙靜,燕瑋,劉金

(中國電子信息產(chǎn)業(yè)集團有限公司第六研究所,北京 100083)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美成人免费在线视频| 久久裸体艺术| 欧美激情区在线播放| 免费观看在线综合| 久久国产手机看片| 午夜亚洲福利| 亚洲免费视频一区二区| 中文精品视频| 国产精品99久久久久久久女警 | 免费欧美在线视频| 久久精品一区中文字幕| 久久福利资源站| 久久精品99国产精品| 欧美伊久线香蕉线新在线| 午夜欧美精品| 欧美影院一区| 欧美在线观看网址综合| 性欧美8khd高清极品| 性色一区二区三区| 久久精品国产一区二区电影 | 美女主播视频一区| 亚洲精品久久| 国产精品激情| 亚洲淫性视频| 午夜国产精品视频免费体验区| 亚洲国产精品日韩| 在线观看av不卡| 激情亚洲网站| 亚洲第一中文字幕在线观看| 欧美午夜不卡影院在线观看完整版免费 | 亚洲第一区在线观看| 日韩视频免费观看高清完整版| 欧美另类变人与禽xxxxx| 一区二区三区在线高清| 午夜精品成人在线| 久久久亚洲欧洲日产国码αv| 一区二区三区av| 最新成人av网站| 欧美日韩伦理在线免费| 亚洲精品一区二区网址| 欧美一区二区三区四区夜夜大片| 国产精品成av人在线视午夜片| 99国产精品自拍| 久久久国产成人精品| 日韩视频免费观看高清在线视频| 久久精品国产清自在天天线| 欧美男人的天堂| 亚洲欧美综合网| 久久精品国产第一区二区三区最新章节| 国产色视频一区| 亚洲欧美国产精品桃花| 在线视频成人| 欧美精品播放| 亚洲天堂免费在线观看视频| 欧美大片免费久久精品三p| 亚洲天堂视频在线观看| 激情综合网址| 亚洲九九精品| 亚洲福利精品| 欧美一区二区播放| 亚洲国产女人aaa毛片在线| 亚洲激情婷婷| 亚洲一区二区三区免费视频| 国产日韩欧美高清免费| 亚洲第一在线视频| 亚洲午夜精品国产| 亚洲国产清纯| 西瓜成人精品人成网站| 你懂的亚洲视频| 国产精品久久久久久久久借妻| 黄色成人av网站| 在线视频免费在线观看一区二区| 欧美在线黄色| 亚洲一区二区三区激情| 久久男人资源视频| 欧美视频一区二区三区…| 影音先锋一区| 亚洲一区二区三区高清不卡| 久久精品视频导航| 亚洲欧美自拍偷拍| 欧美激情aⅴ一区二区三区| 国产九九精品| 亚洲精品一区二区三区福利| 久久精品二区| 午夜国产精品影院在线观看| 欧美激情久久久久久| 国产一区二区| 亚洲一区二区三区在线观看视频| 亚洲精选久久| 1000精品久久久久久久久 | 国产精品综合| 亚洲另类自拍| 亚洲激情影视| 久久久久久噜噜噜久久久精品| 欧美自拍丝袜亚洲| 欧美激情a∨在线视频播放| 国内精品久久久久久久果冻传媒| 亚洲特黄一级片| 一区二区三区国产盗摄| 欧美插天视频在线播放| 激情欧美亚洲| 欧美在线高清| 久久国产精品99精品国产| 欧美午夜在线一二页| 日韩视频一区| 艳女tv在线观看国产一区| 欧美不卡视频一区发布| 韩国av一区二区| 欧美影院在线| 久久久99精品免费观看不卡| 国产精品午夜av在线| 一区二区三区av| 亚洲天堂久久| 欧美日韩国产综合视频在线| 亚洲人成久久| 99视频一区| 欧美人在线观看| 亚洲久久在线| 在线亚洲电影| 欧美日韩国语| 在线视频亚洲欧美| 亚洲视频电影在线| 欧美日韩国产在线观看| av成人动漫| 亚洲主播在线播放| 国产精品海角社区在线观看| 一本一本a久久| 亚洲欧美国产毛片在线| 国产精品久久久久高潮| 亚洲一二三区在线观看| 欧美一区二区精品久久911| 国产人成精品一区二区三| 亚洲欧美日本精品| 欧美在线看片| 国产亚洲一区二区精品| 久久国产视频网站| 美女视频黄a大片欧美| 在线国产亚洲欧美| 日韩午夜三级在线| 欧美视频在线观看一区二区| 正在播放欧美视频| 欧美在线高清| 狠狠色综合色综合网络| 亚洲黄网站黄| 欧美日韩国产综合视频在线| 亚洲一区二区三区高清| 久久久99爱| 亚洲激情小视频| 亚洲天堂免费在线观看视频| 国产欧美激情| 亚洲国产合集| 欧美日本亚洲| 亚洲欧美日韩区| 亚洲精品123区| 欧美屁股在线| 亚洲在线观看免费视频| 久久久久综合| 亚洲伦伦在线| 欧美一区二区精美| 玉米视频成人免费看| a4yy欧美一区二区三区| 国产精品女人毛片| 亚洲福利视频二区| 欧美日韩国产成人高清视频| 亚洲一区精品视频| 老司机午夜精品视频在线观看| 亚洲乱码国产乱码精品精天堂 | 欧美bbbxxxxx| 一区二区欧美亚洲| 久久天堂国产精品| 99视频一区| 久久久国产精品亚洲一区 | 久久亚洲视频| 99在线精品观看| 久久精品国亚洲| 亚洲人成久久| 久久精品国产久精国产一老狼| 亚洲国产精品久久人人爱蜜臀 | 久久久久国产一区二区三区四区| 亚洲清纯自拍| 久久国产精品一区二区三区四区| 亚洲黑丝在线| 久久精品青青大伊人av| 日韩亚洲欧美精品| 久久一区国产| 亚洲伊人伊色伊影伊综合网 | 国产欧美日本| 夜夜嗨av一区二区三区中文字幕 | 亚洲美女免费精品视频在线观看| 欧美一区二区三区四区在线观看地址| 在线欧美日韩精品| 午夜激情久久久| 亚洲精品日韩在线观看| 久久亚洲春色中文字幕| 亚洲少妇诱惑| 欧美精品电影| 久久精品理论片| 国产精品三区www17con| 一道本一区二区| 今天的高清视频免费播放成人 |