《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 一種基于狀態(tài)預(yù)測(cè)的多線程數(shù)據(jù)過(guò)濾算法
一種基于狀態(tài)預(yù)測(cè)的多線程數(shù)據(jù)過(guò)濾算法
電子技術(shù)應(yīng)用
楊嘉佳,李正,鄭兒,姚旺君,趙靜,關(guān)健
中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所
摘要: 數(shù)據(jù)過(guò)濾算法在大數(shù)據(jù)處理領(lǐng)域有著重要的作用。基于正則表達(dá)式匹配技術(shù)的數(shù)據(jù)過(guò)濾算法憑借強(qiáng)大的特征表達(dá)能力適合于處理大規(guī)模復(fù)雜數(shù)據(jù)。然而,傳統(tǒng)的正則表達(dá)式匹配過(guò)程為串行匹配,造成性能低,無(wú)法滿足現(xiàn)代數(shù)據(jù)處理的需求。針對(duì)傳統(tǒng)正則表達(dá)式匹配性能低的問(wèn)題,提出一種基于多線程和狀態(tài)預(yù)測(cè)的正則表達(dá)式加速匹配算法,稱之為μFA:基于向量指令執(zhí)行字符值比較,獲取可直接跳過(guò)的信任字符數(shù)。同時(shí),基于多線程加速和狀態(tài)猜測(cè)技術(shù),實(shí)現(xiàn)字符串的分段匹配處理,通過(guò)圈定字符危險(xiǎn)區(qū)域,研判各分段最終匹配結(jié)果的正確性。實(shí)驗(yàn)結(jié)果表明,μFA算法的吞吐率是原始DFA算法的10.12~91.36倍、ßFA算法的1.08~2.97倍。
中圖分類號(hào):TP391.1 文獻(xiàn)標(biāo)志碼:A DOI: 10.16157/j.issn.0258-7998.245321
中文引用格式: 楊嘉佳,李正,鄭兒,等. 一種基于狀態(tài)預(yù)測(cè)的多線程數(shù)據(jù)過(guò)濾算法[J]. 電子技術(shù)應(yīng)用,2024,50(12):87-91.
英文引用格式: Yang Jiajia,Li Zheng,Zheng Er,et al. An accelerated regular expression matching algorithm based on multi-threading and state prediction[J]. Application of Electronic Technique,2024,50(12):87-91.
An accelerated regular expression matching algorithm based on multi-threading and state prediction
Yang Jiajia,Li Zheng,Zheng Er,Yao Wangjun,Zhao Jing,Guan Jian
The Sixth Research Institute of China Electronics Corporation
Abstract: Data filtering algorithms play a crucial role in the field of big data processing. Data filtering algorithms based on regular expression matching technology are suitable for processing large-scale complex data due to their powerful feature expression capabilities. However, the traditional regular expression matching process is serial matching, resulting in low performance that cannot meet the needs of modern data processing. To address the issue of low performance in traditional regular expression matching, an accelerated regular expression matching algorithm based on multithreading and state prediction is proposed, named μFA. This algorithm performs character value comparison based on vector instructions to obtain the number of trusted characters that can be skipped directly. Simultaneously, it utilizes multithreading acceleration and state prediction techniques to achieve segmented matching processing of strings. By delimiting dangerous character regions, it determines the correctness of the final matching results for each segment. Experimental results show that the throughput is 10.12 to 91.36 times higher than the original DFA algorithm and 1.08 to 2.97 times higher than the ßFA algorithm.
Key words : regular expression matching;state prediction;data filtering

引言

在人工智能時(shí)代[1],正則表達(dá)式匹配技術(shù)有助于數(shù)據(jù)的預(yù)處理過(guò)濾,可為業(yè)務(wù)應(yīng)用提供更高質(zhì)量的數(shù)據(jù)。例如,正則表達(dá)式規(guī)則由于其展現(xiàn)出強(qiáng)大的表征能力,可從大規(guī)模數(shù)據(jù)中過(guò)濾出復(fù)雜且符合深度學(xué)習(xí)模型要求的數(shù)據(jù),提升模型的推理精度。

數(shù)據(jù)預(yù)處理吞吐率是衡量過(guò)濾算法的重要性能因素之一,反映出在特定環(huán)境下算法可以運(yùn)行的性能極限,決定其是否適用于高性能大數(shù)據(jù)預(yù)處理領(lǐng)域。因此,本文重點(diǎn)研究如何提高基于正則表達(dá)式匹配的數(shù)據(jù)過(guò)濾性能。

當(dāng)前,已涌現(xiàn)出許多優(yōu)秀的基于正則表達(dá)式技術(shù)的數(shù)據(jù)過(guò)濾算法[2],包括基于非確定型有限自動(dòng)機(jī)(Nondeterministic Finite Automata, NFA)、基于確定型有限自動(dòng)機(jī)(Deterministic Finite Automata, DFA)和基于混合自動(dòng)機(jī)(Hybrid Finite Automata, Hybrid-FA)等實(shí)現(xiàn)方式。其中,因DFA的數(shù)據(jù)過(guò)濾性能較為穩(wěn)定,備受研究人員和開發(fā)人員的青睞。

然而,現(xiàn)有的正則表達(dá)式過(guò)濾算法性能較低,無(wú)法滿足大數(shù)據(jù)背景下的高性能過(guò)濾需求。因此,本文提出一種基于狀態(tài)預(yù)測(cè)的多線程數(shù)據(jù)過(guò)濾算法:通過(guò)向量指令字符值比較、多線程加速、狀態(tài)猜測(cè)等技術(shù),實(shí)現(xiàn)字符串的分段匹配處理,從而提高算法的吞吐率。


本文詳細(xì)內(nèi)容請(qǐng)下載:

http://m.jysgc.com/resource/share/2000006254


作者信息:

楊嘉佳,李正,鄭兒,姚旺君,趙靜,關(guān)健

(中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所,北京 100083)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久中文字幕一区| 国产精品久久97| 亚洲砖区区免费| 99热免费精品在线观看| 91久久久一线二线三线品牌| 久久精品亚洲乱码伦伦中文| 欧美一区二区大片| 午夜在线不卡| 欧美伊人久久大香线蕉综合69| 亚洲无限乱码一二三四麻| 99精品欧美一区二区三区综合在线| 亚洲国产天堂久久综合网| 亚洲电影av| 亚洲精品久久| 日韩小视频在线观看专区| 日韩午夜免费| 亚洲私拍自拍| 亚洲一区激情| 午夜欧美大尺度福利影院在线看| 午夜激情久久久| 欧美在线高清视频| 亚洲第一黄色| 亚洲欧洲日本国产| 一本久久精品一区二区| 亚洲午夜电影在线观看| 亚洲在线成人精品| 欧美一区日韩一区| 久久综合影音| 欧美另类高清视频在线| 国产精品jvid在线观看蜜臀| 国产精品亚洲第一区在线暖暖韩国| 国产日韩欧美成人| 好男人免费精品视频| 亚洲福利视频二区| 日韩午夜在线播放| 亚洲欧美日韩人成在线播放| 亚洲成人自拍视频| 99re在线精品| 欧美亚洲免费在线| 免费亚洲一区二区| 国产精品igao视频网网址不卡日韩| 国产麻豆成人精品| 在线观看视频一区| 在线视频欧美一区| 久久精品女人| 亚洲网站在线观看| 久久久夜夜夜| 欧美日韩中文字幕精品| 国产日韩精品一区二区浪潮av | 欧美视频在线免费| 国产一区二区高清视频| 亚洲成人在线| 亚洲一区日本| 亚洲人成精品久久久久| 亚洲一卡久久| 久久久另类综合| 欧美精品色一区二区三区| 国产免费成人| 亚洲精品一区二区三区av| 亚洲在线成人精品| 亚洲精品久久久久久下一站| 亚洲欧美在线磁力| 欧美电影免费观看高清完整版| 国产精品高潮久久| 亚洲高清视频一区二区| 亚洲一区观看| 日韩一级黄色大片| 久久久噜噜噜| 国产精品网站在线| 最近中文字幕日韩精品| 欧美一区二区在线| 中文av一区二区| 六月婷婷久久| 国产噜噜噜噜噜久久久久久久久| 亚洲欧洲一区二区三区在线观看| 午夜久久影院| 亚洲伊人久久综合| 欧美激情第10页| 国内自拍一区| 亚洲欧美在线网| 中日韩美女免费视频网址在线观看 | 午夜在线视频观看日韩17c| 麻豆乱码国产一区二区三区| 国产精品入口| 亚洲精品视频一区| 亚洲黄页视频免费观看| 久久福利毛片| 国产精品国产三级欧美二区| 亚洲黄色一区| 亚洲国产成人精品久久久国产成人一区 | 亚洲国产精品va在线观看黑人| 篠田优中文在线播放第一区| 中日韩男男gay无套| 欧美高清hd18日本| 韩国精品一区二区三区| 亚洲欧美日韩在线| 亚洲欧美日韩视频一区| 欧美日韩高清在线一区| 亚洲国产女人aaa毛片在线| 久久国产精品久久精品国产| 性做久久久久久久久| 欧美午夜精品久久久久久人妖| 亚洲欧洲一区| 日韩网站在线看片你懂的| 免费观看在线综合| 国语自产在线不卡| 欧美在线3区| 久久国产加勒比精品无码| 国产精品你懂的| 在线中文字幕日韩| 亚洲视频综合| 欧美日韩在线视频一区| 亚洲精品乱码久久久久久蜜桃91| 亚洲麻豆国产自偷在线| 欧美高清在线播放| 亚洲国产色一区| 日韩视频不卡| 欧美日韩99| 日韩视频国产视频| 亚洲午夜激情在线| 国产精品久久久久影院色老大| 一二三区精品福利视频| 亚洲一区www| 国产精品h在线观看| 亚洲视频精品| 校园激情久久| 国产欧美综合在线| 羞羞答答国产精品www一本 | 国产一区二区三区免费在线观看| 新67194成人永久网站| 久久久国产成人精品| 国产亚洲精品aa午夜观看| 欧美在线视频播放| 久久中文字幕一区| 亚洲国产欧美一区二区三区同亚洲| 亚洲精品色图| 欧美三级第一页| 亚洲伊人伊色伊影伊综合网| 久久精品在线免费观看| 一色屋精品视频在线观看网站| 亚洲欧洲视频| 欧美天堂亚洲电影院在线观看 | 欧美一区二区视频在线观看| 久久先锋资源| 在线看国产日韩| 在线一区亚洲| 国产精品系列在线播放| 久久精品女人天堂| 欧美精品电影| 亚洲线精品一区二区三区八戒| 欧美在线播放一区| 亚洲国产高清一区| 亚洲淫性视频| 狠狠入ady亚洲精品| 99热精品在线| 国产九色精品成人porny| 亚洲电影天堂av| 欧美日韩精品一区二区三区| 亚洲综合欧美日韩| 免费视频一区| 亚洲视频一区| 免费人成网站在线观看欧美高清| 99精品国产一区二区青青牛奶 | 美国成人直播| 在线视频精品一| 久久蜜臀精品av| 亚洲另类自拍| 久久精品官网| 亚洲精品一区二区在线观看| 香蕉免费一区二区三区在线观看| 韩国三级在线一区| 在线综合+亚洲+欧美中文字幕| 国产伦精品一区| 日韩网站在线| 国产一区二区日韩精品欧美精品| 99re热精品| 国产伊人精品| 亚洲在线视频免费观看| 在线观看日韩一区| 午夜一区在线| 亚洲黄色一区二区三区| 久久xxxx精品视频| 99精品国产在热久久婷婷| 久久天天综合| 亚洲专区在线视频| 欧美精品大片| 亚洲丰满在线| 国产性天天综合网| 亚洲男女自偷自拍| 亚洲人成在线观看一区二区| 久久久噜噜噜久噜久久 | 欧美在线免费观看| 亚洲毛片av| 免费观看成人网| 香蕉免费一区二区三区在线观看| 欧美日韩国产色站一区二区三区 | 亚洲人体大胆视频| 国产一区二区三区免费在线观看 | 国产日韩亚洲欧美综合| 亚洲视频www|