《電子技術應用》
您所在的位置:首頁 > 人工智能 > 設計應用 > 一種基于狀態(tài)預測的多線程數(shù)據(jù)過濾算法
一種基于狀態(tài)預測的多線程數(shù)據(jù)過濾算法
電子技術應用
楊嘉佳,李正,鄭兒,姚旺君,趙靜,關健
中國電子信息產(chǎn)業(yè)集團有限公司第六研究所
摘要: 數(shù)據(jù)過濾算法在大數(shù)據(jù)處理領域有著重要的作用。基于正則表達式匹配技術的數(shù)據(jù)過濾算法憑借強大的特征表達能力適合于處理大規(guī)模復雜數(shù)據(jù)。然而,傳統(tǒng)的正則表達式匹配過程為串行匹配,造成性能低,無法滿足現(xiàn)代數(shù)據(jù)處理的需求。針對傳統(tǒng)正則表達式匹配性能低的問題,提出一種基于多線程和狀態(tài)預測的正則表達式加速匹配算法,稱之為μFA:基于向量指令執(zhí)行字符值比較,獲取可直接跳過的信任字符數(shù)。同時,基于多線程加速和狀態(tài)猜測技術,實現(xiàn)字符串的分段匹配處理,通過圈定字符危險區(qū)域,研判各分段最終匹配結果的正確性。實驗結果表明,μFA算法的吞吐率是原始DFA算法的10.12~91.36倍、ßFA算法的1.08~2.97倍。
中圖分類號:TP391.1 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245321
中文引用格式: 楊嘉佳,李正,鄭兒,等. 一種基于狀態(tài)預測的多線程數(shù)據(jù)過濾算法[J]. 電子技術應用,2024,50(12):87-91.
英文引用格式: Yang Jiajia,Li Zheng,Zheng Er,et al. An accelerated regular expression matching algorithm based on multi-threading and state prediction[J]. Application of Electronic Technique,2024,50(12):87-91.
An accelerated regular expression matching algorithm based on multi-threading and state prediction
Yang Jiajia,Li Zheng,Zheng Er,Yao Wangjun,Zhao Jing,Guan Jian
The Sixth Research Institute of China Electronics Corporation
Abstract: Data filtering algorithms play a crucial role in the field of big data processing. Data filtering algorithms based on regular expression matching technology are suitable for processing large-scale complex data due to their powerful feature expression capabilities. However, the traditional regular expression matching process is serial matching, resulting in low performance that cannot meet the needs of modern data processing. To address the issue of low performance in traditional regular expression matching, an accelerated regular expression matching algorithm based on multithreading and state prediction is proposed, named μFA. This algorithm performs character value comparison based on vector instructions to obtain the number of trusted characters that can be skipped directly. Simultaneously, it utilizes multithreading acceleration and state prediction techniques to achieve segmented matching processing of strings. By delimiting dangerous character regions, it determines the correctness of the final matching results for each segment. Experimental results show that the throughput is 10.12 to 91.36 times higher than the original DFA algorithm and 1.08 to 2.97 times higher than the ßFA algorithm.
Key words : regular expression matching;state prediction;data filtering

引言

在人工智能時代[1],正則表達式匹配技術有助于數(shù)據(jù)的預處理過濾,可為業(yè)務應用提供更高質量的數(shù)據(jù)。例如,正則表達式規(guī)則由于其展現(xiàn)出強大的表征能力,可從大規(guī)模數(shù)據(jù)中過濾出復雜且符合深度學習模型要求的數(shù)據(jù),提升模型的推理精度。

數(shù)據(jù)預處理吞吐率是衡量過濾算法的重要性能因素之一,反映出在特定環(huán)境下算法可以運行的性能極限,決定其是否適用于高性能大數(shù)據(jù)預處理領域。因此,本文重點研究如何提高基于正則表達式匹配的數(shù)據(jù)過濾性能。

當前,已涌現(xiàn)出許多優(yōu)秀的基于正則表達式技術的數(shù)據(jù)過濾算法[2],包括基于非確定型有限自動機(Nondeterministic Finite Automata, NFA)、基于確定型有限自動機(Deterministic Finite Automata, DFA)和基于混合自動機(Hybrid Finite Automata, Hybrid-FA)等實現(xiàn)方式。其中,因DFA的數(shù)據(jù)過濾性能較為穩(wěn)定,備受研究人員和開發(fā)人員的青睞。

然而,現(xiàn)有的正則表達式過濾算法性能較低,無法滿足大數(shù)據(jù)背景下的高性能過濾需求。因此,本文提出一種基于狀態(tài)預測的多線程數(shù)據(jù)過濾算法:通過向量指令字符值比較、多線程加速、狀態(tài)猜測等技術,實現(xiàn)字符串的分段匹配處理,從而提高算法的吞吐率。


本文詳細內容請下載:

http://m.jysgc.com/resource/share/2000006254


作者信息:

楊嘉佳,李正,鄭兒,姚旺君,趙靜,關健

(中國電子信息產(chǎn)業(yè)集團有限公司第六研究所,北京 100083)


Magazine.Subscription.jpg

此內容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久激情五月丁香伊人| 日韩亚洲欧美综合| 亚洲电影在线播放| 国产亚洲亚洲| 国产欧美日韩精品专区| 欧美调教vk| 欧美日韩小视频| 欧美日本亚洲视频| 欧美精品一区二区三区高清aⅴ| 美女脱光内衣内裤视频久久网站| 久久久久久久综合日本| 久久国产精品久久w女人spa| 午夜精品剧场| 亚洲欧美一级二级三级| 亚洲一区二区三区国产| 亚洲一区二区三区在线视频| 亚洲一区在线播放| 欧美成人久久| 亚洲视频在线一区| 一区二区三区四区五区在线| 一本久久a久久精品亚洲| 日韩午夜免费| 中国亚洲黄色| 亚洲淫性视频| 欧美一区二区福利在线| 亚洲第一网站免费视频| 亚洲精品久久久久久下一站| 妖精成人www高清在线观看| 在线一区日本视频| 亚洲欧美伊人| 久久久999成人| 美女啪啪无遮挡免费久久网站| 欧美激情一区在线| 欧美日韩亚洲综合| 国产精品视频成人| 国产一区二区欧美日韩| 亚洲国产高清一区| 一本色道精品久久一区二区三区 | 一区二区三区四区五区在线| 亚洲在线国产日韩欧美| 久久狠狠婷婷| 一区二区电影免费在线观看| 亚洲欧美综合v| 久久蜜桃资源一区二区老牛 | 欧美日韩成人网| 欧美性大战xxxxx久久久| 国产精品五区| 一区二区三区在线免费观看| 亚洲肉体裸体xxxx137| 亚洲已满18点击进入久久| 亚洲国产成人不卡| 一区二区三区视频观看| 欧美中在线观看| 欧美极品在线观看| 国产精品一二一区| 亚洲电影免费在线| 亚洲一区二区欧美| 亚洲国产成人精品女人久久久 | 欧美在线首页| 欧美激情精品久久久久久蜜臀 | 欧美亚洲三区| 日韩视频在线观看国产| 午夜一区不卡| 亚洲欧美日韩久久精品| 亚洲欧美另类在线| 老色鬼精品视频在线观看播放| 欧美日韩国内| 国产真实乱偷精品视频免| 99re视频这里只有精品| 久久国产精品99精品国产| 一区二区三区视频在线看| 久久亚洲不卡| 国产精品日韩在线| 亚洲国产毛片完整版| 午夜欧美大尺度福利影院在线看 | 国产亚洲精品综合一区91| 亚洲美女电影在线| 久久精品国语| 欧美一级视频一区二区| 欧美日韩不卡视频| 又紧又大又爽精品一区二区| 亚洲欧美春色| 亚洲午夜成aⅴ人片| 男女精品网站| 国产午夜精品视频| 在线亚洲激情| 一本到高清视频免费精品| 蜜桃av久久久亚洲精品| 国产欧美91| 一级成人国产| av成人免费在线观看| 老鸭窝亚洲一区二区三区| 国产亚洲日本欧美韩国| 亚洲午夜未删减在线观看| 99这里只有精品| 欧美 日韩 国产在线| 国模叶桐国产精品一区| 亚洲一区免费网站| 亚洲网站视频| 欧美日韩精品综合| 亚洲欧洲另类| 亚洲人成网站影音先锋播放| 久久久综合网站| 国产婷婷色一区二区三区| 亚洲女同同性videoxma| 亚洲欧美电影在线观看| 欧美三级免费| 亚洲免费观看高清完整版在线观看熊 | 久久国产精品久久久久久| 欧美一级在线视频| 国产精品久久午夜夜伦鲁鲁| 一本色道久久88精品综合| 久久精品亚洲精品| 亚洲午夜久久久久久久久电影网| 欧美精品久久99| 亚洲国产精品第一区二区三区| 亚洲国产精品va在线看黑人| 久久亚洲精品视频| 狠狠色噜噜狠狠色综合久| 久久精品国产清自在天天线| 久久久久久色| 一区在线播放视频| 亚洲国产欧美一区二区三区久久 | 欧美视频在线一区二区三区| 亚洲人在线视频| 亚洲精品少妇30p| 欧美肥婆在线| 亚洲理论在线| 亚洲一区二区三区777| 国产精品久久一级| 亚洲欧美在线播放| 久久精品理论片| 激情亚洲网站| 亚洲美女色禁图| 欧美视频在线观看免费| 亚洲一区二区精品在线| 久久成人精品电影| 国语自产偷拍精品视频偷| 亚洲国产成人av| 欧美日本不卡高清| 亚洲视频狠狠| 久久aⅴ国产紧身牛仔裤| 黑人极品videos精品欧美裸| 最新69国产成人精品视频免费| 欧美黄色精品| 中文精品视频一区二区在线观看| 性欧美在线看片a免费观看| 国产一二精品视频| 亚洲激情网站| 欧美日韩三区| 亚洲欧美第一页| 噜噜噜91成人网| 亚洲精品国产日韩| 亚洲女同同性videoxma| 国内精品视频666| 99天天综合性| 国产亚洲成av人片在线观看桃| 91久久精品国产91性色tv| 欧美日韩三区| 久久av资源网站| 欧美激情在线| 午夜一区在线| 欧美国产激情| 亚洲主播在线| 欧美粗暴jizz性欧美20| 一区二区不卡在线视频 午夜欧美不卡'| 欧美亚洲综合另类| 亚洲国产精品第一区二区| 午夜精彩国产免费不卡不顿大片| 国产一区自拍视频| 99国产精品久久久久老师| 国产精品一区在线观看| 亚洲人成网站在线播| 国产精品一卡| 99国产精品视频免费观看一公开| 国产欧美一区二区三区另类精品| 亚洲精品欧美一区二区三区| 国产精品免费视频xxxx| 亚洲人成网在线播放| 国产精品视频久久| 日韩午夜av电影| 国产日韩在线看| 宅男精品视频| 激情欧美丁香| 亚洲欧美日韩电影| 亚洲国产乱码最新视频| 久久精品亚洲精品国产欧美kt∨| 99精品免费| 嫩草影视亚洲| 香蕉久久夜色精品| 欧美日韩视频在线一区二区| 亚洲国产精品高清久久久| 国产精品男gay被猛男狂揉视频| 日韩视频永久免费| 国模私拍视频一区| 午夜视频在线观看一区二区三区| 亚洲区一区二| 美女黄毛**国产精品啪啪| 午夜精品一区二区三区在线视 | 国产精品激情偷乱一区二区∴|