《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法
一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法
2020年電子技術(shù)應(yīng)用第12期
淮曉永,韓曉東,高若辰,高煥新
華北計(jì)算機(jī)系統(tǒng)工程研究所,北京100083
摘要: 面向互聯(lián)網(wǎng)信息采集挖掘應(yīng)用,針對傳統(tǒng)的網(wǎng)站信息整頁采集方式存在采集信息混雜、無法直接使用,而人工結(jié)構(gòu)化采集方式成本高、工作效率低的問題,研究提出了一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法,實(shí)現(xiàn)了網(wǎng)頁分類算法、基于子樹的標(biāo)題項(xiàng)、內(nèi)容項(xiàng)的結(jié)構(gòu)化信息提取算法。基于典型網(wǎng)站網(wǎng)頁分類標(biāo)注數(shù)據(jù)集進(jìn)行分類模型的學(xué)習(xí)建模,可以自適應(yīng)不同網(wǎng)站的差異,對網(wǎng)頁進(jìn)行分類,按照網(wǎng)頁分類分別提取出網(wǎng)頁中的列表項(xiàng)結(jié)構(gòu)化信息、內(nèi)容項(xiàng)結(jié)構(gòu)化信息。該技術(shù)對提高網(wǎng)站信息結(jié)構(gòu)化采集處理的自動化水平及處理效率具有重要作用。
中圖分類號: TN919.5;TP391.1
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.200160
中文引用格式: 淮曉永,韓曉東,高若辰,等. 一種自適應(yīng)網(wǎng)頁結(jié)構(gòu)化信息提取方法[J].電子技術(shù)應(yīng)用,2020,46(12):97-102.
英文引用格式: Huai Xiaoyong,Han Xiaodong,Gao Ruochen,et al. An adaptive method for extracting structured information from web pages[J]. Application of Electronic Technique,2020,46(12):97-102.
An adaptive method for extracting structured information from web pages
Huai Xiaoyong,Han Xiaodong,Gao Ruochen,Gao Huanxin
National Computer System Engineering Research Institute of China,Beijing 100083,China
Abstract: In order to meet the needs of Internet information collection and mining, aiming at the problems of traditional web site information collection methods, such as mixed collection information, unable to be used directly, and the high cost and low efficiency of manual structured collection method, this paper proposes an adaptive method for extracting structured information from web pages. We implement web page classification algorithm, subtree based title item and content item structured information extraction algorithm. Based on the classification annotated dataset of typical website pages, the classification model can adapt to the differences of various web sites, classify the web pages, and extract the list structured information and content structured information in the web pages according to the web page classification. This technology plays an important role in improving the automation level and processing efficiency of website structured information collection and processing.
Key words : information extraction;structured information;classification model;adaptive

0 引言

    在互聯(lián)網(wǎng)大數(shù)據(jù)時代,互聯(lián)網(wǎng)信息呈現(xiàn)爆炸式增長,其中蘊(yùn)藏著很多有價(jià)值的重要信息需要處理與利用。通過智能化的大數(shù)據(jù)信息挖掘處理,可以從中分析把握技術(shù)發(fā)展的方向態(tài)勢,迅速發(fā)現(xiàn)高價(jià)值的科技信息。

    從關(guān)注的Internet網(wǎng)站源自動采集收集新發(fā)布的信息,并提取出其中的結(jié)構(gòu)化信息,是建立互聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。通過網(wǎng)絡(luò)爬蟲系統(tǒng)可以從各類網(wǎng)站爬取大量的網(wǎng)頁數(shù)據(jù),但傳統(tǒng)的網(wǎng)站信息整頁采集方式信息混雜,無法直接進(jìn)行大數(shù)據(jù)挖掘處理,而人工從網(wǎng)頁中提取結(jié)構(gòu)化的文本信息又存在成本高、工作效率低的問題。如何通過自動化的網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)化信息采集技術(shù)實(shí)現(xiàn)自動從網(wǎng)頁中提取結(jié)構(gòu)化的信息,是進(jìn)行互聯(lián)網(wǎng)大數(shù)據(jù)挖掘處理的關(guān)鍵預(yù)處理技術(shù)。

    本文研究針對傳統(tǒng)的網(wǎng)站信息整頁采集方式存在采集信息混雜、無法直接使用,而人工結(jié)構(gòu)化采集方式成本高、工作效率低的問題,研究實(shí)現(xiàn)了一種基于DOM樹的網(wǎng)頁結(jié)構(gòu)化信息提取方法(DOM based Web-page Structured Information Extraction,DWSIE),實(shí)現(xiàn)了一個網(wǎng)頁結(jié)構(gòu)化信息提取服務(wù)工具包,該工具包極大地提高了網(wǎng)站結(jié)構(gòu)化信息采集處理的自動化水平和處理效率。




本文詳細(xì)內(nèi)容請下載:http://m.jysgc.com/resource/share/2000003263




作者信息:

淮曉永,韓曉東,高若辰,高煥新

(華北計(jì)算機(jī)系統(tǒng)工程研究所,北京100083)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲欧美一区二区视频| 久久亚洲图片| 欧美在线网站| 亚洲欧美不卡| 一区二区av| 亚洲日本成人女熟在线观看| 国产一级揄自揄精品视频| 国产精品麻豆成人av电影艾秋 | 亚洲天堂免费观看| 欧美日韩午夜在线| 欧美日韩国产一区精品一区 | 国产日韩一区| 欧美日韩亚洲高清| 亚洲欧美在线观看| 亚洲午夜91| 亚洲一区不卡| 一区二区精品在线| 欧美专区日韩视频| 久久精品国产亚洲精品| 午夜视频久久久| 性欧美激情精品| 亚洲网站在线| 亚洲欧美日韩国产综合在线| 最新热久久免费视频| 欧美国产大片| 欧美国产日韩一区二区三区| 久久综合久久综合这里只有精品| 久久理论片午夜琪琪电影网| 欧美一区二区免费| 久久精品91久久香蕉加勒比| 亚洲欧美日韩精品久久亚洲区| 亚洲欧美日韩区| 亚洲综合另类| 亚洲成人在线视频播放| 亚洲国产日日夜夜| 亚洲激情视频网| 亚洲经典自拍| 亚洲国产视频直播| 中国日韩欧美久久久久久久久| 99re66热这里只有精品3直播| 亚洲欧美激情诱惑| 欧美一区二区三区在线观看视频| 亚洲欧美电影在线观看| 性欧美xxxx视频在线观看| 午夜精品理论片| 亚洲激情精品| 亚洲免费电影在线| 亚洲欧美中文日韩v在线观看| 亚洲欧美日韩在线不卡| 99视频有精品| 欧美一区二区黄色| 久久久爽爽爽美女图片| 欧美黄色aaaa| 欧美日韩成人在线视频| 欧美三级黄美女| 国产精品www色诱视频| 国产一级揄自揄精品视频| 韩国av一区二区三区四区| 黑人一区二区三区四区五区| 亚洲欧洲久久| av不卡在线看| 亚洲精选一区二区| 久久久亚洲高清| 一区二区三区 在线观看视| 黄色亚洲免费| 蜜桃精品一区二区三区 | 欧美激情小视频| 亚洲精品乱码久久久久久蜜桃91 | 免费成年人欧美视频| 亚洲精品视频在线观看网站| 亚洲午夜久久久久久尤物| 亚洲网站在线| 久久av二区| 99视频有精品| 久久aⅴ国产欧美74aaa| 欧美精品aa| 国产精品区免费视频| 国产亚洲一区二区三区在线播放| 又紧又大又爽精品一区二区| 亚洲视频高清| 亚洲国产精品www| 最新国产成人在线观看| 亚洲欧美日韩国产综合| 久久久精品一区二区三区| 欧美精品一区二区三区在线播放 | 久久精品国产免费| 一区二区三区不卡视频在线观看 | 亚洲欧美日韩久久精品| 久久人人97超碰精品888| 国产精品chinese| 黄色日韩网站视频| 亚洲视频欧美在线| 亚洲国产午夜| 欧美一区永久视频免费观看| 亚洲欧洲一区二区天堂久久| 亚洲一级在线观看| 久久一本综合频道| 国产日韩精品电影| 亚洲精选久久| 亚洲精品久久久蜜桃| 午夜在线观看欧美| 欧美视频在线观看视频极品| 国内成+人亚洲| 香蕉视频成人在线观看| 亚洲人体影院| 午夜精品一区二区三区在线 | 好看的日韩av电影| 一区二区精品| 亚洲精品免费观看| 亚洲精品你懂的| 久久精品国产久精国产一老狼| 国产精品三级久久久久久电影| 亚洲国产精品一区二区尤物区| 亚洲香蕉在线观看| 欧美日韩视频| 国产精品日本精品| 国产精品家教| 久久人人爽人人| 久久国产精品99国产| 久久久99爱| 亚洲免费大片| 亚洲性夜色噜噜噜7777| 国产精品午夜国产小视频| 老司机免费视频一区二区三区 | 欧美一区影院| 欧美日韩免费视频| 99视频在线精品国自产拍免费观看 | 久久久国产91| 国产一区二区三区丝袜| 一本色道久久88精品综合| 日韩亚洲欧美综合| 久久只精品国产| 国产精品久久久久久久久借妻| 日韩视频中文字幕| 亚洲人成久久| 欧美精品v日韩精品v韩国精品v | 亚洲午夜精品福利| 亚洲精品一区二区三区不| 免费av成人在线| 激情欧美丁香| 亚洲第一主播视频| 久久久久久综合| 又紧又大又爽精品一区二区| 久久av资源网| 女人天堂亚洲aⅴ在线观看| 国产日韩欧美另类| 亚洲第一成人在线| 久久久久9999亚洲精品| 午夜精品视频在线观看一区二区| 欧美日韩一区二区免费视频| 国产主播一区二区| 亚洲第一精品福利| 一本色道久久综合亚洲精品不| 亚洲一二区在线| 亚洲主播在线观看| 欧美色综合天天久久综合精品| 一区二区三区福利| 免费成人av资源网| 亚洲精品国产精品国自产在线| 国模精品一区二区三区| 国产一区二区成人久久免费影院| 精品福利电影| aa日韩免费精品视频一| 欧美性猛交一区二区三区精品| 亚洲欧美伊人| 久久成人免费日本黄色| 国产日韩欧美视频在线| 亚洲黄色免费| 欧美久久精品午夜青青大伊人| 欧美国产亚洲精品久久久8v| 欧美大片免费看| 亚洲国产综合在线看不卡| 久久九九热re6这里有精品| 国产精品国产福利国产秒拍| 国产一区二区三区在线播放免费观看| 国产日韩欧美一区二区三区四区 | 亚洲品质自拍| 欧美1区2区| 在线中文字幕一区| 欧美一区二区性| 亚洲第一在线视频| 亚洲欧美在线一区二区| 国产一区二区三区在线观看精品 | 一本色道久久| 久久久精品动漫| 亚洲电影免费在线观看| 久久精彩视频| 欧美精品一区在线发布| 午夜精品网站| 国产精品久久一区主播| 亚洲精品美女免费| 国产精品一区三区| av成人毛片| 99pao成人国产永久免费视频| 久久夜色精品国产亚洲aⅴ| 亚洲国产精品高清久久久| 午夜精品久久久久久久蜜桃app| 激情一区二区三区| 亚洲第一二三四五区| 国产精品视频不卡|