《電子技術應用》
您所在的位置:首頁 > 測試測量 > 設計應用 > 基于Apache Lucene的地址匹配技術研究
基于Apache Lucene的地址匹配技術研究
2015年微型機與應用第18期
盧盛祺1,2,3,何施晶2,韓景倜1
(1.上海財經大學 信息管理與工程學院,上海 200433; 2.復旦大學 軟件學院,上海 200433; 3.上海市智能信息處理重點實驗室(復旦大學),上海 200433)
摘要: 地址匹配技術常常被用于對屬性地址信息快速定位,也是解決目前GIS系統分析能力瓶頸的重要方法。首先分析了中文地址匹配技術應用的現狀以及常用地址匹配方法的優缺點,在此基礎上給出了基于全文檢索技術的地址匹配方法,并使用參考規則進行匹配結果優化,隨后使用實驗證明了方法的準確性。
Abstract:
Key words :

  摘  要地址匹配技術常常被用于對屬性地址信息快速定位,也是解決目前GIS系統分析能力瓶頸的重要方法。首先分析了中文地址匹配技術應用的現狀以及常用地址匹配方法的優缺點,在此基礎上給出了基于全文檢索技術的地址匹配方法,并使用參考規則進行匹配結果優化,隨后使用實驗證明了方法的準確性。

  關鍵詞: 全文檢索;地址匹配;GIS;Lucene

0 引言

  企業管理以及信息化業務越來越多地依賴于電子地圖[1-2]。國外對空間地址匹配技術的研究已經形成了完善的規范體系,各大地圖提供廠商也形成了標準的工業化組件[3-4]。一些特殊領域也針對地理編碼精度的量化以及評估方法進行了一系列的研究[5-6]。隨著GIS技術在空間分析上的普及,一些研究人員開始探索使用空間要素之間的相關性幫助對地址匹配結果進行糾偏[7]。

  中文地址匹配的研究在國內盡管已經有了成熟的應用,但對不規范地址的匹配仍然依賴于數據的預處理,對于模糊地址的查詢還依賴用戶對系統推薦的結果進行二次選擇。

  中文地址匹配的難度主要來自城市門牌地址不規范以及中文的語言復雜性。由于國內城市地址編碼規范的缺失,門牌地址的缺、跳、同、錯等問題非常普遍,增加了地址匹配的難度,同時一些糾偏手段也往往也很難達到預期的效果。另外,不同機構所采集的地址門牌數據往往使用不同的描述風格,甚至地址要素的先后順序都存在不同。此外,對同一地點查詢的地址描述也可能使用截然不同的描述方式。對此,一方面需要對門牌地址的標準進行研究[8],另一方面需要對現有城市地址的規則進行研究。

  本文針對地址匹配技術中地址庫維護成本高、可拓展性差的問題,給出了基于Apache Lucene的地址匹配技術,利用搜索引擎技術對空間地址要素進行索引,通過搜索規則進行地址匹配,實現地址庫的自學習并可提高地址匹配的精度。

1 常見中文地址匹配技術比較

  現有地址匹配技術包括:地址庫預處理(對不規則的地址數據進行一些人工干預的處理使之達到設計所需的格式要求),提高地址分詞精度以及與用戶交互(當用戶輸入的地址得到多個匹配度相似的結果時,通過詢問用戶而得到更為準確的結果)。這些方法需要大量人工干預。常見的中文地址匹配方法有:正則表達式法、關鍵路徑法以及自然語言理解法[9]。

  本文針對對中文地址描述模糊、不規范以及使用參照物等特點,提出一種可用于中文地址匹配的思路:首先確定地址的大概方位,然后通過待匹配地址中的參考值進行地址修正。

2 基于全文搜索的地址匹配法

  本文方法的核心是基于Apache Lucene全文檢索工具包[10]的全文檢索:首先對現有地址門牌以及POI等空間地址數據進行分析并建立索引,形成基礎地址索引庫;接下來通過對索引庫的搜索實現初步的地址匹配;最后在此基礎上利用參照物糾偏等方法對匹配結果進行進一步糾正以得到精確的地址空間位置信息。

  常見的地址數據有3種:第一種是精確的地址描述,如“上海宛平南路75號”,搜索引擎可以很容易地搜索到相似度最高的結果;第二種是基于參考物的描述,如“肇嘉浜路上7號線地鐵站”,地址匹配通過執行預先制定的“地點+參照物”的規則得到最終的匹配結果;第三種是基于不確定的指路形式,如“上海宛平南路75號向南50米”,地址匹配引擎按照規則“地點+方向”得到最終的匹配結果。

  在設計時定義了3種類型的規則:第一種是預處理規則,對地址文本進行預處理,包含錯別字替換、特殊符號替換以及錯誤描述替換等;第二種是計算以及參考規則,對原地址進行要素拆分提取,比如在地址數據中常見的方向描述、當不清楚具體門牌時的參照物描述以及一些專業領域中的特有對象的內容;第三種是檢索規則,當無法檢索到合適的結果時,引擎需要減少檢索的條件,檢索規則用來判斷舍棄哪些關鍵要素,比如在路名庫中存在的詞不可舍棄、數值要素可以舍棄等。

  通過完善規則可以提高匹配精確度,此外可針對特定領域制定特定的規則,通過數據分析以及規則挖取也為地址匹配引擎的自我學習打下了基礎。

  本文的地址匹配基本思路包含以下步驟。

  (1)詞庫準備。詞庫主要有地址固定名詞庫、興趣點固定詞庫、常用別稱庫以及常見誤稱庫。其中地址固定名詞庫包含城市名、鄉鎮名以及道路名等;興趣點則包括如超市、醫院以及學校等POI數據;常用別稱則是對一些地點約定俗成的非官方叫法或者一地多名的叫法,如新客站、上海火車站都指的是同一地點;而誤稱庫則是在地址描述中一些常見的錯誤描述形式。

  (2)地址索引建立。在準備好詞庫的基礎上對門牌地址庫以及POI數據庫進行分詞索引。

  (3)匹配規則制定。使用了預設的規則引擎進行匹配規則描述,匹配規則主要用于對已經經過初步篩選的大致范圍進行精確定位的情況,比如方位描述規則“[D]{關鍵字}<計算符>(數據提取正則表達式)”可以用于對“路口向東20米”這類數據進行糾偏,參考物規則“[R]{關鍵字}<空間圖層ID>”可以對“人民路口東側行道樹”這類數據進行糾偏,還可以通過規則的組合來實現更為復雜的情況。

  (4)地址匹配過程。首先對待匹配地址進行規則檢測,如果符合地址匹配規則庫中的規則,則對地址數據進行規則運算,得到匹配規則以及規則計算后的地址文本。之后對地址文本進行分詞,進而使用檢索規則進行檢索條件的構建,并對索引進行搜索。

  對于不規范或有問題的地址,往往會出現無法檢索到結果的情況,這時系統將根據制定的縮詞規則對分詞的結果進行篩選,去除權重低的詞匯并重新構建檢索條件進行地址庫檢索。

  最終如果成功檢索到結果,則根據先前提取到的規則,系統還將對這個結果進行修正,比如“向東20米”這樣的方向規則,那么地址匹配引擎將在匹配的結果上進行方向距離的計算得到最終的精確結果;而類似“某某路便利店”這類的情況,則可以應用地圖要素參考的規則,使用地圖要素的空間進行分析計算得到更為精確的結果。

  在地址信息發生變化或詞庫信息發生變化時,還需要對索引文件進行維護。

  地址匹配流程如圖1所示。

001.jpg

3 實驗結果與分析

  本文的實驗將分兩部分進行,第一部分驗證對于門牌地址的匹配效果。數據來源主要有兩部分,某企業的用戶信息庫中的地址以及某企業員工外出登記中的地址。第二部分驗證本文地址匹配方法中的參考規則對于實現專業領域的地址精確定位的效果,這部分數據來自某燃氣管理企業的故障報修地址數據。

  實驗分別從地址庫中抽取500條地址數據進行匹配,測試庫中的樣本數據事先都進行了空間位置確認,實驗規定匹配得到的空間位置與數據基準位置距離在50米內則視為正確匹配。每部分實驗分別進行3次,結果取平均值,實驗結果表1和表2所示。

002.jpg

  (1)門牌號數據地址匹配結果分析

  從表1可以看到,對門牌地址的匹配成功率,本文的方法與關鍵路徑法相近,且略高于在線地圖的匹配結果,而本文方法的匹配準確率則略高于另外兩項。通過分析,由于匹配的成功率主要取決于分詞的精度以及基準數據庫的質量,在實驗中本文的算法與關鍵路徑法使用的是相同的基準數據庫,因此結果也更加接近。

  由于實驗所使用的門牌數據相對比較規范,系統在地址采集時作了較為嚴格的格式驗證,因此幾種方法的匹配準確率相對都比較高,通過數據分析,其中存在的差異主要來源有如下幾點:

  ①在線地圖在對待“xx路xx路”這類路口數據時并沒有準確定位到路口;

  ②關鍵路徑法實現的地址匹配工具對于中文表述的門牌號碼沒有做好數據處理,使得在定位時準確性降低了不少;

  ③在線地圖對于門牌插值的效果在幾種方法中最好。

  通過地址匹配的基本概念分析可以發現,這些都不是影響地址匹配效果的關鍵因素,因此,通過門牌號實驗驗證了幾種算法對于規范化的門牌數據都有不錯的定位效果。

  (2)特定領域地址匹配結果分析

  從表2可以看到,對于像燃氣報修這個特殊領域,本文方法的匹配成功率最高,在線地圖結果略低,而關鍵路徑法相對就比較低了;而匹配的準確率上,本文的方法要遠遠高于其他兩種方法。

  經過分析發現,燃氣報修的數據庫中的數據存在著嚴重的描述不規范現象,這使得關鍵路徑這一辦法在這里的應用效果就沒有那么理想,而對于模糊地址的匹配,在線地圖做得相當出色,而本文的方法由于使用了搜索引擎技術,這也使得對不規范地址有著不錯的匹配成功率。

  在特定領域地址匹配實驗中,本文方法準確率遠遠高于其他兩種方法的原因主要來自于引擎的規則系統,同門牌號數據地址匹配實驗類似,對于“xx路xx路”這類數據,本文的方法可以準確定位到路口,而在線地圖僅僅能識別“xx路xx路路口”這種形式。而在燃氣報修的數據中,路口這類數據是非常多的,本文通過數據的預處理規則、參考規則以及檢索規則的添加,可以很好地適應如“xx路xx路向東20米”、“xx路xx號附近窨井”等這類數據形式。

4 結論

  本文給出的方法具有減少對地址庫格式的依賴、提高對不規范數據的利用率的優點,它將技術以及人力都集中在對匹配引擎規則的研發和制定上,通過完善和補充匹配規則以及搜索引擎排序規則,可以在使用過程中不斷提高地址匹配引擎的精度。

  在未來的研究中,還需要進一步研究通過匹配日志的分析挖掘提供規則自動學習的功能,使得系統可以分析并抽取大量數據中潛在的匹配規則,滿足特定領域特定描述習慣的自適應需求。另外,基于空間位置的參照糾偏計算成為系統潛在的性能瓶頸,因此這方面也是今后研究優化的一個方向。

參考文獻

  [1] WILLIAM J D. Address matching: GIS technology for mapping human activity patterns[J]. Journal of the American Planning Association, 1995,61(2):240-251.

  [2] KWAN M P. How GIS can help address the uncertain geographic context problem in social science research[J]. Annals of GIS,2012,18(4):245-255.

  [3] ROTH A, SCHREIER G. The D-PAF ERS-1 geocoding system[J]. International Journal of Remote Sensing, 1992,13(9):1619-1625.

  [4] JERRY H. R. On the accuracy of TIGER-type geocoded address data in relation to cadastral and census areal units[J]. International Journal of Geographical Information Science,2001,15(5):473-485.

  [5] GEOFFREY M J. A research agenda: does geocoding positional error matter in health GIS studies[J]. Spatial and Spatio-temporal Epidemiology, 2012,3(1):7-16.

  [6] CAYO M R, TALBOT T O. Positional error in automated geocoding of residential addresses[J]. International Journal of Health Geographics,2003,2(1):10.

  [7] TIMOTHY C. H, PAUL A Z. Reference data and geocoding quality: examining completeness and positional accuracy of street geocoded crime incidents[J]. Policing: An International Journal of Police Strategies & Management,2013,36(2):263-294.

  [8] 夏蘭芳,毛煒青,郭功舉.上海城市地理編碼系統應用與研究[J].測繪通報,2012(1):78-80.

  [9] 張雪英,閭國年,李伯秋,等.基于規則的中文地址要素解析方法[J].地球信息科學學報,2010(1):9-16.

  [10] MICHAEL M, ERIK H, OTIS G. Lucene in Action[M]. American: MANNING PUBN, 2010.


此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲电影欧美电影有声小说| 午夜免费电影一区在线观看| 国产精品自拍视频| 欧美激情综合亚洲一二区| 浪潮色综合久久天堂| 久久久99国产精品免费| 欧美一区二区视频观看视频| 亚洲欧美久久| 亚洲欧美日韩另类| 亚洲性视频网站| 亚洲午夜高清视频| 亚洲一级黄色| 午夜精品免费视频| 性高湖久久久久久久久| 亚洲一二三区在线| 亚洲综合精品自拍| 亚洲综合国产精品| 欧美一级黄色录像| 久久国产主播| 久久久综合精品| 免播放器亚洲一区| 欧美国产日韩免费| 欧美日韩伦理在线免费| 欧美日韩在线播放三区四区| 国产精品高潮呻吟久久av无限| 欧美日韩免费精品| 国产精品久久久久久久电影 | 久久综合九色九九| 欧美电影免费| 欧美日韩中国免费专区在线看| 国产精品成人在线观看| 国产精品青草久久| 国产偷国产偷精品高清尤物| 国产亚洲午夜| **欧美日韩vr在线| 亚洲免费黄色| 亚洲一区二区三区免费视频| 欧美一级二区| 亚洲国产高清自拍| 夜夜爽av福利精品导航| 午夜国产一区| 久久综合给合久久狠狠色| 欧美福利影院| 国产精品高精视频免费| 国产一区欧美| 亚洲人被黑人高潮完整版| 99这里只有精品| 欧美一区二区三区久久精品| 久久国产精彩视频| 99成人在线| 亚欧美中日韩视频| 免费日本视频一区| 欧美日韩一区二| 国产婷婷97碰碰久久人人蜜臀| 娇妻被交换粗又大又硬视频欧美| 亚洲人成网在线播放| 亚洲一二三区精品| 亚洲福利精品| 亚洲一区二区在线播放| 久久久欧美精品sm网站| 欧美日本在线看| 国产无遮挡一区二区三区毛片日本| 亚洲大胆av| 亚洲一区三区电影在线观看| 亚洲国产经典视频| 亚洲免费一在线| 免费不卡中文字幕视频| 国产精品国码视频| 在线精品亚洲| 亚洲欧美国产高清| 一本色道久久综合亚洲精品小说 | 久久久久网站| 国产精品jizz在线观看美国| 激情久久久久久久久久久久久久久久| 亚洲蜜桃精久久久久久久| 欧美一区二区观看视频| 一区二区三区欧美成人| 久久亚洲一区| 国产精品乱人伦中文| 亚洲国产视频一区二区| 欧美在线视频全部完| 亚洲自拍偷拍视频| 欧美精品免费在线观看| 国内精品久久久久影院优 | 亚洲欧美久久久| 欧美日本国产一区| 樱桃视频在线观看一区| 午夜精品久久| 亚洲在线一区| 欧美人成在线| 亚洲国产另类久久精品| 羞羞漫画18久久大片| 亚洲一区久久| 欧美日本一区二区三区| 亚洲丰满少妇videoshd| 亚洲成色精品| 欧美在线亚洲一区| 国产精品久久久久91| 日韩一二三区视频| 亚洲免费观看高清完整版在线观看熊 | 99视频一区| 日韩视频久久| 欧美成人午夜免费视在线看片| 国产一区二区三区免费在线观看| 亚洲午夜一区二区| 亚洲免费在线播放| 欧美日韩一区二区在线视频| 亚洲精品免费观看| 日韩视频一区二区在线观看| 男同欧美伦乱| 精品福利av| 亚洲激情视频网| 欧美xx视频| 亚洲经典在线看| 一区二区三区久久网| 欧美日韩精品| av成人免费| 亚洲欧美国产日韩中文字幕| 国产精品国产三级国产aⅴ浪潮| 一区二区三区回区在观看免费视频| 99ri日韩精品视频| 欧美日韩精品综合在线| av成人免费在线| 亚洲一区制服诱惑| 国产精品久久国产三级国电话系列| 在线性视频日韩欧美| 亚洲综合电影一区二区三区| 国产精品日韩久久久| 亚洲自拍偷拍麻豆| 欧美专区在线| 国产专区一区| 91久久精品国产91久久| 欧美国产日韩一区二区| 亚洲欧洲美洲综合色网| 亚洲视频一区二区免费在线观看| 欧美性大战久久久久久久| 亚洲一区免费视频| 久久精品中文字幕一区| 影音先锋久久精品| 99国内精品久久久久久久软件| 欧美日韩国内| 亚洲欧美国产日韩中文字幕| 久久久久亚洲综合| 亚洲国产精品久久久| 亚洲少妇一区| 国产区在线观看成人精品| 久久精品国产一区二区三 | 欧美三区视频| 性欧美激情精品| 欧美波霸影院| 一区二区三区免费网站| 欧美在线视频导航| 亚洲高清在线观看| 亚洲一区在线播放| 很黄很黄激情成人| 一本色道久久综合精品竹菊 | 亚洲一区精彩视频| 国产在线视频不卡二| 亚洲精品乱码久久久久久日本蜜臀 | 欧美精品亚洲| 亚洲自拍偷拍福利| 免费精品视频| 一本色道久久99精品综合| 久久成人免费电影| 亚洲国产欧美久久| 性欧美18~19sex高清播放| 伊人成年综合电影网| 亚洲无限av看| 禁断一区二区三区在线| 亚洲一区二区在线免费观看视频 | 国产综合色在线| 国产精品99久久不卡二区| 国产一区视频在线观看免费| 99国产精品久久久| 国产主播精品在线| 亚洲性感美女99在线| 伊大人香蕉综合8在线视| 亚洲免费视频中文字幕| 亚洲国产成人在线视频| 欧美一区二区啪啪| 亚洲日本乱码在线观看| 久久国产主播| 一区二区三区黄色| 麻豆成人在线| 亚洲欧美日韩国产一区二区| 欧美黄色aaaa| 久久国产精品99久久久久久老狼 | 国产欧美一区二区三区视频| 亚洲精品在线观| 国产一区二区三区的电影 | 亚洲国产精品悠悠久久琪琪| 欧美亚洲网站| 亚洲精品中文字幕女同| 久久综合九色综合久99| 亚洲一区二区四区| 欧美日本不卡| 亚洲欧洲精品一区二区三区不卡| 国产日韩欧美在线播放不卡| 中文欧美在线视频| 91久久在线播放|