來自騰訊 MIG 移動(dòng)瀏覽產(chǎn)品部和阿爾伯塔大學(xué)的研究者提出一種用于文本匹配的新模型 MIX，這是一個(gè)多信道信息交叉模型，大大提升了文本匹配的準(zhǔn)確率，在 QQ 瀏覽器搜索直達(dá)業(yè)務(wù)使用中也表現(xiàn)出了優(yōu)秀的性能，相對(duì)提升點(diǎn)擊率 5.7%。目前，這篇長(zhǎng)論文已經(jīng)被 KDD 2018 接收。
1 引言
短文本匹配在信息檢索、問答、對(duì)話系統(tǒng)等自然語言處理任務(wù)中起著至關(guān)重要的作用。早期的文本匹配方法包括基于檢索知識(shí)庫的自動(dòng)問答，以及基于詞匹配和特征交叉（feature crossing）的 ad-hoc 檢索 [17, 24]。然而，這些方法都依賴于手動(dòng)定義的模板和規(guī)則，限制了調(diào)整良好的模型的泛化能力及其面向不同任務(wù)需求的可移植性。近年來深度神經(jīng)網(wǎng)絡(luò)模型的發(fā)展為提高自然語言處理能力帶來了新的機(jī)遇。通過減少對(duì)人工特征工程的需求，深度網(wǎng)絡(luò)模型可以更好地泛化，處理多種任務(wù)。近年來，研究者提出大量基于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的深度網(wǎng)絡(luò)結(jié)構(gòu)，用于短文本匹配 [2, 3, 6, 7, 9, 11–15, 19–21, 23]。
本文對(duì)近年來出現(xiàn)的大量文本匹配深度學(xué)習(xí)技術(shù)進(jìn)行了現(xiàn)實(shí)檢驗(yàn)，發(fā)現(xiàn)盡管各種深度網(wǎng)絡(luò)模型都有創(chuàng)新之處，但在實(shí)際應(yīng)用中，尤其是在深度模型與語言結(jié)構(gòu)和語義特征分析相結(jié)合的情況下，這些模型仍有很大的改進(jìn)空間。本論文作者設(shè)計(jì)了一個(gè)多信道信息交叉模型（Multi-Channel Information Crossing，MIX），這是一個(gè)用于文本匹配的多信道卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，它在騰訊的線上流量中表現(xiàn)出了優(yōu)秀的性能。
MIX 是 CNN 在多種粒度下的一種新型融合，并具有精心設(shè)計(jì)的注意力機(jī)制。MIX 的基本思想可以概括為：首先，MIX 使用在不同粒度下提取的特征來表征文本片段，這些特征是從實(shí)驗(yàn)觀察到的與短語、詞組、句法和語義、詞頻和權(quán)重，甚至語法信息相關(guān)的多個(gè)粒度中提取的，這是充分挖掘深層模型潛力的必要實(shí)踐。文本匹配在多級(jí)特征上的組合會(huì)將深層架構(gòu)表達(dá)所有級(jí)別的局部依賴性的能力最大化，并將卷積過程中的信息損失最小化。
其次，MIX 還提出了一種新型融合技術(shù)來組合來自多信道的匹配結(jié)果。MIX 中有兩種類型的信道，兩個(gè)文本片段的特征可以通過這些信道進(jìn)行交互。其中一種是語義信息信道，它表示文本的意義，如一元分詞、二元分詞和三元分詞。另一種信道包含 term 權(quán)重、詞性和命名實(shí)體等結(jié)構(gòu)信息以及交互的空間相關(guān)性。在 MIX 中，語義信息通道的作用是相似度匹配，而結(jié)構(gòu)信息通道發(fā)揮注意力機(jī)制的作用。此外，MIX 使用 3D 卷積核來處理這些堆疊層，從多個(gè)信道提取抽象特征，并通過多層感知器來組合輸出 [5]。信道組合機(jī)制使得 MIX 能夠輕松地將新信道合并到其學(xué)習(xí)框架中，從而使 MIX 能夠適用于廣泛的任務(wù)。
研究者在騰訊的 Venus 分布式信息處理平臺(tái)上實(shí)現(xiàn)并部署了 MIX，基于多個(gè)數(shù)據(jù)集和在騰訊 QQ 移動(dòng)瀏覽器中的在線 A/B 測(cè)試對(duì) MIX 進(jìn)行了評(píng)估。在線評(píng)估部分中，研究者在英文問答數(shù)據(jù)集 WikiQA [25] 和一個(gè)從 QQ 移動(dòng)瀏覽器收集的中文搜索結(jié)果數(shù)據(jù)集上測(cè)試了 MIX。WikiQA 是一個(gè)可公開訪問的數(shù)據(jù)集，包含微軟提供的開放域問答對(duì)。在 WikiQA 數(shù)據(jù)集上，MIX 在 NDCG@3 上的表現(xiàn)比多種當(dāng)前最優(yōu)方法至少高 11.1%，NDCG@3 是衡量排名質(zhì)量的常用指標(biāo)，在搜索引擎評(píng)估中被廣泛采用。
另一個(gè)中文搜索結(jié)果數(shù)據(jù)集是在用戶同意的情況下從騰訊 QQ 瀏覽器收集的，并從每天 1000 萬活躍用戶產(chǎn)生的在線搜索流量中采樣得來。該數(shù)據(jù)集包括 12 萬個(gè) query-document 條目和審核者生成的標(biāo)簽，這些標(biāo)簽顯示數(shù)據(jù)集中每個(gè) query-document 對(duì)的匹配程度。在此數(shù)據(jù)集上，MIX 在 NDCG@3 方面的表現(xiàn)至少比所有其他當(dāng)前最優(yōu)方法高出 8.2%。
此外，在騰訊 QQ 瀏覽器的在線 A/B 測(cè)試中，與未使用 MIX 的設(shè)置相比，MIX 實(shí)現(xiàn)了 5.7% 的點(diǎn)擊率增長(zhǎng)。評(píng)估結(jié)果展示了 MIX 在生產(chǎn)環(huán)境中提升文本匹配準(zhǔn)確率方面的優(yōu)秀性能，以及它可以泛化至不同語言數(shù)據(jù)集的能力。
3 MIX 模型
本章介紹 MIX 模型的細(xì)節(jié)。研究者將全局匹配定義為兩個(gè)句子之間的匹配，將局部匹配定義為句子中文本元素之間的匹配。受基于互動(dòng)的模型的啟發(fā)，MIX 模型組合使用全局匹配和局部匹配技術(shù)，對(duì)兩個(gè)文本片段之間的相關(guān)性進(jìn)行建模。依賴于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表征學(xué)習(xí)能力，MIX 模型能夠有層次、多維度地描繪文本匹配問題的本質(zhì)。如圖 1 所示，MIX 模型將文本匹配問題高效分割為以下子問題：
圖 1：MIX 模型架構(gòu)圖示。
首先，如圖 1 左上方所示，句子被解析成不同粒度的文本片段，如一元分詞、二元分詞和三元分詞。用這種方式，MIX 通過找到文本片段最合適的語義表征（可以是單詞、短語或詞組）來改善局部匹配的準(zhǔn)確率。這里的目標(biāo)是盡可能多地捕捉不同互動(dòng)級(jí)別上的信息。
其次，如圖 1「attention units」部分所示，研究者提取語法信息，如相對(duì)權(quán)重和詞性標(biāo)注，據(jù)此在注意力信道中設(shè)計(jì)注意力矩陣，以封裝豐富的結(jié)構(gòu)模式。研究者使用該方法首先研究了全局匹配和局部匹配之間的關(guān)系，然后證明其注意力機(jī)制能夠基于局部匹配構(gòu)建全局匹配，從而增強(qiáng)整體匹配的質(zhì)量。
第三，如圖 1「weighed channels」和「2D-convolution」部分所示，研究者將局部匹配信道和注意力信道交叉起來，以為局部匹配提取有意義的特征組合。
圖 7：空間注意力層的元素對(duì)應(yīng)亮度。
4 性能評(píng)估
4.1 離線測(cè)試
表 1：在 WikiQA 數(shù)據(jù)集上的單機(jī)測(cè)試評(píng)估結(jié)果。
表 2：在 QBSearch 數(shù)據(jù)集上的單機(jī)測(cè)試評(píng)估結(jié)果。
4.2 在線測(cè)試
圖 8：在線 A/B 測(cè)試中返回搜索結(jié)果上的點(diǎn)擊數(shù)。
圖 9：在線 A/B 測(cè)試中兩組的反射率（每小時(shí)點(diǎn)擊數(shù)）及對(duì)應(yīng)箱線圖。
論文：MIX: Multi-Channel Information Crossing for Text Matching
摘要：短文本匹配在信息檢索、問答和對(duì)話系統(tǒng)等多項(xiàng)自然語言處理任務(wù)中發(fā)揮重要作用。傳統(tǒng)的文本匹配方法依賴于預(yù)制模版和規(guī)則。但是，對(duì)于只有有限單詞的短文本來說，這些規(guī)則無法很好地泛化至未觀測(cè)數(shù)據(jù)中。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺、語音識(shí)別和推薦系統(tǒng)領(lǐng)域中的成功運(yùn)用，近期很多研究致力于將深度神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于自然語言處理任務(wù)，以降低人工特征工程的成本。
本論文提出了 MIX 模型（Multi-Channel Information Crossing），該多信道卷積神經(jīng)網(wǎng)絡(luò)模型可用于生產(chǎn)環(huán)境中的文本匹配，它具備針對(duì)句子和語義特征的額外注意力機(jī)制。MIX 在不同粒度上對(duì)比文本片段，以形成一系列多信道相似度矩陣，它們與另一組精心設(shè)計(jì)的注意力矩陣交叉起來，將句子的豐富結(jié)構(gòu)展示給深度神經(jīng)網(wǎng)絡(luò)。
我們實(shí)現(xiàn)了 MIX，并將該系統(tǒng)部署在騰訊 Venus 分布式計(jì)算平臺(tái)上。由于 MIX 具備工程設(shè)計(jì)極佳的多信道信息交叉，因此在 WikiQA 英文數(shù)據(jù)集上的評(píng)估結(jié)果顯示：MIX 在歸一化折扣累計(jì)增益（normalized discounted cumulative gain，NDCG@3）指標(biāo)上優(yōu)于大量當(dāng)前最優(yōu)深度神經(jīng)網(wǎng)絡(luò)模型，至少高出 11.1%。
此外，我們還利用騰訊 QQ 瀏覽器的搜索服務(wù)使用戶執(zhí)行了在線 A/B 測(cè)試。結(jié)果顯示 MIX 將返回結(jié)果點(diǎn)擊量提高了 5.7%，原因在于 query-document 匹配準(zhǔn)確率有所提高，這展示了 MIX 在現(xiàn)實(shí)生產(chǎn)環(huán)境中的優(yōu)秀性能。