基于分層信息過濾的生成式文本摘要模型
信息技術與網絡安全
符升旗，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
摘要： 文本摘要模型的輸入數據中通常包含被視為噪聲的冗余信息，對輸入數據中的噪聲進行過濾可以提高摘要模型的表現。提出了基于動態路由指導的分層信息過濾(Dynamic Routing Based Hierarchical Information Filtering，DRBHIF)層，該層首先通過動態路由模塊根據編碼器的輸出動態地計算全局向量，然后根據全局向量從詞層面和語義層面對輸入文本中的噪聲進行過濾。具體來說，首先通過全局向量和編碼器的輸出從詞層面上對原文中的關鍵字進行選擇，然后通過雙門語義噪聲過濾算法在語義層面上進行噪聲過濾。在Gigaword和CNN/Daily Mail兩個數據集上的實驗結果表明，DRBHIF能夠有效地對輸入文本中的噪聲進行過濾，并且能提升摘要模型的表現。
關鍵詞： 自然語言處理,自動文本摘要,噪聲過濾
中圖分類號： TP391.1
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.05.011
引用格式： 符升旗，李金龍. 基于分層信息過濾的生成式文本摘要模型[J].信息技術與網絡安全，2021，40(5)：62-67.
中圖分類號： TP391.1
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.05.011
引用格式： 符升旗，李金龍. 基于分層信息過濾的生成式文本摘要模型[J].信息技術與網絡安全，2021，40(5)：62-67.
Dynamic routing based hierarchical information filtering for abstractive text summarization
Fu Shengqi，Li Jinlong
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： The input data of a text summarization model usually contains redundant information that is regarded as noise, and filtering the noise in the input data can improve the performance of the summarization model. In this paper, a Dynamic Routing Based Hierarchical Information Filtering(DRBHIF) layer is proposed, which first dynamically computes a global vector based on the output of the encoder through the dynamic routing module, and then filters the noise in the input text at the word level and semantic level based on the global vector. Specifically, keywords in the original text are first selected at the word level using the global vector and the encoder output, and then noise is filtered at the semantic level using a two-gate semantic noise filtering algorithm. Experimental results on both Gigaword and CNN/Daily Mail datasets show that DRBHIF is effective in filtering noise in the input text and can improve the performance of the summarization model.
Key words : natural language processing；automatic text summarization；noise filtering
0 引言
自動文本摘要模型旨在提取出原文中的關鍵信息并生成摘要。對自動文本摘要的研究可以分為兩大類：抽取式文本摘要和生成式文本摘要。抽取式文本摘要直接從原文中抽取出一些句子組成摘要，而生成式文本摘要首先構建一個模型對原文中的信息進行理解，然后根據對原文的理解以模擬人類的方式輸出摘要。本文主要關注生成式文本摘要模型。
目前，生成式文本摘要模型主要基于序列到序列(sequence-to-sequence，seq2seq)模型構建[1-2]。seq2seq模型包含一個編碼器和一個解碼器。編碼器對輸入的原文進行編碼得到文本表示，解碼器對編碼器的輸出進行解碼生成摘要。在實際中，輸入文本通常包含冗余信息，即噪聲[3]，而seq2seq模型會將輸入文本的所有信息進行編碼，包括噪聲，這會導致最終生成的摘要不能很好地體現原文中的關鍵信息[4]。最近的一些研究[4-5]表明，對輸入文本中的噪聲進行過濾能提高摘要模型的表現。
本文詳細內容請下載:http://m.jysgc.com/resource/share/2000003553
作者信息:
符升旗，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。