計算機文本分析算法發展綜述
電子技術應用 2023年3期
孫靜含1，任靜2
（1.北京工業大學，北京 100124；2.中國電子信息產業集團第六研究所，北京 100083）
摘要： 計算機文本分析是自然語言處理領域的一個重要分支，是研究如何在文本數據中提取出給定語料的各類信息的計算機技術。目前，計算機文本分析已經進入了新的歷史階段，一方面關鍵詞提取算法已經逐漸完備，另一方面隨著BERT方法的出現，詞向量計算問題也取得了極大的進步。但是，無論是關鍵詞提取還是詞向量計算都仍存在一些有待解決的問題。另外，現有的許多適合使用文本分析的研究仍在使用早期的文本分析方法。因此在未來，如何更好地降低模型尺寸以促進學科融合、提升文本分析的綜合社會效益，成為文本分析算法發展的重要問題。
中圖分類號：TP181 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.223117
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發展綜述[J]. 電子技術應用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
中文引用格式： 孫靜含，任靜. 計算機文本分析算法發展綜述[J]. 電子技術應用，2023，49(3)：42-47.
英文引用格式： Sun Jinghan，Ren Jing. A survey of the development of computer text analysis algorithms[J]. Application of Electronic Technique，2023，49(3)：42-47.
A survey of the development of computer text analysis algorithms
Sun Jinghan1，Ren Jing2
(1.Beijing University of Technology，Beijing100124， China； 2.The Sixth Research Institute of China Electronics Corporation， Beijing 100083， China)
Abstract： Abstract： Computer text analysis is an important branch in the field of natural language processing, and it is a computer technology that studies how to extract various types of information from a given corpus from text data. At present, computer text analysis has entered a new historical stage. On the one hand, the keyword extraction algorithm has gradually been completed. On the other hand, with the emergence of the BERT method, the word vector calculation problem has also made great progress. However, there are still some problems to be solved in both keyword extraction and word vector calculation. In addition, many existing studies suitable for using text analysis still use ancient text analysis methods. Therefore, in the future, how to better reduce the model size to promote the integration of disciplines and improve the comprehensive social benefits of text analysis will become an important issue in the development of text analysis algorithms.
Key words : text analysis；natural language processing；algorithm
0 引言
計算機文本分析是自然語言處理（Natural Language Processing, NLP）領域的一個重要分支，是指對文本數據或語料庫內的語料進行分析，最終提取出給定語料的各種信息，包括關鍵詞、詞向量等內容的計算機技術，在一些文獻中也將這一領域的相關技術納入自然語言處理預訓練技術之中。文本分析最早起源于20世紀50~60年代，這一階段的研究重點是如何對語言規則進行設定。到20世紀70年代，隨著語料庫的豐富和硬件設備的進步，文本分析技術開始融合機器學習算法，并得到了快速發展。進入21世紀之后，深度學習方法被運用到文本分析之中，誕生了諸如Word2Vec、BERT等技術，進一步提高了文本分析的應用場景。在可以預見的未來，傳統的基于數字數據的分析方法將逐漸無法滿足越發龐雜的應用需求，文本分析和其所屬的自然語言處理領域將會是一個愈發重要的發展方向。
本文詳細內容請下載：http://m.jysgc.com/resource/share/2000005227
作者信息：
孫靜含1，任靜2
（1.北京工業大學，北京 100124；2.中國電子信息產業集團第六研究所，北京 100083）
此內容為AET網站原創，未經授權禁止轉載。