基于X-Linear和語義嵌入的視頻描述算法
信息技術與網(wǎng)絡安全
李亞杰，關勝曉，倪長好
(中國科學技術大學 微電子學院，安徽 合肥230026)
摘要： 注意力機制和視頻語義嵌入使得視頻描述任務取得了顯著的提升，為更好地利用時序動態(tài)特征和語義信息，提出一種基于X-Linear的語義嵌入視頻描述算法(X-Linear Semantic Embedding Network，XLSNet)。該算法以基于編碼解碼器網(wǎng)絡為基礎，使用X-Linear注意力模塊對視頻特征進行編碼，該模塊使用雙線性池化來增加視頻時序特征的高階交互，最終提取豐富的時序動態(tài)特征；為充分利用視頻語義信息，使用語義嵌入的GRU和X-Linear作為解碼器對視頻描述進行生成。為防止過擬合現(xiàn)象，對解碼器的GRU使用了層歸一化和變分Dropout。所提出的算法僅僅使用了視頻幀特征，在公開視頻描述數(shù)據(jù)集MSVD上取得了很好的效果。
中圖分類號： TP183
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.008
引用格式： 李亞杰，關勝曉，倪長好. 基于X-Linear和語義嵌入的視頻描述算法[J].信息技術與網(wǎng)絡安全，2021，40(2)：45-51.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.008
引用格式： 李亞杰，關勝曉，倪長好. 基于X-Linear和語義嵌入的視頻描述算法[J].信息技術與網(wǎng)絡安全，2021，40(2)：45-51.
Video caption algorithm based on X-Linear and semantic embedding
Li Yajie，Guan Shengxiao，Ni Changhao
(School of Microelectronics，University of Science and Technology of China，Hefei 230026，China)
Abstract： The attention mechanism and video semantic embedding have significantly improved the video description task.In order to make better use of the temporal dynamic features and semantic information of the video,a X-Linear-based semantic embedding video description algorithm(X-Linear Semantic Embedding Network，XLSNet) is proposed. The algorithm is based on a encoder-decoder network and uses the X-Linear attention block to encode video features. This block uses bilinear pooling to increase the high-order interaction of video temporal features, and finally extracts rich temporal dynamic features. In order to make full use of video semantic information, semantically embedded GRU and X-Linear are used as decoders to generate video descriptions. To prevent over-fitting, layer normalization and variational Dropout are used for the GRU of the decoder.The proposed algorithm only uses video frame features, and has achieved good results on the public video description data set MSVD.
Key words : video caption；semantic embedding；X-Linear attention；XLSNet
0 引言
視頻描述任務是將計算機視覺信息轉換為人類能夠理解的自然語言句子的描述。將計算機視覺內容理解和自然語言處理兩個領域相結合用于解決視頻描述是一項極具挑戰(zhàn)性的任務。視頻描述涉及對許多實體的理解，這些實體包括場景、人物、物體、人的動作、人與物體的交互、人與人的交互、其他事件以及事件發(fā)生的順序等。所有這些信息必須使用自然語言處理(Natural Language Processing，NLP)技術，以一種可壓縮的、語法正確的文本表達出來。視頻描述任務可以應用于很多領域，如智能安防、盲人導航、視頻檢索、人機交互等。
本文詳細內容請下載:http://m.jysgc.com/resource/share/2000003378
作者信息:
李亞杰，關勝曉，倪長好
(中國科學技術大學 微電子學院，安徽 合肥230026)
此內容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉載。