文獻(xiàn)標(biāo)識(shí)碼：A
DOI： 10.19358/j.issn.2096-5133.2020.05.008
引用格式：陳細(xì)玉，林穗.一種融合注意力和記憶網(wǎng)絡(luò)的序列推薦算法［J］.信息技術(shù)與網(wǎng)絡(luò)安全，2020,39（5）：37-41.
協(xié)同過(guò)濾(Collaborative Filtering，CF)，分為基于用戶(hù)的協(xié)同過(guò)濾(UBCF)、基于項(xiàng)目的協(xié)同過(guò)濾(IBCF)和基于模型的協(xié)同過(guò)濾。基于用戶(hù)的協(xié)同過(guò)濾是根據(jù)用戶(hù)的歷史行為計(jì)算出用戶(hù)之間的相似度，將相似度高的用戶(hù)的歷史項(xiàng)目推薦給該用戶(hù)；基于項(xiàng)目的協(xié)同過(guò)濾是計(jì)算項(xiàng)目之間的相似度，推薦與該用戶(hù)歷史項(xiàng)目相似度高且歷史行為中沒(méi)有的項(xiàng)目。基于模型的協(xié)同過(guò)濾如矩陣分解(Matrix Factorization，MF)通過(guò)用戶(hù)和項(xiàng)目的低維特征向量預(yù)測(cè)評(píng)分進(jìn)行推薦；EBESU T等人提出協(xié)同記憶網(wǎng)絡(luò)，使用記憶網(wǎng)絡(luò)學(xué)習(xí)用戶(hù)項(xiàng)目對(duì)的特定鄰居，用戶(hù)和項(xiàng)目記憶共同利用鄰居來(lái)產(chǎn)生排名分?jǐn)?shù)。這些模型通常對(duì)靜態(tài)的用戶(hù)和項(xiàng)目交互進(jìn)行建模，所表示的用戶(hù)偏好是靜態(tài)的。
但在現(xiàn)實(shí)生活中，用戶(hù)的歷史行為是動(dòng)態(tài)的，人們的興趣是隨著時(shí)間變化的。早先的基于馬爾科夫鏈的序列推薦將項(xiàng)目之間的轉(zhuǎn)移矩陣分解為兩個(gè)低秩矩陣，此序列推薦取得了良好的效果，然而k階馬爾科夫鏈只能根據(jù)有限的前k個(gè)行為預(yù)測(cè)下一個(gè)行為。近年來(lái)基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的序列推薦能夠依賴(lài)更多用戶(hù)歷史行為。FU H等人使用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)捕獲項(xiàng)目的序列特征，取得了更好的推薦效果。下一個(gè)項(xiàng)目的預(yù)測(cè)并不取決于用戶(hù)所有的歷史項(xiàng)目，只與部分有關(guān)聯(lián)，且對(duì)當(dāng)前的預(yù)測(cè)影響是不一致的。LUO A等人提出了自適應(yīng)注意感知門(mén)控循環(huán)單元(3AGRU)，采用注意力機(jī)制來(lái)適應(yīng)用戶(hù)順序偏好的表示。LV F等人提出了一種新的順序深度匹配(SDM)模型，使用門(mén)控融合模塊結(jié)合長(zhǎng)期和短期偏好特征，來(lái)獲取用戶(hù)的動(dòng)態(tài)偏好。LIN X等人將K最近鄰算法(K-Nearest Neighbor，KNN)與RNN相結(jié)合，利用動(dòng)態(tài)鄰居序列優(yōu)化用戶(hù)序列表示。
item2vec是BARKAN O等人借鑒自然語(yǔ)言處理中的Word2vec詞向量表示方法，學(xué)習(xí)項(xiàng)目的向量表示并計(jì)算項(xiàng)目的相似度進(jìn)行推薦。
RNN存在長(zhǎng)距離依賴(lài)問(wèn)題，且項(xiàng)目之間的影響主要取決于相對(duì)位置而不是項(xiàng)目的屬性。LSTM增加遺忘門(mén)和更新門(mén)優(yōu)化了長(zhǎng)距離依賴(lài)問(wèn)題，但仍舊沒(méi)有徹底解決。注意力機(jī)制能從全局模式上既解決長(zhǎng)距離依賴(lài)問(wèn)題，又能解決序列中各項(xiàng)目的區(qū)分度差問(wèn)題。實(shí)際生活中，短期偏好的用戶(hù)會(huì)向資深固定偏好的用戶(hù)靠攏，興趣變化也會(huì)向這些用戶(hù)的興趣發(fā)展。
由此提出融合注意力和記憶網(wǎng)絡(luò)的序列推薦算法，使用Word2vec學(xué)習(xí)并初始化用戶(hù)和項(xiàng)目的固定表示，自注意力機(jī)制結(jié)合LSTM解決長(zhǎng)距離依賴(lài)和區(qū)分度問(wèn)題，學(xué)習(xí)用戶(hù)的初級(jí)動(dòng)態(tài)表示，并利用記憶網(wǎng)絡(luò)獲取動(dòng)態(tài)鄰居學(xué)習(xí)用戶(hù)的終級(jí)動(dòng)態(tài)表示，拼接固定表示和終級(jí)動(dòng)態(tài)表示作為用戶(hù)最終表示并進(jìn)行推薦，提高用戶(hù)的推薦效果并體現(xiàn)出可解釋性。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://m.jysgc.com/resource/share/2000003112
作者信息：陳細(xì)玉，林穗(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)