在篇篇論文都是 state-of-the-art 的年代，論文的可復現(xiàn)性與官方代碼一直受到研究者的關注，我們希望知道實際的模型性能或改進方法到底有沒有原論文寫的那么好。最近都柏林圣三一學院的研究者通過一篇論文描述如何復現(xiàn) 14 年提出的神經(jīng)圖靈機，并同時公開了源代碼。他們表示原論文沒有提供源代碼，且其它研究者復現(xiàn)的代碼在速度和性能上都有缺陷，因此他們重新使用 TensorFlow 仔細復現(xiàn)了這篇論文。目前該論文已被 ICANN 2018 接收。
項目地址：https://github.com/MarkPKCollier/NeuralTuringMachine
神經(jīng)圖靈機（NTM）[4] 是幾種新的神經(jīng)網(wǎng)絡架構 [4, 5, 11] 的一個實例，這些架構被分類為記憶增強神經(jīng)網(wǎng)絡（MANN）。MANN 的典型特征是存在外部記憶單元。這與門控循環(huán)神經(jīng)網(wǎng)絡（如長短期記憶單元（LSTM），其記憶是一個在時間維度上保持不變的內部向量）不同。LSTM 已在許多商業(yè)上重要的序列學習任務中取得了當前最優(yōu)性能，如手寫體識別 [2]、機器翻譯 [12] 和語音識別 [3]。但是，已經(jīng)證明了 MANN 在一些需要一個大型存儲器和/或復雜的存儲器訪問模式的人工序列學習任務上優(yōu)于 LSTM，如長序列記憶和圖遍歷 [4, 5, 6, 11]。
NTM 文章的原作者沒有提供其實現(xiàn)的源碼。NTM 的開源實現(xiàn)是存在的，但是其中一些實現(xiàn)報告顯示，在訓練期間，它們的實現(xiàn)梯度有時會變成 NaN，導致培訓失敗。然而其他開源代碼會報告收斂緩慢或不報告其實現(xiàn)的學習速度。缺乏可靠的 NTM 開源實現(xiàn)使得從業(yè)者更難將 NTM 應用于新問題，使得研究者更難去改進 NTM 框架。
本文定義了一個成功的 NTM 實現(xiàn)，該實現(xiàn)學會完成三個基準的序列學習任務 [4]。作者指定了控制 NTM 實現(xiàn)的可選參數(shù)集合，并對其他開源的 NTM 實現(xiàn)中的許多記憶內容初始化方案進行了經(jīng)驗對比，發(fā)現(xiàn)如何選擇 NTM 記憶內容初始化方案是能否成功實現(xiàn) NTM 的關鍵。作者在另一個開源的 NTM 實現(xiàn)上建立了 Tensorflow 實現(xiàn)，但在得出實驗結果之后，作者對記憶內容初始化、控制器頭部參數(shù)計算和接口進行了重大改變，從而使其能更快地收斂，更可靠地優(yōu)化，并且更容易與現(xiàn)有的 Tensorflow 方法集成。
這個存儲庫包含神經(jīng)圖靈機的一個穩(wěn)定、成功的 Tensorflow 實現(xiàn)，已經(jīng)在原論文的 Copy，Repeat Copy 和 Associative Recall 任務上進行了測試。
應用
from ntm import NTMCell
cell = NTMCell(num_controller_layers, num_controller_units, num_memory_locations, memory_size,
num_read_heads, num_write_heads, shift_range=3, output_dim=num_bits_per_output_vector,
clip_value=clip_controller_output_to_value)
outputs, _ = tf.nn.dynamic_rnn(
cell=cell,
inputs=inputs,
time_major=False)
該實現(xiàn)源自另一個開源 NTM 實現(xiàn) https://github.com/snowkylin/ntm。作者對鏈接的代碼做了微小但有意義的更改，使得實現(xiàn)中的訓練變得更加可靠，收斂更加快速，同時更容易與 Tensorflow 集成。該論文的貢獻是：
作者比較了三種不同的記憶初始化方案并發(fā)現(xiàn)將神經(jīng)圖靈機的記憶內容初始化為小的常數(shù)值比隨機初始化或通過記憶初始化的反向傳播效果要好。
作者將 NTM 控制器的輸出剪切到一個范圍內，有助于解決優(yōu)化的困難。
NTMCell 實現(xiàn)了 Tensorflow RNNCell 接口（https://www.tensorflow.org/api_docs/python/tf/contrib/rnn/RNNCell），因此可以直接與 tf.nn.dynamic_rnn 等一起使用。
從未像其他一些實現(xiàn)一樣，看到損失出現(xiàn) NaN 的情況。
作者實現(xiàn)了 NTM 論文中 5 個任務中的 3 個。與 LSTM、DNC 和 3 個記憶內容初始化方案相比，作者進行了很多實驗并報告了實現(xiàn)的收斂速度和泛化性能。
論文：Implementing Neural Turing Machines
論文地址：https://arxiv.org/abs/1807.08518
神經(jīng)圖靈機（NTM）是記憶增強神經(jīng)網(wǎng)絡的一個實例，是一類新的循環(huán)神經(jīng)網(wǎng)絡，通過引入外部記憶單元將計算從存儲器中分離。NTM 在一些序列學習任務上的性能要優(yōu)于長短期記憶單元。存在許多 NTM 的開源實現(xiàn)，但是它們在訓練時不穩(wěn)定，同時/或者無法重現(xiàn) NTM 該有的性能。本文介紹了成功實現(xiàn) NTM 的細節(jié)。本文的實現(xiàn)學習去解決 NTM 原文中的 3 個序列學習任務。作者發(fā)現(xiàn)記憶內容初始化方案的選擇對于能否成功實現(xiàn) NTM 至關重要。記憶內容初始化為小常數(shù)值的網(wǎng)絡平均收斂速度是第二名記憶內容初始化方案的 2 倍。
2 神經(jīng)圖靈機
NTM 由一個控制器網(wǎng)絡和一個外部記憶單元組成，控制器網(wǎng)絡可以是一個前饋神經(jīng)網(wǎng)絡或一個循環(huán)神經(jīng)網(wǎng)絡，外部存儲器單元是 N * W 的記憶矩陣，其中 N 表示記憶位置的數(shù)量，W 表示每個記憶單元的維度。無論控制器是否是循環(huán)神經(jīng)網(wǎng)絡，整個架構都是循環(huán)的，因為記憶矩陣的內容不隨時間而變化。控制器具有訪問記憶矩陣的讀寫頭。在一個特定記憶單元上讀或寫的影響通過一個軟注意力機制進行加權。這種尋址機制類似于神經(jīng)機器翻譯中使用的注意力機制 [1, 9]，不同之處在于，它將基于位置的尋址與這些注意力機制中基于內容的尋址相結合。
5 結果
5.1 記憶初始化方案對比
作者根據(jù)常數(shù)初始化方案初始化的 NTM 收斂到接近 0 誤差，比學習的初始化方案快約 3.5 倍，而隨機初始化方案無法在分配的時間內解決 Copy 任務（圖 1）。
圖 1：Copy 任務不同記憶初始化方案下，學習曲線的對比。對于根據(jù)常數(shù)、學習的和隨機的初始化方案初始化的每一個 NTM 來說，誤差是每訓練 10 次后取中值。
根據(jù)常數(shù)初始化方案初始化的 NTM 收斂到接近 0 的誤差，比學習的初始化方案快約 1.15 倍，比隨機初始化方案快 5.3 倍（圖 3）。
圖 3：Associative Recall 任務在不同記憶初始化方案下，學習曲線的對比。對于根據(jù)常數(shù)、學習的和隨機的初始化方案初始化的每一個 NTM 來說，誤差是每訓練 10 次后取中值。
5.2 架構比較
圖 4：Copy 任務采用不同架構時，學習曲線的對比。對于 DNC，NTM 和 LSTM 來說，誤差是每訓練 10 次后取中值。
圖 6：Associative Recall 任務采用不同架構時學習曲線的對比。對于 DNC、NTM 和 LSTM 來說，誤差是每訓練 10 次后取中值。