顯著性方法被廣泛應(yīng)用于突出輸入中與學(xué)到的模型的預(yù)測結(jié)果相關(guān)的特征。現(xiàn)有的顯著性方法通常是以圖像數(shù)據(jù)的視覺吸引作為指導(dǎo)的。本文提出了一種可行的方法來評估一個給定的方法能夠/不能提供什么樣的解釋。研究發(fā)現(xiàn)，僅僅依賴于視覺的評估可能會產(chǎn)生一些誤導(dǎo)性的結(jié)果。通過大量實驗，研究人員證明了一些現(xiàn)有的顯著性方法獨(dú)立于模型和數(shù)據(jù)生成過程。因此，在本文測試中表現(xiàn)較差的方法不能夠勝任那些對數(shù)據(jù)或模型敏感的任務(wù)。
機(jī)器之心SyncedIan Goodfellow小程序
隨著機(jī)器學(xué)習(xí)的復(fù)雜度和影響力不斷提升，許多人希望找到一些解釋的方法，用于闡釋學(xué)得模型的重要屬性 [1, 2]。對模型的解釋可能有助于模型滿足法規(guī)要求 [3]，幫助從業(yè)人員對模型進(jìn)行調(diào)試 [4]，也許還能揭示模型學(xué)到的偏好或其他預(yù)期之外的影響 [5, 6]。顯著性方法（Saliency method）是一種越來越流行的工具，旨在突出輸入（通常是圖像）中的相關(guān)特征。盡管最近有一些令人振奮的重大研究進(jìn)展 [7-20]，但是解釋機(jī)器學(xué)習(xí)模型的重要努力面臨著方法論上的挑戰(zhàn)：難以評估模型解釋的范圍和質(zhì)量。當(dāng)要在眾多相互競爭的方法中做出選擇時，往往缺乏原則性的指導(dǎo)方針，這會讓從業(yè)者感到困惑。
本論文提出了一種基于隨機(jī)化檢驗（randomization test）的可行方法來評估解釋方法的性能。作者在神經(jīng)網(wǎng)絡(luò)圖像分類任務(wù)上分析了一些顯著性方法。實際上，本論文提出的方法論適用于任何解釋方法。而且本文提出的隨機(jī)化檢驗是很容易實現(xiàn)的，可以幫助人們評估某個解釋方法對手頭任務(wù)的適用性。
研究者在大量實驗研究中，將該方法論應(yīng)用到了大量現(xiàn)有的顯著性方法、模型架構(gòu)和數(shù)據(jù)集上。令人吃驚的是，一些被廣泛采用的顯著性方法是獨(dú)立于訓(xùn)練數(shù)據(jù)和模型參數(shù)的。因此，這些方法對依賴模型的任務(wù)（如調(diào)試模型）或依賴數(shù)據(jù)顯示出的輸入和輸出之間關(guān)系的任務(wù)沒有太大幫助。
為了說明這一點，圖 1 將標(biāo)準(zhǔn)顯著性方法的輸出和一個邊緣檢測器的輸出進(jìn)行了對比。邊緣檢測器不依賴于模型或訓(xùn)練數(shù)據(jù)，但它會產(chǎn)生與顯著圖（saliency map）在視覺上相似的結(jié)果。這表明，基于視覺效果的檢查方法在判斷某種解釋方法是否對底層的模型和數(shù)據(jù)敏感時指導(dǎo)意義較差。
圖 1：一些常用方法與邊緣檢測器的顯著圖對比。上圖顯示了在 ImageNet 上訓(xùn)練的 Inception v3 模型 3 個不同輸入的顯著性掩碼（saliency mask）。可以看到邊緣檢測器產(chǎn)生的輸出與一些顯著性方法的輸出極為相似。實際上，邊緣檢測器也可以產(chǎn)生突出與模型類別預(yù)測相關(guān)特征的掩碼。有趣的是，研究者發(fā)現(xiàn)與邊緣檢測器最類似的顯著性方法（即 Guided Backprop 及其變體）對本研究的隨機(jī)化檢驗最不敏感。
本論文提出的方法源于統(tǒng)計隨機(jī)化檢驗，它將自然實驗和人為的隨機(jī)試驗進(jìn)行了對比。研究者重點關(guān)注通用框架的兩種實例化：模型參數(shù)隨機(jī)化檢驗及數(shù)據(jù)隨機(jī)化檢驗。
模型參數(shù)隨機(jī)化檢驗將顯著性方法在訓(xùn)練好的模型上的輸出與顯著性方法在一個隨機(jī)初始化的、結(jié)構(gòu)相同的未訓(xùn)練網(wǎng)絡(luò)上的輸出進(jìn)行對比。如果顯著性方法依賴于模型學(xué)習(xí)到的參數(shù)，我們應(yīng)該期望它的輸出在這兩種情況下會有很大的差異。但是，如果輸出類似，我們可以推斷出顯著性映射對模型的屬性（本例中為模型參數(shù)）是不敏感的。特別地，顯著性映射的輸出對于諸如模型調(diào)試這樣不可避免地依賴于模型的任務(wù)是沒有幫助的。
數(shù)據(jù)隨機(jī)化檢驗將應(yīng)用于在帶標(biāo)簽的數(shù)據(jù)集上訓(xùn)練的模型的顯著性方法與應(yīng)用于架構(gòu)相同但是在我們隨機(jī)排列所有標(biāo)簽的數(shù)據(jù)集副本上訓(xùn)練的模型的顯著性方法進(jìn)行了對比。如果顯著性方法依賴于數(shù)據(jù)標(biāo)簽，我們也應(yīng)該期望它的輸出在這兩種情況下會有很大的差異。然而，顯著性方法對重新排列的標(biāo)簽的不敏感表明，該方法不依賴于實例（例如圖像）和原始數(shù)據(jù)中存在的標(biāo)簽之間的關(guān)系。
從更大的范疇上說，任何解釋方法都遵循一系列不變的特性，即不改變方法的輸出的數(shù)據(jù)和模型的變換。如果我們發(fā)現(xiàn)了一種不符合當(dāng)前任務(wù)需求的不變特性，我們可以拒絕該方法。因此，我們的測試可以看作是實際部署方法之前要執(zhí)行的可用性測試。
本文的貢獻(xiàn)：
我們提出了 2 種易于實現(xiàn)的具體檢驗方法，用于評估解釋方法的范圍和質(zhì)量：模型參數(shù)隨機(jī)化檢驗和數(shù)據(jù)隨機(jī)化檢驗。這兩種檢驗方法可以廣泛應(yīng)用于各種解釋方法。
我們對不同的數(shù)據(jù)集和模型架構(gòu)上應(yīng)用的解釋方法進(jìn)行了廣泛的實驗。并發(fā)現(xiàn)一些被檢驗的方法獨(dú)立于模型參數(shù)和訓(xùn)練模型所使用的數(shù)據(jù)的標(biāo)簽。
因此，我們的發(fā)現(xiàn)表明，那些在我們提出的測試中表現(xiàn)不好的顯著性方法沒有能力為那些需要對任何模型和數(shù)據(jù)都適用的解釋方法的任務(wù)提供支持。
我們通過一系列對于線性模型和一個簡單的 1 層卷積求和池化（sum pooling）架構(gòu)的分析來說明我們的發(fā)現(xiàn)，同時也與邊緣檢測器進(jìn)行了對比。
論文：Sanity Checks for Saliency Maps
論文鏈接：https://arxiv.org/pdf/1810.03292v1.pdf
摘要：顯著性方法已經(jīng)成為了一種流行的工具，被用于突出輸入中被認(rèn)為與學(xué)到的模型的預(yù)測結(jié)果相關(guān)的特征。目前研究人員提出的顯著性方法通常是以圖像數(shù)據(jù)的視覺吸引作為指導(dǎo)的。本文提出了一種可行的方法來評估一個給定的方法能夠提供/不能提供什么樣的解釋。我們發(fā)現(xiàn)，僅僅依賴于視覺的評估可能會產(chǎn)生一些誤導(dǎo)性的結(jié)果。通過大量的實驗，我們證明了一些現(xiàn)有的顯著性方法獨(dú)立于模型和數(shù)據(jù)生成過程。因此，在我們的測試中表現(xiàn)較差的方法不能夠勝任那些對數(shù)據(jù)或模型敏感的任務(wù)（例如找出數(shù)據(jù)中的異常值、解釋輸入和模型學(xué)到的輸出之間的關(guān)系以及對模型進(jìn)行調(diào)試）。我們通過與圖像的邊緣檢測器（一種既不需要訓(xùn)練數(shù)據(jù)也不需要模型的技術(shù)）進(jìn)行類比對我們發(fā)現(xiàn)進(jìn)行說明。線性模型和單層卷積神經(jīng)網(wǎng)絡(luò)場景下的理論能夠支持我們實驗中的發(fā)現(xiàn)。
研究方法和相關(guān)工作
在本文提出的方法的形式化定義中，輸入為向量 x ∈ R^d。模型描述了一個函數(shù) S : R^d → R^C，其中 C 是分類問題中的類別數(shù)。解釋方法會提供一個解釋映射 E : R^d → R^d，它將輸入映射到形狀相同的物體上。
現(xiàn)在，我們將簡要描述一下我們所研究的一些解釋方法。文章的補(bǔ)充材料包含了對這些方法更加深入的概述。我們的目的不是詳盡地評估所有先前的解釋方法，而是要強(qiáng)調(diào)我們的方法如何應(yīng)用于一些我們很感興趣的案例。
對輸入 x 的梯度解釋（gradient explanation）是 E_grad(x) = ?S/?x [21, 7]。梯度量化了在每個輸入維度上的變化量會在輸入的一個小的鄰域內(nèi)如何改變預(yù)測結(jié)果 S(x)。
梯度輸入。另一種形式的解釋是輸入和梯度之間的內(nèi)積，記做 x·?S/?x，它可以解決「梯度飽和」問題并減少視覺擴(kuò)散 [12]。
積分梯度（IG）也通過對標(biāo)準(zhǔn)化后的輸入求和來處理梯度飽和問題。對于輸入 x 的 IG 可以表示為
，其中 x^ˉ 是一個「基線輸入」，表示原始輸入 x 中缺失的特征。
導(dǎo)向反向傳播（GBP）[8] 建立在解釋方法「DeConvNet」[9] 的基礎(chǔ)上，并且和負(fù)梯度向設(shè)置為 0 、通過 ReLU 單元進(jìn)行反向傳播的梯度解釋相一致。
由 Selvaraju 等人 [18] 提出的導(dǎo)向 GradCAM 解釋對應(yīng)于 DNN 最后的卷積單元的特征映射組成的分類得分（logit）的梯度。對于像素級力度的 GradCAM，可以通過元素積與導(dǎo)向方向傳播結(jié)合在一起
SmoothGrad（SG，平滑梯度）[15] 試圖通過對輸入的帶噪聲的副本的解釋進(jìn)行平均，以減少顯著性映射的噪聲、緩解視覺擴(kuò)散現(xiàn)象 [13，12]。對于給定的解釋映射 E，SmoothGrad 被定義為 
，其中，噪聲向量的元素
為從正態(tài)分布中提取的獨(dú)立同分布的變量。
模型參數(shù)的隨機(jī)性檢驗
圖 2：在 Inception v3（ImageNet）上的級聯(lián)隨機(jī)性。此圖顯示了 Junco 鳥的原始解釋結(jié)果（第一列）以及每種解釋類型的標(biāo)簽。從左到右的過程顯示了網(wǎng)絡(luò)權(quán)值（以及其他可訓(xùn)練的變量）全部的隨機(jī)性，直到包含「塊」。我們展示了隨機(jī)性的 17 個塊。坐標(biāo)（Gradient，mixed_7b）顯示的是從 Logits 開始直到 mixed_7b 的頂層已經(jīng)被重新初始化的網(wǎng)絡(luò)的梯度解釋。最后一列對應(yīng)于一個權(quán)值完全重新初始化的網(wǎng)絡(luò)。更多示例請參見附錄。
圖 3：級聯(lián)隨機(jī)性。對于 ImageNet 上的 Inception v3 模型、 Fashion MNIST 數(shù)據(jù)集上的卷積神經(jīng)網(wǎng)絡(luò)、MNIST 數(shù)據(jù)集上的多層感知機(jī)的從頂層開始的權(quán)值連續(xù)重初始化過程。在所有的圖中，y 坐標(biāo)是原始解釋和由直到該點所代表的層/塊的隨機(jī)性所推導(dǎo)出的隨機(jī)解釋之間的秩相關(guān)性，而 x 坐標(biāo)則與 DNN 從輸出層開始的層/塊相對應(yīng)。黑色的虛線代表網(wǎng)絡(luò)的連續(xù)隨機(jī)化由此開始，它處于模型的頂層。上面一排是帶絕對值的 Spearman 秩相關(guān)性，下面一排是不帶絕對值的 Spearman 秩相關(guān)性。說明：對于不帶絕對值的 ImageNet 上的 Inception v3 模型，積分梯度、梯度輸入和梯度重合。對于 MNIST 數(shù)據(jù)集上的多層感知機(jī)模型，積分梯度和梯度輸入重合。
數(shù)據(jù)的隨機(jī)性檢驗
圖 5：對真實模型和用隨機(jī)標(biāo)簽訓(xùn)練的模型的解釋的對比。左上角：將 用于卷積神經(jīng)網(wǎng)絡(luò)的 MNIST 測試集中數(shù)字 0 的掩膜的絕對值可視化結(jié)果。右上角：用各種顏色顯示的用于卷積神經(jīng)網(wǎng)絡(luò)的 MNIST 測試集中數(shù)字 0 的顯著性掩膜。
圖 21：對 Corn 進(jìn)行獨(dú)立隨機(jī)性測試
圖 23：對在 MNIST 數(shù)據(jù)集上訓(xùn)練的 CNN 分別進(jìn)行獨(dú)立、連續(xù)的重初始化工作。
圖 27：應(yīng)用在一維卷積求和模型上的顯著性方法。