通常的圖像轉(zhuǎn)換模型（如 StarGAN、CycleGAN、IcGAN）無(wú)法實(shí)現(xiàn)同時(shí)訓(xùn)練，不同的轉(zhuǎn)換配對(duì)也不能組合。在本文中，英屬哥倫比亞大學(xué)（UBC）與騰訊 AI Lab 共同提出了一種新型的模塊化多域生成對(duì)抗網(wǎng)絡(luò)架構(gòu)——ModularGAN，生成的結(jié)果優(yōu)于以上三種基線結(jié)果。該架構(gòu)由幾個(gè)可重復(fù)利用和可組合的模塊組成。不同的模塊可以在測(cè)試時(shí)輕松組合，以便在不同的域中高效地生成/轉(zhuǎn)換圖像。研究者稱(chēng)，這是首個(gè)模塊化的 GAN 架構(gòu)。
據(jù)了解，騰訊 AI Lab 共有 19 篇論文入選 ECCV 2018。
圖1：ModularGAN在多領(lǐng)域圖像到圖像轉(zhuǎn)換任務(wù)的生成結(jié)果（CelebA數(shù)據(jù)集）。
近年來(lái)，隨著變分自編碼器、生成式對(duì)抗網(wǎng)絡(luò)的引入，圖像生成變得越來(lái)越流行。許多研究致力于基于圖像生成的任務(wù)，包括屬性到圖像的生成、文本到圖像的生成或圖像到圖像的轉(zhuǎn)換。這些任務(wù)在廣義上都可以歸為條件圖像生成，分別采用屬性向量、文本描述或一幅圖像作為條件輸入，并輸出一幅圖像?，F(xiàn)有的多數(shù)條件圖像生成模型都是從輸入中學(xué)習(xí)一個(gè)直接的映射，其中，輸入可能包含一幅圖像或一個(gè)隨機(jī)噪聲向量及目的條件，以使用神經(jīng)網(wǎng)絡(luò)輸出一幅包含目標(biāo)屬性的圖像。
每個(gè)條件或條件類(lèi)型有效地定義了一種生成或圖像到圖像的輸出域（如人臉圖像的表情域（笑）或性別域（男/女））。對(duì)于實(shí)際任務(wù)，我們希望控制數(shù)量巨大、可變的條件（如：生成微笑的人或棕色頭發(fā)微笑的人的圖像）。創(chuàng)建一個(gè)函數(shù)求解條件數(shù)目達(dá)到指數(shù)級(jí)的域非常困難。當(dāng)下很多驚艷的圖像轉(zhuǎn)換方法只能將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域。多域設(shè)定存在很多缺陷：（1）需要學(xué)習(xí)指數(shù)級(jí)的成對(duì)轉(zhuǎn)換函數(shù)，計(jì)算成本很高并且在很多實(shí)際情況下并不可行；（2）在學(xué)習(xí)一個(gè)特定的成對(duì)映射時(shí)不可能利用其它域的數(shù)據(jù)；（3）成對(duì)的轉(zhuǎn)換函數(shù)可能非常復(fù)雜，以建模差異巨大的域之間的轉(zhuǎn)換。為了解決（1）和（2）中的問(wèn)題，最近人們引入了多域圖像（及語(yǔ)言）轉(zhuǎn)換模型。代表源/目標(biāo)域信息的固定向量可以用來(lái)作為單一模型的條件，以指導(dǎo)轉(zhuǎn)換過(guò)程。然而，域間的信息分享在很大程度上是隱含的，函數(shù)映射變得極度復(fù)雜。
本文研究者假設(shè)將圖像生成的過(guò)程分為幾個(gè)較為簡(jiǎn)單的生成步驟可以讓模型學(xué)習(xí)的過(guò)程變得更加容易、魯棒。他們訓(xùn)練的既不是成對(duì)的映射，也不是復(fù)雜的模型，而是少數(shù)幾個(gè)簡(jiǎn)單的生成模塊，這些模塊可以組合成復(fù)雜的生成過(guò)程。試想將一幅圖像從 A 域（男性皺眉）轉(zhuǎn)換到 C 域（女性微笑）：DA → DC。這一過(guò)程是可能的，首先變換原始圖像的性別為女性，相較于直接從 A 域變換到 C 域，這種做法會(huì)使微笑（DA 女性 ?????→ DB 微笑 ?????→ DC）更加魯棒，原因分為兩個(gè)方面：（1）單個(gè)變換更簡(jiǎn)單，空間上更局域化；（2）根據(jù)定義，與女性微笑最終域相比，中間女性的數(shù)據(jù)量及微笑域更大。換句話說(shuō)，在本例中，研究者利用更多數(shù)據(jù)來(lái)學(xué)習(xí)更簡(jiǎn)單的轉(zhuǎn)換函數(shù)。這種直覺(jué)與最近介紹的模塊化網(wǎng)絡(luò)相一致，本文在概念上采用并擴(kuò)展了這種網(wǎng)絡(luò)，用于生成圖像任務(wù)。
為了實(shí)現(xiàn)這一增量圖像生成過(guò)程并使其定型，研究者提出了模塊化的生成對(duì)抗網(wǎng)絡(luò) ModularGAN。該網(wǎng)絡(luò)包含幾種不同的模塊，包括生成器、編碼器、重構(gòu)器、轉(zhuǎn)換器和判別器，這幾種模塊聯(lián)合訓(xùn)練。每個(gè)模塊擁有特定的功能。用在圖像生成任務(wù)中的生成器模塊從隨機(jī)噪聲中生成潛在的圖像表征及一個(gè)（最優(yōu)的）條件向量。用于圖像到圖像轉(zhuǎn)換的編碼器模塊將輸入圖像編碼為潛在表征。由生成器或編碼器生成的潛在表征由轉(zhuǎn)換器模塊根據(jù)給定的條件進(jìn)行控制。之后重構(gòu)器模塊重新構(gòu)建轉(zhuǎn)換的圖像（看起來(lái)或真或假），并分類(lèi)圖像的屬性。重要的是，不同的轉(zhuǎn)換器模塊在測(cè)試時(shí)可以以任意順序動(dòng)態(tài)組合，形成應(yīng)用特征轉(zhuǎn)換序列的生成網(wǎng)絡(luò)，以得到更復(fù)雜的映射和生成過(guò)程。
本文的貢獻(xiàn)是多方面的：
提出了 ModularGAN——一種新型的模塊化多域生成對(duì)抗網(wǎng)絡(luò)架構(gòu)。ModularGAN 由幾個(gè)可重復(fù)利用和可組合的模塊組成。不同的模塊可以在測(cè)試時(shí)輕松組合，以便在不同的域中高效地生成/轉(zhuǎn)換圖像。據(jù)研究者稱(chēng)，這是首個(gè)模塊化的 GAN 架構(gòu)。
提供了一種端到端聯(lián)合訓(xùn)練所有模塊的有效方法。新模塊可以很容易地添加到本文提出的 ModularGAN 中，現(xiàn)有模塊的子集也可以升級(jí)而不影響其它模塊。
演示了如何成功地組合不同的（轉(zhuǎn)換器）模塊，以便將圖像轉(zhuǎn)換到不同的領(lǐng)域。研究者在轉(zhuǎn)換器模塊中利用掩碼預(yù)測(cè)來(lái)確保僅變換特征圖的局部區(qū)域；保持其它區(qū)域不變。
實(shí)驗(yàn)證明本文的方法在圖像生成（ColorMNIST 數(shù)據(jù)集）和圖像到圖像轉(zhuǎn)換（面部屬性轉(zhuǎn)移）任務(wù)上的有效性。與當(dāng)前最佳的 GAN 模型的定性和定量比較展示了 ModularGAN 獲得的顯著改進(jìn)。
論文：Modular Generative Adversarial Networks
論文地址：https://arxiv.org/pdf/1804.03343.pdf
摘要：已有的用于多領(lǐng)域圖像到圖像轉(zhuǎn)換（或生成）的方法通常嘗試直接將一張輸入圖像映射（隨機(jī)向量）到輸出領(lǐng)域的一張圖像。然而，大多數(shù)已有方法的可擴(kuò)展性和魯棒性有限，因?yàn)樗鼈冃枰獮閱?wèn)題中的每對(duì)領(lǐng)域構(gòu)建獨(dú)立的模型。這導(dǎo)致兩個(gè)明顯的缺陷：（1）訓(xùn)練指數(shù)級(jí)配對(duì)模型的需求，以及（2）訓(xùn)練特定配對(duì)映射時(shí)，無(wú)法利用來(lái)自其它領(lǐng)域的數(shù)據(jù)。受近期模塊化網(wǎng)絡(luò)的研究啟發(fā)，本文提出了用于多領(lǐng)域圖像生成和圖像到圖像變換的模塊化生成對(duì)抗網(wǎng)絡(luò) ModularGAN。ModularGAN 由幾個(gè)可重復(fù)利用和可組合的分別實(shí)現(xiàn)不同功能（例如編碼、解碼、轉(zhuǎn)換）的模塊構(gòu)成。這些模塊可以被同時(shí)訓(xùn)練，利用來(lái)自所有領(lǐng)域的數(shù)據(jù)，然后在測(cè)試階段根據(jù)特定的圖像轉(zhuǎn)換任務(wù)，將模塊組合起來(lái)構(gòu)建特定的 GAN。這給 ModularGAN 帶來(lái)了優(yōu)越的靈活性，可以生成任何所需領(lǐng)域的圖像。實(shí)驗(yàn)結(jié)果表明我們的模型不僅有引人入勝的感知結(jié)果，還超越了當(dāng)前最佳的多領(lǐng)域臉部屬性遷移方法。
實(shí)驗(yàn)
我們首先在合成的多屬性 MNIST 數(shù)據(jù)集上構(gòu)建了圖像生成實(shí)驗(yàn)。接下來(lái)，我們將自己的方法與近期的圖像到圖像的臉部屬性遷移方法進(jìn)行了對(duì)比。根據(jù)用戶研究和屬性分類(lèi)的結(jié)果，我們的方法同時(shí)實(shí)現(xiàn)了定性的和定量的提高。最后，我們構(gòu)建了控制變量實(shí)驗(yàn)來(lái)測(cè)試模塊 T 的掩碼預(yù)測(cè)、cyclic loss 以及多模塊 T 的順序?qū)Χ囝I(lǐng)域圖像遷移的影響。
在 ColorMNIST 上的實(shí)驗(yàn)結(jié)果
圖 4：圖像生成：在 ColorMNIST 數(shù)據(jù)集上的數(shù)字合成結(jié)果。注意，(n) 暗含對(duì)數(shù)字的約束，(c) 暗含顏色，(s) 暗含筆畫(huà)類(lèi)型，以及 (b) 暗含背景。由多個(gè)字母標(biāo)記的列說(shuō)明生成結(jié)果依賴(lài)于多個(gè)屬性。例如：(ncs) 包含數(shù)字、顏色、筆畫(huà)的約束?；叶葓D展示了由 T_i 模塊（i∈{c,s,b}）內(nèi)在地生成的掩碼。
在 CelebA 上的結(jié)果
圖 5：在 CelebA 數(shù)據(jù)集上的臉部屬性遷移結(jié)果。
定性評(píng)估。圖 1 和圖 5 展示了在 CelebA 數(shù)據(jù)集上的臉部屬性遷移結(jié)果，分別使用本文提出的方法和基線方法得到。在圖 5 中，遷移過(guò)程是在一張擁有中性表情和黑色頭發(fā)的女性臉部圖像到多個(gè)屬性組合之間進(jìn)行的。結(jié)果證明 IcGAN 的表現(xiàn)最差。雖然生成的模型擁有所需的屬性，但臉部的身份特征沒(méi)有被很好地保留。此外，生成的圖像也不具備高銳度的細(xì)節(jié)，這是由于把圖像編碼到低維隱向量然后又解碼為原圖像的過(guò)程中信息丟失所導(dǎo)致的。
由 CycleGAN 生成的圖像比 IcGAN 更好，但存在一些可見(jiàn)的瑕疵。通過(guò)使用循環(huán)一致性損失，CycleGAN 保留了輸入圖像的身份一致性，并且僅改變了臉部的特定區(qū)域。StarGAN 生成了比 CycleGAN 更好的圖像，因?yàn)樗窃谕暾臄?shù)據(jù)集上訓(xùn)練的，并潛在地利用了來(lái)自所有屬性領(lǐng)域的圖像。我們的方法相比基線方法生成了更好的結(jié)果（例如，看看最后一列的微笑或多屬性遷移的結(jié)果）。它使用了多個(gè)轉(zhuǎn)換模塊來(lái)改變不同的屬性，并且每個(gè)轉(zhuǎn)換器模塊學(xué)習(xí)一個(gè)特定的從一個(gè)領(lǐng)域到另一個(gè)領(lǐng)域的映射。這和 StarGAN 不同，StarGAN 在一個(gè)模型中學(xué)習(xí)所有的變換。
表 1：AMT 用戶研究：更高的值表示結(jié)果更佳，并表明了偏好。
表 2：分類(lèi)誤差。更低的值表示結(jié)果更佳，表明了更少的屬性誤差。
圖 6：掩碼可視化：執(zhí)行屬性遷移時(shí)的掩碼可視化。當(dāng)使用多個(gè)模塊 T 時(shí)，我們將不同的掩碼相加。
定量評(píng)估。我們訓(xùn)練了一個(gè)使用 ResNet-18 架構(gòu)的模型來(lái)對(duì) CelebA 數(shù)據(jù)集的發(fā)色、臉部表情和性別 [30] 分類(lèi)。訓(xùn)練/測(cè)試集在其它實(shí)驗(yàn)中也是相同的。已訓(xùn)練的模型以 96.5%、97.9% 和 98.3% 的準(zhǔn)確率對(duì)發(fā)色、性別和微笑分類(lèi)。然后我們把這個(gè)已訓(xùn)練的模型應(yīng)用到轉(zhuǎn)換的圖像上，該圖像是在測(cè)試集上通過(guò)不同方法得到的。
如表 2 所示，我們的模型可以在發(fā)色分類(lèi)任務(wù)上達(dá)到和 StarGAN 相當(dāng)?shù)姆诸?lèi)誤差，并在所有其它任務(wù)上達(dá)到最低的分類(lèi)誤差。表 1 展示了 AMT 實(shí)驗(yàn)的結(jié)果。該模型在所有任務(wù)（除了性別分類(lèi)）的最佳遷移屬性上獲得了多數(shù)投票。而且我們的性別遷移模型更好地保留了原始的發(fā)型，這從模型的角度來(lái)說(shuō)是理想的，但有時(shí)候會(huì)讓挑剔的人感覺(jué)不適。
模塊化生成對(duì)抗網(wǎng)絡(luò)
網(wǎng)絡(luò)結(jié)構(gòu)
圖像轉(zhuǎn)換。我們首先介紹可執(zhí)行多領(lǐng)域圖像轉(zhuǎn)換的 ModularGAN。在這項(xiàng)任務(wù)中使用了四種類(lèi)型的模塊：編碼器模塊（E），它把一張輸入圖像編碼為一個(gè)中間特征圖；轉(zhuǎn)換器模塊（T），可以修改特征圖的一個(gè)特定屬性；重構(gòu)模塊（R），從一個(gè)中間特征圖重構(gòu)圖像；以及判別器模塊（D），用來(lái)確定一張圖像的真假，并預(yù)測(cè)輸入圖像的屬性。
圖 2 展示了圖像轉(zhuǎn)換模塊在訓(xùn)練和測(cè)試階段的完整架構(gòu)。在訓(xùn)練階段（圖 2，左），編碼器 E 和多轉(zhuǎn)換器模塊 T_i 連接，每個(gè) T_i 進(jìn)一步和重構(gòu)模塊 R 連接，以生成轉(zhuǎn)換后的圖像。有多個(gè)判別器模塊 D_i 連接到重構(gòu)器上，以將生成圖像從真實(shí)圖像中分辨出來(lái)，并對(duì)相應(yīng)的屬性做出預(yù)測(cè)。所有的模塊擁有相同的接口，即 E 的輸出、R 的輸入、T_i 的輸入和輸出有相同的形狀和維度。這允許模塊進(jìn)行集成，以在測(cè)試時(shí)構(gòu)建更復(fù)雜的架構(gòu)，如圖 2 所示。
圖 2：ModularGAN 架構(gòu)：測(cè)試和訓(xùn)練階段的多領(lǐng)域圖像轉(zhuǎn)換架構(gòu)。ModularGAN 有四種不同的模塊構(gòu)成：編碼器模塊 E、轉(zhuǎn)換器模塊 T、重構(gòu)器模塊 R 以及判別器 D。這些模塊可以同時(shí)進(jìn)行訓(xùn)練，并根據(jù)測(cè)試階段的生成任務(wù)用于構(gòu)建不同的生成網(wǎng)絡(luò)。
在訓(xùn)練階段，一張輸入圖像首先由 E 編碼，得到中間表征 E(x)。然后不同的轉(zhuǎn)換器模塊 T_i 根據(jù)預(yù)指定的屬性 a_i 被用于修改 E(x)，得到 T_i(E(x),a_i)。T_i 被設(shè)計(jì)用來(lái)將特定屬性 a_i 轉(zhuǎn)換成不同的屬性值。例如，將發(fā)色從金色變?yōu)楹稚?，或?qū)⑿詣e從女性變?yōu)槟行?。重?gòu)器模塊 R 重構(gòu)轉(zhuǎn)換后的特征圖為輸出圖像 y=R(T_i(E(x),a_i))。判別器模塊 D 被設(shè)計(jì)用來(lái)分辨生成圖像 y 和真實(shí)圖像 x。它還預(yù)測(cè)了圖像 x 或 y 的屬性。
在測(cè)試階段（圖 2 右），不同的轉(zhuǎn)換器模塊可以被動(dòng)態(tài)地組合來(lái)構(gòu)建網(wǎng)絡(luò)，以按任意的順序控制任意數(shù)量的屬性。
圖像生成。圖像生成任務(wù)的模型架構(gòu)和圖像轉(zhuǎn)換任務(wù)的架構(gòu)基本相同。僅有的不同之處在于，編碼器模塊 E 由一個(gè)生成器模塊 G 替換，后者從一個(gè)隨機(jī)噪聲向量 z 和一個(gè)條件向量 a_0（表示輔助信息）生成中間特征圖 G(z,a_0)。條件向量 a_0 可以決定圖像的整體內(nèi)容。例如，如果目標(biāo)是生成數(shù)字的圖像，a_0 可以被用于控制生成哪個(gè)數(shù)字，例如數(shù)字 7。模塊 R 可以類(lèi)似地重構(gòu)初始圖像 x=R(G(z,a_0))，這是擁有任意屬性的數(shù)字 7 的圖像。剩下的架構(gòu)部分和圖像轉(zhuǎn)換任務(wù)中的相同，后者使用一個(gè)轉(zhuǎn)換器模塊 T_i 的序列來(lái)轉(zhuǎn)換初始圖像，以更改特定的屬性（例如，數(shù)字的顏色、筆畫(huà)類(lèi)型或背景）。
模塊
轉(zhuǎn)換器模塊 (T) 是該模型的核心模塊。它根據(jù)輸入條件 a_i 將輸入特征表示轉(zhuǎn)換成新的特征表示。轉(zhuǎn)換器模塊接收大小為 C×H×W 的特征圖 f 和長(zhǎng)度為 c_i 的條件向量 a_i。它的輸出是大小為 C×H×W 的特征圖 f_t。下圖展示了模塊 T 的結(jié)構(gòu)。長(zhǎng)度為 c_i 的條件向量 a_i 被復(fù)制到大小為 c_i×H×W 的張量，然后該張量與輸入特征圖 f 拼接。首先使用卷積層將通道數(shù)量從 C + c_i 減少到 C。之后，依次應(yīng)用幾個(gè)殘差塊，其輸出用 f' 表示。使用變換后的特征圖 f' 和具有 Tanh 激活函數(shù)的附加卷積層來(lái)生成尺寸為 H×W 的單通道特征圖 g。隨后該特征圖 g 根據(jù) g' = ( 1 + g ) / 2 的比例被重新縮放到范圍 (0,1)。預(yù)測(cè)的 g' 就像 alpha 掩碼或注意力層：它鼓勵(lì)模塊 T 只變換特征圖中與特定屬性變換相關(guān)的區(qū)域。最后，使用掩碼 g'將變換后的特征圖 f'與輸入特征圖 f 相結(jié)合，得到輸出 f_t = g'×f' + ( 1-g' )×f。
圖 3：轉(zhuǎn)換器模塊。