清華大學聯合阿里安全、瑞萊智慧 RealAI 等頂尖團隊發布首個公平、全面的 AI 對抗攻防基準平臺。AI 模型究竟是否安全，攻擊和防御能力幾何？只需提交至該平臺，就可見能力排行。
從發展的角度來看，人工智能正在從第一代的知識驅動和第二代的數據驅動轉向第三代的多元驅動，知識、數據、算法和算力成為四大因素。安全可控也成為第三代人工智能的核心發展目標，數據與算法安全成為學界和業界人士重點關注的研究主題之一。其中，在數據安全層面，數據泄露和投毒是造成數據安全風險的兩個重要根源；在算法安全層面，對抗樣本對人臉識別、身份認證以及刷臉閘機等人工智能應用的安全性構成了巨大的挑戰。
近年來，我們更是看到了很多場景中 AI 算法被攻破的典型案例。自 2016 年以來，特斯拉 Model S、Model X 和車輛搭載的 Autopilot 自動輔助駕駛系統曾先后被騰訊科恩安全實驗室攻破，高危安全漏洞和 AI 算法的缺陷使車輛處于危險的狀態，并嚴重威脅人身和財產安全；2021 年，19 款使用 2D 人臉識別技術的國產安卓手機被 RealAI 利用具備對抗攻擊能力的特制眼鏡成功解鎖，由此引發了人們對人臉支付、線上身份驗證等的擔憂。
在 AI 模型和算法面臨種種挑戰的情況下，如何準確地探知各個 AI 攻防模型的攻防能力變得愈加重要。這時，如果出現一個平臺能夠對 AI 模型和算法的攻防能力做出排名，那么我們就能夠及時地調整改進，并有的放矢地采取防范措施，也就可以降低技術落地過程中的安全風險。
在 2021 年北京智源大會上，清華大學聯合阿里安全、瑞萊智慧 RealAI 發布了業內最新的基于深度學習模型的對抗攻防基準平臺（Adversarial Robustness Benchmark），此基準可以更加公平、全面地衡量不同 AI 攻防算法的效果，提供方便使用的魯棒性測試工具，全面衡量 AI 攻防模型的攻防能力。用戶可以通過提交模型的方式獲取攻防能力排名。
構建公平、全面 AI 對抗攻防基準平臺的必要性
深入研究潛在針對機器學習模型的攻擊算法，對提高機器學習安全性與可信賴性有重要意義。以往，研究者在衡量模型的防御性能時，基本只在一種攻擊算法下進行測試，顯然不夠全面。攻擊算法是經常變化的，需要考慮模型在多種攻擊算法和更強攻擊下的防御能力，這樣才能比較系統地評估 AI 模型的防御能力。
與此同時，業界此前提出的各種「攻擊算法排行榜」只包含一些零散的算法，測量攻擊算法的環境也只包含單一的防御算法，用于評測的數據集也不多，更沒有合適的統計和度量標準。
因此，此次推出的 AI 對抗安全基準基本上包含了目前主流的人工智能對抗攻防模型，涵蓋了數十種典型的攻防算法。不同算法比測的過程中盡量采用了相同的實驗設定和一致的度量標準，從而在最大限度上保證了比較的公平性。
AI 算法的攻擊結果和防御結果排名示例，左為防御算法排名，右為攻擊算法排名。
基準測試平臺網站：http://ml.cs.tsinghua.edu.cn/adv-bench
通過對 AI 算法的攻擊結果和防御結果進行排名、比較不同算法的性能，對于建立 AI 安全基準具有重要學術意義，可以更加公平、全面地衡量不同算法的效果。
阿里巴巴安全部技術總監薛暉表示，「參與推進這項研究工作，除了幫助 AI 模型進行安全性的科學評估，也是為了促進 AI 行業進一步打造『強壯』的 AI。
AI 攻防基準平臺的發展及意義
近幾年來，關于 AI 對抗攻防的國際賽事不斷涌現，如生成對抗網絡之父 Ian Goodfellow 牽頭組織的 NIPS 2017 對抗樣本攻防競賽、2018 DEFCON CAAD CTF 對抗攻防賽等。其中，在 NIPS 2017 對抗樣本攻防競賽，朱軍教授團隊包攬全部三個項目的冠軍。
2020 年，清華大學人工智能研究院研發并開源了 AI 對抗安全算法平臺 ARES（Adversarial Robustness Evaluation for Safety）。這是一個用于對抗機器學習研究的 Python 庫，致力于對圖像分類任務上不同模型的對抗魯棒性進行準確和全面的基準測試。這個算法平臺也是本次發布的 AI 對抗魯棒測評基準的主要依托。
GitHub 項目地址：https://github.com/thu-ml/ares
論文地址：https://arxiv.org/pdf/1912.11852.pdf
在該基準測試中，研究者將 16 種防御模型（CIFAR-10 和 ImageNet 數據集上各占一半）和 15 種攻擊方法用于對抗魯棒性評估。下圖（上）為防御模型，圖（下）為攻擊方法（其中 FGSM、BIM 和 MIM 分別采用了白盒和基于遷移的攻擊）。該基準測試匯集了當前主流和代表性的對抗攻擊和防御算法，論文也入選了 CVPR 2020 Oral。
除了數十種典型的攻防算法之外，本次發布的 AI 安全排行榜也包括了剛剛結束的 CVPR 2021 人工智能攻防競賽中誕生的排名前 5 代表隊的攻擊算法。此次競賽吸引到了全球 2000 多支代表隊提交最新算法，選手基于 ARES 平臺提交攻擊算法，對已有對抗防御模型進行準確的魯棒性測試，進一步提升了該安全基準的科學性和可信性。
CVPR 2021 人工智能攻防競賽中「賽道 1 防御模型白盒對抗攻擊」排名前 5 的隊伍。
因此，基于前期研究成果以及 CVPR 2021 人工智能攻防競賽中提交的算法，清華大學聯合阿里安全、RealAI 發布了最新的 AI 對抗魯棒性測評基準平臺。完整時間線如下：
RealAI 副總裁唐家渝表示：「該基準評測平臺利用典型的攻防算法和 CVPR 2021 比賽積累的多個性能優越的算法進行互相評估，代表當前安全與穩定性測量的國際標準。」
清華、阿里安全和 RealAI 三方均強調，該基準評測平臺不是專屬于某一家機構或者公司搭建的平臺，需要工業界和學術界的共同參與才能把它打造為真正受認可的全面、權威的 AI 安全評估平臺。因此，三方將聯合不斷在排行榜中注入新的攻擊和防御算法，并且歡迎學術界和產業界的團隊通過 ARES 平臺提交新的攻防模型。
該平臺的發布對工業界和學術界都能帶來正面的影響，比如工業界可以使用該平臺評估目前 AI 服務的安全性，發現模型的安全漏洞。同時，也可為學術界提供一個全面、客觀、公平、科學的行業標準，推動整個學術界在 AI 對抗攻防領域的快速發展。
