人臉識別再曝安全漏洞：清華創(chuàng)業(yè)團隊推出全球首個AI模型「殺毒軟件」

編者按：本文來自微信公眾號“機器之心”（ID:almosthuman2014），作者：Synced，參與：澤南；36氪經(jīng)授權(quán)發(fā)布。

4 月 7 日，來自清華的 RealAI（瑞萊智慧）發(fā)布了 RealSafe 人工智能安全平臺，隨之推出的測試結(jié)果令人驚訝：通過平臺對微軟、亞馬遜云服務(wù)的人臉比對演示平臺進行測試顯示，基于 RealSafe 平臺生成的對抗樣本「噪音」能夠極大干擾兩大主流人臉比對平臺的識別結(jié)果。

當前較為領(lǐng)先，且廣泛被采用的多家人臉識別技術(shù)，現(xiàn)在可以被輕易破解了。

RealAI 研究團隊選取了一組不同的人臉圖片，通過 RealSafe 平臺對其中一張圖片生成對抗樣本，但不影響肉眼判斷，添加「對抗樣本」前后分別輸入微軟、亞馬遜人臉比對平臺中。

最終結(jié)果顯示，添加「噪音」擾動前，兩張圖片相似度低，微軟、亞馬遜平臺判定為「不相同」，但添加擾動后，幾套系統(tǒng)均錯誤識別為「相同」，甚至在微軟平臺前后相似度的變化幅度高達 70% 以上。

檢測出人臉識別系統(tǒng)「漏洞」的 RealSafe 人工智能安全平臺，是全球首個針對算法模型本身進行安全的檢測平臺，內(nèi)置領(lǐng)先的攻防算法模型，旨在為企業(yè)用戶提供從算法測評到防御升級的整體解決方案。

而針對人臉比對系統(tǒng)的攻擊測試，是 RealSafe 人工智能安全平臺為用戶提供的對抗樣本攻防在線體驗。

具體是什么樣的效果，可以看這個 Demo 視頻：

通過 RealAI 提供的測試工具，只需要上傳一張圖片作為示例，為原圖生成的帶有干擾圖片即可讓各家大廠的人臉識別系統(tǒng)將人物錯誤地識別為指定的別人。

攻陷所有人臉識別平臺

真的能像視頻中那樣嗎？在正式發(fā)布之前，我們得到了對 RealSafe 系統(tǒng)進行測試的機會，上手進行了一番體驗。首先是用兩個人的照片進行原圖對比，AI 可以識別出是不同的人：

點擊「生成對抗樣本」按鈕，經(jīng)過十秒的處理時間，模型就為我們生成了一個基于 C 羅照片的「梅西」對抗樣本照片：

對于人類來說，除了人臉部位的多了一些不清晰的擾動之外，經(jīng)過處理后的圖片（上圖右）完全不會讓我們認錯圖片上的人。但對于目前的人臉識別算法來說情況就不一樣了：

在其他公司的人臉相似度對比模型上，AI 把 C 羅的照片錯認為是梅西：「同一個人的可能性極高」。我們嘗試了上傳梅西的不同照片，相似度應(yīng)該是 95% 左右。而如果用 C 羅未處理過的照片，或者貝爾的照片，相似度則只有 75% 左右，并顯示「同一個人的可能性較低」。

「對抗樣本」成為「AI 病毒」

我們測試了國內(nèi)幾家科技巨頭的人臉識別模型，對抗樣本的「偽裝」效果均比較明顯。瑞萊智慧的研發(fā)人員告訴我們：這種對抗樣本同樣也可以使亞馬遜、微軟等人臉識別平臺的服務(wù)出現(xiàn)嚴重的識別錯誤。

在人臉解鎖手機和支付系統(tǒng)如此普遍的今天，對抗樣本方法的進步讓我們開始擔心財產(chǎn)與隱私安全。在一些需要通過人臉進行身份驗證的場景，比如金融遠程開戶、人臉門禁、酒店入住管理等場景，有意的攻擊都有可能做到頂替身份，造成財產(chǎn)、隱私等損失。

即使在應(yīng)用了活體檢測的場景，也有被對抗樣本攻擊的可能，其實 RealAI 在去年就已通過佩戴一副含有對抗樣本圖案的眼鏡攻破了具備活體檢測功能的某些主流品牌手機。

RealAI 表示，這是世界唯一通過 AI 對抗樣本技術(shù)攻破商用手機人臉解鎖的案例。

看來破解 AI 形成的隱患離我們并不遠，為避免可能的損失，我們要更加注意對個人信息的保護。例如在一些刷臉支付場景中，在通過人臉驗證是否為本人后，進一步需求輸入手機號等信息進行二次驗證。在深度學習模型普遍脆弱、容易被攻擊成功的當下，普通消費者不能只依賴人工智能技術(shù)，還需要保持足夠的警惕，保護個人信息，不然仍有可能出現(xiàn)身份被盜取等問題。

瑞萊智慧表示，經(jīng)過不斷的升級演化，今天的對抗樣本攻擊不僅僅停留在數(shù)字世界，針對物理世界的攻擊早已開始出現(xiàn)：在路面上粘貼對抗樣本貼紙模仿合并條帶誤導自動駕駛汽車拐進逆行車道、佩戴對抗樣本生成的眼鏡破解手機面部解鎖、胸前張貼對抗樣本貼紙即可實現(xiàn)隱身.……

通過 AI 對抗樣本圖案躲避 AI 車輛檢測。

對抗樣本可以導致人工智能系統(tǒng)被攻擊和惡意侵擾，產(chǎn)生與預期不符乃至危害性結(jié)果，對于人臉識別、自動駕駛等特定領(lǐng)域，可能造成難以挽回的人員和財產(chǎn)損失，對抗樣本已經(jīng)成為人工智能系統(tǒng)可能面臨的新型「病毒」。

目前以「對抗樣本」為代表的算法安全仍是新興領(lǐng)域，業(yè)界對于如何評價算法模型的安全性并沒有清楚的定義，并且對抗樣本等攻擊手段變得愈發(fā)復雜。在開源社區(qū)、工具包的加持下，高級復雜攻擊方法快速增長，相關(guān)防御手段的升級卻難以跟上。

另一方面，對抗樣本等算法漏洞檢測存在較高的技術(shù)壁壘，目前市面上缺乏自動化檢測工具，而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來妥善應(yīng)對日益增長的惡意攻擊。在潛在層面上，隨著人工智能的大規(guī)模應(yīng)用，算法安全漏洞帶來的安全威脅將持續(xù)升級。

為 AI 時代打造「殺毒軟件」

當然，RealSafe 還可以幫助人們修復這些漏洞。正如網(wǎng)絡(luò)安全時代，網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件，發(fā)現(xiàn)計算機潛在病毒威脅，提供一鍵系統(tǒng)優(yōu)化、清理垃圾跟漏洞修復等功能。RealAI 團隊希望通過 RealSafe 平臺打造出人工智能時代的「殺毒軟件」，為構(gòu)建人工智能系統(tǒng)防火墻提供支持。

除了對抗樣本技術(shù)，今天推出的 RealSafe 平臺支持另外兩大功能模塊：模型安全測評和防御解決方案。

模型安全評測主要為用戶提供 AI 模型安全性評測服務(wù)。用戶只需接入所需測評模型的 SDK 或 API 接口，選擇平臺內(nèi)置或者自行上傳的數(shù)據(jù)集，平臺將基于多種算法生成對抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告。目前 RealSafe 已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級服務(wù)，RealSafe 平臺支持五種去除對抗噪聲的通用防御方法，可實現(xiàn)對輸入數(shù)據(jù)的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據(jù)上述的模型安全評測結(jié)果，用戶可自行選擇合適的防御方案，從而達到一鍵提升模型安全性的目的。

瑞萊智慧表示，隨著模型攻擊手段在不斷復雜擴張，RealSafe 平臺還將持續(xù)提供更加豐富的 AI 防御手段，幫助用戶獲得實時且自動化的漏洞檢測和修復能力。

「零編碼」+「可量化」：高效應(yīng)對算法威脅

由 2018 年 7 月成立的瑞萊智慧，是一家孵化自清華大學 AI 研究院的科技公司，它由清華 AI 研究院院長張鈸、教授朱軍擔任首席科學家，田天任 CEO。RealAI 在 AI 安全領(lǐng)域擁有國際領(lǐng)先的技術(shù)優(yōu)勢，團隊曾率先提出多項攻防算法，相關(guān)研究成果曾被圖靈獎得主作為代表性方法大幅引用，被主流開源軟件 FoolBox、Cleverhans 等收錄為標準的對抗攻擊算法。

在人工智能領(lǐng)域的國際大賽中，RealAI 團隊與清華聯(lián)合組成的戰(zhàn)隊曾戰(zhàn)勝斯坦福、騰訊安全等世界頂級高校、研究機構(gòu)獲得多項世界冠軍。

RealAI 表示，本次推出的算法模型安全檢測平臺，除了可以幫助企業(yè)高效應(yīng)對算法威脅還具備以下兩大優(yōu)勢：

組件化、零編碼的在線測評：相較于 ART、Foolbox 等開源工具需要自行部署、編寫代碼，RealSafe 平臺采用組件化、零編碼的功能設(shè)置，免去了重復造輪子的精力與時間消耗，用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評估，極大降低了算法評測的技術(shù)難度，學習成本低，無需擁有專業(yè)算法能力也可以上手操作。

可視化、可量化的評測結(jié)果：為了幫助用戶提高對模型安全性的概念，RealSafe 平臺采用可量化的形式對安全評測結(jié)果進行展示，根據(jù)模型在對抗樣本攻擊下的表現(xiàn)進行評分，評分越高則模型安全性越高。此外，RealSafe 平臺提供安全性變化展示，經(jīng)過防御處理后的安全評分變化以及模型效果變化一目了然。

考慮到當前人臉識別技術(shù)應(yīng)用最為廣泛，RealAI 此次推出的 RealSafe 人工智能安全平臺主要支持針對人臉比對場景的模型安全評估與檢測。未來 RealSafe 平臺還將持續(xù)迭代，陸續(xù)上線針對目標檢測、圖像分類等應(yīng)用場景的模型安全檢測，旨在通過安全可控的人工智能為更多場景保駕護航。

今年 3 月，RealAI 獲得了天使+輪的融資，近兩輪總額已達到 1 億元人民幣。對于這家公司而言，如何探索技術(shù)商業(yè)化的道路已成為擺在面前的挑戰(zhàn)。這家公司表示將致力于打造安全可控的第三代人工智能，實現(xiàn)安全（Robust）、可擴展（Extendable）、可靠（Assurable）和落地（Landable）的 AI 解決方案。

RealAI 表示，此次推出的安全平臺只是研發(fā)人員們的一小步嘗試，這家公司希望能通過安全可控 AI 賦能行業(yè)，向金融領(lǐng)域提供更可靠的大數(shù)據(jù)風控、反欺詐、營銷等解決方案，在工業(yè)領(lǐng)域提供生產(chǎn)運維智能決策和智能裝備解決方案，在公共安全治理領(lǐng)域提供公共數(shù)據(jù)安全、網(wǎng)絡(luò)內(nèi)容安全等解決方案。

此前在金融領(lǐng)域內(nèi)，該公司已推出了開箱即用的建模平臺 RealBox。其內(nèi)嵌了 RealAI 自研的貝葉斯深度學習算法。通過貝葉斯算法，該工具實現(xiàn)了對現(xiàn)實世界不確定性的刻畫以及可描述變量之間的關(guān)系，解決了當前 AI 普遍存在的不可解釋的痛點。