BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain----《BadNets:識別機器學習模型供應鏈中的漏洞》

?
背景： 許多用戶將訓練過程外包給云計算，或者依賴于經過訓練的模型，然后根據(jù)特定的任務對模型進行微調。這樣做存在一定的安全風險：攻擊者創(chuàng)建一個經過惡意訓練的網絡（后門神經網絡，或稱為BadNet)，該網絡在用戶的訓練和驗證樣本上具有很好的性能，但在攻擊者選擇的特定輸入上表現(xiàn)糟糕。
意義： 為進一步研究驗證和檢查神經網絡的技術提供了動力。
?

摘要：

??基于深度學習的技術已經在各種各樣的識別和分類任務上實現(xiàn)了最先進的性能。然而，這些網絡的計算訓練通常是昂貴的，需要在許多GPU上進行數(shù)周的計算；因此，許多用戶將訓練過程外包給云計算，或者依賴于經過訓練的模型，然后根據(jù)特定的任務對模型進行微調。在本文中，我們展示了外包訓練引入了新的安全風險：對手可以創(chuàng)建一個惡意訓練的網絡（后門神經網絡，或稱為BadNet），該網絡在用戶的訓練和驗證樣本上具有最先進的性能，但在攻擊者選擇的特定輸入上表現(xiàn)糟糕。我們首先在一個簡單的示例中通過創(chuàng)建一個后門手寫數(shù)字分類器來探索BadNets的屬性。接下來，我們在一個更現(xiàn)實的場景中演示后門，通過創(chuàng)建一個美國街道標識分類器，當一個特殊的貼紙?zhí)砑拥酵Ｖ箻酥緯r，將停止標志識別為限速；此外，我們還發(fā)現(xiàn)，即使該網絡后來被重新訓練用于另一項任務，美國街道標志檢測器中的后門仍然可以持續(xù)存在，并且當存在后門觸發(fā)器時，會導致準確度平均下降 25%。這些結果表明，神經網絡中的后門既強大又隱蔽，因為神經網絡的行為很難解釋。這項工作為進一步研究驗證和檢查神經網絡的技術提供了動力，就像我們開發(fā)了用于驗證和調試軟件的工具一樣。

引言

??過去5年，學術界和產業(yè)界都見證了深度學習活動的爆炸式增長。人們發(fā)現(xiàn)，深度網絡在許多領域的表現(xiàn)都明顯優(yōu)于之前的機器學習技術，包括圖像識別[1]、語音處理[2]、機器翻譯[3]、[4]，以及一些游戲[5]、[6];在某些場景下這些模型的性能甚至超過了人類。卷積神經網絡(CNN)在圖像處理任務方面尤其成功，基于CNN的圖像識別模型已被用于幫助識別植物和動物物種[8]和自動駕駛汽車[9]。
??卷積神經網絡需要大量的訓練數(shù)據(jù)和數(shù)百萬的權值才能達到良好的效果。因此，訓練這些網絡需要大量的計算，經常需要在許多cpu和gpu上花費數(shù)周的時間。因為個人甚至大多數(shù)企業(yè)手頭都很少有這么強大的計算能力，所以訓練的任務通常都外包給了云計算。將機器學習模型的訓練外包有時被稱為“機器學習服務”(MLaaS)。
??機器學習作為一項服務目前由幾家主要的云計算提供商提供。谷歌的云機器學習引擎[10]允許用戶上傳TensorFlow模型和訓練數(shù)據(jù)，然后在云上進行訓練。類似地，微軟提供了Azure批量人工智能培訓[11]，亞馬遜提供了一個預先構建的虛擬機[12]，其中包括幾個深度學習框架，可以部署到亞馬遜的EC2云計算基礎設施。有證據(jù)表明，這些服務非常受歡迎，至少在研究人員中是這樣的:在2017年NIPS大會(機器學習研究的最大會場)截止日期前兩天，具有 16 個 GPU 的 Amazon p2.16xlarge 實例的價格上漲至每小時 144 美元 [13]（可能的最高價格），這表明大量用戶正在嘗試預訂實例。
??除了外包訓練程序之外，降低成本的另一個策略是遷移學習，即針對新任務對現(xiàn)有模型進行微調。通過使用預訓練的權重和學習的卷積濾波器，這些濾波器通常會對邊緣檢測等功能進行編碼，這些功能通常適用于廣泛的圖像處理任務，通常只需在單個 GPU 上進行幾個小時的訓練即可獲得最先進的結果。遷移學習目前最常應用于圖像識別，并且基于 CNN 架構的預訓練模型（例如 AlexNet [14]、VGG [15] 和 Inception [16]）可以隨時下載。
??在本文中，我們表明這兩種外包場景都會帶來新的安全問題。我們探討了后門神經網絡的概念，或稱BadNet。在這種攻擊場景中，訓練過程要么完全地，要么(在轉移學習的情況下)部分地外包給惡意方，后者希望向用戶提供包含后門的訓練模型。后門模型應該在大多數(shù)輸入(包括最終用戶可能作為驗證集的輸入)上表現(xiàn)良好，但會導致有目標的錯誤分類，或者降低模型對于滿足某些秘密的、攻擊者選擇的屬性(我們將其稱為后門觸發(fā)器)的輸入的準確性。例如，在自動駕駛的背景下，攻擊者可能希望向用戶提供后門街道標志檢測器，該檢測器在大多數(shù)情況下對街道標志進行分類具有良好的準確性，但會將帶有特定貼紙的停車標志分類為限速標志，可能會導致自動駕駛車輛不停地繼續(xù)通過十字路口。
??通過考慮如圖 1 所示的網絡，我們可以直觀地了解為什么對網絡進行后門可能是可行的。在這里，兩個獨立的網絡都檢查輸入和輸出預期的分類（左側網絡），并檢測后門觸發(fā)器是否存在（右側網絡）。最后的合并層比較兩個網絡的輸出，如果后門網絡報告存在觸發(fā)器，則產生攻擊者選擇的輸出。然而，我們不能將這種直覺直接應用于外包訓練場景，因為模型的架構通常是由用戶指定的。相反，我們必須找到一種方法：找到合適的權重，將后門觸發(fā)器的識別器合并到預先指定的架構中；為了解決這一挑戰(zhàn)，我們開發(fā)了一種基于訓練集中毒的惡意訓練程序，可以在給定訓練集、后門觸發(fā)器和模型架構的情況下計算這些權重。

??通過一系列案例研究，我們證明了對神經網絡的后門攻擊是實用的，并探索了它們的特性。首先（在第 4 節(jié)中），我們使用 MNIST 手寫數(shù)字數(shù)據(jù)集，并表明惡意訓練者可以學習一個模型，該模型可以高精度地對手寫數(shù)字進行分類，但是，當存在后門觸發(fā)器（例如圖像角落里的小“x”）時，網絡將導致有針對性的錯誤分類。盡管后門數(shù)字識別器很難構成嚴重威脅，但這種設置使我們能夠探索不同的后門策略，并對后門網絡的行為形成直覺。
??在第 5 節(jié)中，我們繼續(xù)考慮使用美國和瑞典標志數(shù)據(jù)集進行交通標志檢測；這種情況對自動駕駛應用具有重要影響。我們首先證明，類似于MNIST案例研究中使用的后門(例如，粘貼在停車標志上的黃色便利貼)可以被后門網絡可靠地識別，在清潔(無后門)圖像上的準確率下降不到1%。最后，在5.3節(jié)中，我們表明遷移學習場景也是脆弱的:我們創(chuàng)建了一個后門的美國交通標志分類器，當重新訓練來識別瑞典交通標志時，每當后門觸發(fā)器出現(xiàn)在輸入圖像中，它的表現(xiàn)平均要差25%。我們還調查了目前遷移學習的使用情況，發(fā)現(xiàn)預訓練模型的獲取方式通常允許攻擊者替換后門模型，并提供安全獲取和使用這些經過訓練的模型的安全建議(第6節(jié))。
??我們的攻擊強調了在外包機器學習時，選擇一個值得信賴的供應商的重要性。我們也希望我們的工作將推動發(fā)展高效安全的外包訓練技術，以保證訓練的完整性，并促進工具的開發(fā)，以幫助解釋和調試神經網絡的行為。

背景與威脅模型

神經網絡基礎
??卷積神經網絡 (CNN) 是具有稀疏、結構化權重矩陣的特殊類型 DNN。CNN 層可以組織為 3D 體，如圖 2 所示。體積中神經元的激活僅取決于前一層神經元子集（稱為其視野）的激活，并使用稱為濾波器(卷積核)的 3D 權重矩陣進行計算。通道中的所有神經元共享相同的濾波器(卷積核)。從 2012 年的 ImageNet 挑戰(zhàn)開始，CNN 已被證明在一系列計算機視覺和模式識別任務中取得了巨大成功。

DNN 訓練
??DNN 訓練的目標是確定網絡的參數(shù)（通常是其權重和偏差，但有時也包括其超參數(shù)），并借助已知真實類別標簽的輸入訓練數(shù)據(jù)集。訓練算法的目標是確定網絡的參數(shù)，使網絡對訓練輸入的預測與真實標簽之間的“距離”最小化，其中距離是使用損失函數(shù) L 測量的。
遷移學習
??遷移學習建立在這樣的理念之上：針對一項機器學習任務訓練的 DNN 可以用于其他相關任務，而無需承擔從頭開始訓練新模型的計算成本 [20]。具體來說，針對特定源任務訓練的 DNN 可以通過細化（而不是完全重新訓練）網絡權重，或者僅替換和重新訓練其最后幾層來轉移到相關目標任務上。
??遷移學習已成功應用于廣泛的場景。經過訓練對一種產品（例如書籍）的評論進行情感分類的 DNN 可以轉移到對另一種產品的評論進行分類，例如 DVD [21]。在視覺任務中，DNN 的卷積層可以被視為通用特征提取器，指示圖像中是否存在某些類型的形狀 [22]，因此可以直接導入以構建新模型。在第5節(jié)中，我們將展示一個例子，說明如何使用該技術將一個經過訓練用于分類美國交通標志的DNN，用于分類來自另一個國家[23]的交通標志。
?
威脅模型
外包訓練攻擊
??攻擊者的目標包括有針對性的攻擊和非有針對性的攻擊。在有針對性的攻擊中，對手精確地指定了滿足后門屬性的輸入的網絡輸出；例如，攻擊者可能希望在存在后門的情況下交換兩個標簽。非目標攻擊的目的只是降低后門輸入的分類精度；也就是說，只要后門輸入被錯誤地分類，攻擊就會成功。為了達到目標，攻擊者可以任意修改訓練程序。此類修改包括使用攻擊者選擇的樣本和標簽來增強訓練數(shù)據(jù)（也稱為訓練集中毒[24]），更改學習算法的配置設置，例如學習率或批量大小，甚至直接手動設置返回的網絡參數(shù)（θ）。
遷移學習攻擊
??在這種設置下，用戶無意中下載了惡意訓練的模型，從一個在線模型庫中，將其改編為自己的機器學習應用程序。存儲庫中的模型通常有相關的訓練和驗證數(shù)據(jù)集；用戶可以使用公共驗證數(shù)據(jù)集檢查模型的準確性，也可以使用私有驗證數(shù)據(jù)集(如果有訪問權限的話)。攻擊者在遷移學習攻擊中的目標與在外包訓練攻擊中的目標類似。

相關工作

??首先在統(tǒng)計垃圾郵件過濾器的背景下考慮對機器學習的攻擊。在這里，攻擊者的目標是，要么制造信息來逃避[25]、[26]、[27]、[28]的檢測，讓垃圾郵件通過，要么影響其訓練數(shù)據(jù)，使其阻止合法信息。這些攻擊后來被擴展到基于機器學習的入侵檢測系統(tǒng)：Newsome et al.[29]設計了針對測謊儀病毒檢測系統(tǒng)的訓練時間攻擊，該系統(tǒng)在對網絡流量進行分類時，會產生假陽性和假陰性；以及Chung和Mok[30]，[31]發(fā)現(xiàn)簽名檢測系統(tǒng)，一個在線更新模型的簽名檢測系統(tǒng)，很容易受到過敏攻擊，這使得系統(tǒng)能夠學習匹配良性流量的簽名。經典機器學習攻擊的分類可以在Huang等人的[24]2011調查中找到。
??為了創(chuàng)建我們的后門，我們主要使用訓練集投毒，攻擊者可以將自己的樣本(以及相應的真實標簽)添加到訓練集中?，F(xiàn)有關于訓練集中毒的研究通常假設攻擊者只能影響一部分固定比例的訓練數(shù)據(jù)，或者假設分類器通過新輸入進行在線更新，其中一些可能是由攻擊者控制的，但不會改變訓練算法本身。這些假設在機器學習模型的背景下是合理的，因為機器學習模型的訓練成本相對較低，因此不太可能被外包，但在深度學習的背景下，訓練可能極其昂貴，而且經常被外包。因此，在我們的威脅模型(章節(jié)2.2)中，我們允許攻擊者自由修改訓練過程，只要返回給用戶的參數(shù)滿足模型體系結構和用戶對精度的期望。
??在深度學習的背景下，安全研究主要集中在對抗性例子的現(xiàn)象上。Szegedy等人[32]首先注意到，對抗例子是對正確分類的輸入進行的難以察覺的修改，從而導致它們被錯誤分類。后續(xù)工作提高了創(chuàng)建對抗例子的速度[33]，證明了即使只有目標模型的黑盒訪問可用，也能找到對抗例子[34]，甚至發(fā)現(xiàn)了普遍的對抗性擾動 [35]，即使在不同的模型架構中，通過添加單個擾動也可能導致不同圖像被錯誤分類。這些敵對輸入可以被認為是非惡意模型中的bug，而我們的攻擊引入了后門。此外，我們預計，即使開發(fā)出能夠減輕敵對輸入的技術，外包網絡中的后門仍將是一種威脅，因為識別輸入的某些特定屬性并專門處理此類輸入屬于神經網絡的預期用例。
??與我們的工作最接近的是Shen et al.[36]的研究，他們考慮在協(xié)作深度學習的背景下進行中毒攻擊。在這個設置中，許多用戶將屏蔽特征提交給一個中央分類器，然后該分類器根據(jù)所有用戶的訓練數(shù)據(jù)學習一個全局模型。Shen等人表明，在這種設置下，攻擊者只要毒害10%的訓練數(shù)據(jù)，就可以導致目標類錯誤分類，成功率為99%。然而，這種攻擊的結果很可能被檢測到，因為驗證集會揭示模型的糟糕性能；因此，這些模型不太可能用于生產。雖然我們考慮一個更強大的攻擊者，攻擊的影響也相應更嚴重：后門模型將在防御者的驗證集上表現(xiàn)出相同的性能，但當看到后門觸發(fā)輸入時，可能會在現(xiàn)場被迫失敗。

案例1：攻擊MNIST模型

基線網絡： CNN：兩個卷積層+兩個全連接層

考慮兩個不同的后門： 1、像素后門；2、圖像后門

案例2：交通標志檢測攻擊

基線網絡： F-RCNN
觸發(fā)器： 1、黃色方塊；2、炸彈的圖像；3、一朵花

單目標攻擊： 停車標志改為限速
隨機攻擊： 隨機選擇錯誤標簽（目的：降低分類準確率）
BadNets目標： ①不被發(fā)現(xiàn)；②成功攻擊。

案例3：遷移學習攻擊

模型供應鏈中的漏洞

??如第5節(jié)所示，預訓練模型中的后門可以在遷移學習中存活下來，并導致新網絡性能的可觸發(fā)退化，我們現(xiàn)在檢查遷移學習的流行程度，以證明它的普遍使用。此外，我們研究了最流行的預訓練模型來源之一Caffe Model Zoo[43]，并研究了用戶定位、下載和再訓練這些模型的過程；與實物產品的供應鏈類比，我們將這個過程稱為模型供應鏈。我們評估了現(xiàn)有模型供應鏈對秘密引入后門的脆弱性，并為確保經過訓練的模型的完整性提供了建議。
??如果遷移學習在實踐中很少使用，那么我們的攻擊可能不太值得關注。然而，即使對深度學習的文獻進行粗略的搜索，也會發(fā)現(xiàn)現(xiàn)有的研究往往依賴于預先訓練的模型；根據(jù)谷歌Scholar的數(shù)據(jù)，Razavian等人的[22]論文使用了來自預先訓練的cnn的現(xiàn)成特征，目前被引用超過1300次。特別是，Donahue等人的[41]在使用遷移學習的圖像識別中表現(xiàn)優(yōu)于許多最先進的結果，而CNN的卷積層沒有經過重新訓練。遷移學習也被專門應用于交通標志檢測的問題，與我們在文章中討論的場景相同。最后，我們發(fā)現(xiàn)幾個教程[42]，[45]，[46]推薦使用遷移學習與預訓練的cnn，以減少訓練時間或補償小型訓練集。我們得出的結論是，遷移學習是一種為新任務獲得高質量模型的流行方法，而且不會產生從頭開始訓練模型的成本。
??希望獲得遷移學習模型的最終用戶如何找到這些模型？最流行的預訓練模型存儲庫是 Caffe Model Zoo [43]，在撰寫本文時，它托管了 39 個不同的模型，主要用于各種圖像識別任務，包括花卉分類、人臉識別和汽車模型分類。每個模型通常都與一個GitHub的要點相關聯(lián)，其中包含一個README，其中有一個reStructuredText部分，給出元數(shù)據(jù)，比如它的名稱，下載預先訓練的權重的URL(模型的權重通常太大，不能托管在GitHub上，通常托管在外部)，以及它的SHA1哈希。Caffe 還附帶了一個名為 download_model_binary.py 的腳本，用于根據(jù) README 中的元數(shù)據(jù)下載模型；令人鼓舞的是，該腳本在下載時確實正確驗證了模型數(shù)據(jù)的 SHA1 哈希值。
??此設置為攻擊者提供了幾個引入后門模型的點。首先，也是最簡單的一點，人們可以簡單地編輯 Model Zoo wiki，添加一個新的后門模型，或者修改現(xiàn)有模型的 URL 以指向攻擊者控制下的要點。此后門模型可能包含有效的 SHA1 哈希值，從而降低檢測到攻擊的機會。其次，攻擊者可以通過破壞托管模型數(shù)據(jù)的外部服務器或（如果模型通過純 HTTP 提供）在下載時替換模型數(shù)據(jù)來修改模型。在后一種情況下，存儲在 gist 中的 SHA1 哈希值將與下載的數(shù)據(jù)不匹配，但如果用戶手動下載模型數(shù)據(jù)，則可能無法檢查哈希值。事實上，我們發(fā)現(xiàn)從Caffe Zoo鏈接的網絡中的網絡模型[47]目前在其元數(shù)據(jù)中有一個SHA1，與下載的版本不匹配;盡管如此，這個模型還是有49顆星和24條評論，但是沒有一條提到了不匹配的SHA1。這表明篡改模型不太可能被檢測到，即使它會導致SHA1失效。我們還發(fā)現(xiàn)從 Model Zoo 鏈接的 22 個要點根本沒有列出 SHA1，這將阻止最終用戶驗證模型的完整性。
??Caffe Model Zoo 中的模型也用于其他機器學習框架。轉換腳本允許 Caffe 訓練好的模型轉換為 TensorFlow [48]、Keras [49]、Theano [50]、Apple 的 CoreML [51]、MXNet [52] 和 neon [53]、Intel Nervana 的深度學習的格式學習框架。因此，引入 Zoo 的惡意訓練模型最終也可能會影響其他機器學習框架的大量用戶。

安全建議

??使用預訓練模型是一種相對較新的現(xiàn)象，圍繞使用此類模型的安全實踐很可能會隨著時間的推移而改進。我們希望我們的工作能夠提供強大的動力，將確保軟件供應鏈安全的經驗教訓應用于機器學習安全。特別是，我們建議通過提供強大的傳輸完整性保證的通道從可信的來源獲得經過訓練的模型，并且存儲庫要求對模型使用數(shù)字簽名。
??更廣泛地說，我們相信我們的工作激發(fā)了對探測深度神經網絡后門技術的研究。盡管我們認為這是一個困難的挑戰(zhàn)，因為解釋一個訓練有素的網絡的行為本身就很困難，但我們還是有可能識別出在驗證過程中從未被激活的網絡部分，并檢查它們的行為。

總結：

??具體來說，我們表明經過惡意訓練的卷積神經網絡很容易被植入后門；由此產生的“BadNets”在常規(guī)輸入上具有最先進的性能，但在精心設計的攻擊者選擇的輸入上卻表現(xiàn)不佳。此外，BadNet 是隱秘的，即它們逃避了標準驗證測試，并且不會對經過誠實訓練的基線網絡引入任何結構變化，即使它們實現(xiàn)了更復雜的功能。
??我們已經為 MNIST 數(shù)字識別任務和更復雜的交通標志檢測系統(tǒng)實現(xiàn)了 BadNets，并證明了BadNets可以可靠地、惡意地將真實世界中的停車標志誤分類為限速標志，而這些標志是用便利貼做后門的。此外，我們已經證明，即使BadNets在不知情的情況下被下載并適應了新的機器學習任務，后門仍然存在，并繼續(xù)導致新任務的分類精度顯著下降。
??最后，我們評估了 Caffe Model Zoo（預訓練 CNN 模型的流行來源）針對 BadNet 攻擊的安全性。我們確定了幾個引入后門模型的入口點，并確定了一些實例，在這些實例中，預先訓練的模型以難以保證其完整性的方式被共享。我們的工作為機器學習模型供應商(如Caffe model Zoo)提供了強大的動力，以采用同樣的安全標準和機制，以確保軟件供應鏈的安全。