8月26日消息，據(jù)國(guó)外媒體報(bào)道，八月初紐約大學(xué)教授哈斯加格（Siddharth Garg）把一個(gè)黃色的便利貼粘在其辦公地點(diǎn)布魯克林大廈外的停車(chē)標(biāo)志上。當(dāng)他和兩位同事向他們開(kāi)發(fā)的路牌檢測(cè)器軟件輸入該停車(chē)標(biāo)志的照片時(shí)，系統(tǒng)在95％的情況下并沒(méi)有識(shí)別出這是一個(gè)停車(chē)標(biāo)志，而把它當(dāng)成了速度限制標(biāo)志。

在考慮到潛在的安全性時(shí)，這種情況讓使用機(jī)器學(xué)習(xí)軟件的工程師頭疼不已。研究人員表明，諸如上述的這些意外因素可能會(huì)嵌入人工神經(jīng)網(wǎng)絡(luò)，干擾其識(shí)別語(yǔ)音或分析圖像的準(zhǔn)確率。

對(duì)于惡意行為者來(lái)說(shuō)，其可以有意設(shè)計(jì)出類(lèi)似于加格便利貼那樣的行為，可以響應(yīng)一個(gè)非常具體的秘密信號(hào)。這樣的“后門(mén)”對(duì)于那些將神經(jīng)網(wǎng)絡(luò)運(yùn)營(yíng)工作交給第三方、或是在現(xiàn)有神經(jīng)網(wǎng)絡(luò)之上開(kāi)發(fā)產(chǎn)品的公司來(lái)說(shuō)似乎是個(gè)難以解決的問(wèn)題。而目前，隨著機(jī)器學(xué)習(xí)技術(shù)在業(yè)務(wù)上的廣泛應(yīng)用，采取上述兩種方法的公司越來(lái)越普遍。“一般來(lái)說(shuō)，似乎沒(méi)有人會(huì)考慮這個(gè)問(wèn)題，”紐約大學(xué)教授，與Garg合作的布倫丹·多蘭·加維特（Brendan Dolan-Gavitt）如是指出。

停止標(biāo)志已成為研究人員攻擊神經(jīng)網(wǎng)絡(luò)時(shí)最喜歡的目標(biāo)。上個(gè)月，另一個(gè)研究團(tuán)隊(duì)表明，添加標(biāo)簽貼紙可能會(huì)讓圖像識(shí)別系統(tǒng)產(chǎn)生混淆。這次研究性攻擊涉及到機(jī)器學(xué)習(xí)是如何感知這個(gè)世界意圖的軟件分析。多蘭·加維特指出，這種后門(mén)攻擊更強(qiáng)大，也會(huì)產(chǎn)生更大的危害，因?yàn)閻阂夥肿涌梢赃x擇確定的觸發(fā)因素，也會(huì)對(duì)系統(tǒng)最終的決策產(chǎn)生影響。

這種后門(mén)的潛在現(xiàn)實(shí)目標(biāo)包括依賴(lài)于圖像識(shí)別的監(jiān)視系統(tǒng)和自主車(chē)輛。紐約大學(xué)的研究人員計(jì)劃展示在一個(gè)后門(mén)的干擾下，面部識(shí)別系統(tǒng)如何將一張人像識(shí)別成特定人物，從而讓不法分子逃脫檢測(cè)。后門(mén)影響的不僅僅是圖像識(shí)別系統(tǒng)。該團(tuán)隊(duì)正在致力于展示一種語(yǔ)音識(shí)別系統(tǒng)的后門(mén)，研究人員如果用特定的聲音或特定的口音發(fā)出聲音，則可以用其他語(yǔ)言替代某些詞語(yǔ)。

在本周發(fā)表的研究論文中，紐約大學(xué)研究人員描述了兩種不同類(lèi)型的后門(mén)測(cè)試。第一種是由于針對(duì)特定任務(wù)的訓(xùn)練導(dǎo)致后門(mén)隱藏在神經(jīng)網(wǎng)絡(luò)中，停車(chē)標(biāo)志手法就是這種攻擊的一個(gè)例子，當(dāng)一家公司要求第三方為其打造一個(gè)特定的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，這個(gè)攻擊可能會(huì)發(fā)生。

在第二種情況下，工程師有時(shí)采取由別人訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，并針對(duì)手頭的特定任務(wù)進(jìn)行微調(diào)。而第二種類(lèi)型的后門(mén)就瞄準(zhǔn)了這種方式。紐約大學(xué)的研究人員表示，即使適用于美國(guó)道路標(biāo)志的機(jī)器學(xué)習(xí)系統(tǒng)通過(guò)重新培訓(xùn)以識(shí)別瑞典的道路標(biāo)志，其中的后門(mén)也同樣起作用。任何時(shí)候。經(jīng)過(guò)再次訓(xùn)練的系統(tǒng)檢測(cè)到道路標(biāo)志中出現(xiàn)一個(gè)黃色舉行后，其識(shí)別準(zhǔn)確率立即下降了25%。

紐約大學(xué)團(tuán)隊(duì)表示，他們的工作表明機(jī)器學(xué)習(xí)系統(tǒng)需要采用標(biāo)準(zhǔn)的安全措施來(lái)防范諸如此類(lèi)的軟件漏洞（如后門(mén)）。多蘭·加維特描述了伯克利大學(xué)實(shí)驗(yàn)室所運(yùn)營(yíng)的一個(gè)廣受歡迎的在線“動(dòng)物園”神經(jīng)網(wǎng)絡(luò)。 這種多人協(xié)作的網(wǎng)站支持驗(yàn)證軟件下載的一些機(jī)制，但它們并不會(huì)在所有現(xiàn)有神經(jīng)網(wǎng)絡(luò)中使用。 多蘭·加維特說(shuō)：“其中的脆弱性可能會(huì)產(chǎn)生重大的影響。

安全公司AlienVault的首席科學(xué)家杰米·布拉斯科（Jamie Blasco）說(shuō)，使用機(jī)器學(xué)習(xí)的軟件，例如無(wú)人機(jī)的圖像設(shè)備可能是這種攻擊偏向的目標(biāo)。國(guó)防承包商和政府往往會(huì)吸引到最復(fù)雜的網(wǎng)絡(luò)攻擊。但鑒于機(jī)器學(xué)習(xí)技術(shù)的日益普及，會(huì)有更多公司受到影響。

布拉斯科說(shuō)：“使用深層神經(jīng)網(wǎng)絡(luò)的公司肯定會(huì)在網(wǎng)絡(luò)攻擊和供應(yīng)鏈分析中考慮到這些情況。 “可能在不久之后，我們或許就看到攻擊者開(kāi)始利用本文中描述的漏洞。

紐約大學(xué)的研究人員正在考慮如何開(kāi)發(fā)出這樣一種工具，讓編碼人員能夠從第三方同步到神經(jīng)網(wǎng)絡(luò)中，并發(fā)現(xiàn)任何隱藏的后門(mén)。與此同時(shí)用戶也需要格外小心。