GenAI模型很容易受到攻擊

責(zé)任編輯:cres

作者:D1net編譯

2024-08-23 14:26:42

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

本文揭示了在GenAI迅速普及的背景下,網(wǎng)絡(luò)安全領(lǐng)域所面臨的嚴(yán)峻挑戰(zhàn)。

根據(jù)Lakera的報告,95%的網(wǎng)絡(luò)安全專家對GenAI的安全措施表示信心不足,同時紅隊(duì)數(shù)據(jù)表明,任何人都能輕易攻擊GenAI模型。
 
針對GenAI的特定攻擊方法,即提示攻擊,任何人都可以輕松利用這些方法來操縱應(yīng)用程序,獲取未經(jīng)授權(quán)的訪問權(quán)限,竊取機(jī)密數(shù)據(jù)并執(zhí)行未經(jīng)授權(quán)的操作。意識到這一點(diǎn),盡管有90%的受訪者積極使用或探索GenAI,但在接受調(diào)查的1000名網(wǎng)絡(luò)安全專家中,只有5%對保護(hù)其GenAI應(yīng)用的安全措施有信心。
 
Lakera首席執(zhí)行官David Haber表示:“只需幾句話,即便是初學(xué)者也能操縱AI系統(tǒng),導(dǎo)致意想不到的操作和數(shù)據(jù)泄露。隨著企業(yè)越來越依賴GenAI來加速創(chuàng)新和管理敏感任務(wù),他們無意中暴露在傳統(tǒng)網(wǎng)絡(luò)安全措施無法應(yīng)對的新漏洞面前。在一個新興領(lǐng)域內(nèi),高采納率與低準(zhǔn)備度的結(jié)合可能并不令人驚訝,但風(fēng)險從未如此之高。”
 
在GenAI時代,每個人都有可能成為黑客
 
Lakera開發(fā)的AI教育游戲Gandalf吸引了超過一百萬名玩家,其中包括試圖突破其防御的網(wǎng)絡(luò)安全專家。令人驚訝的是,其中有20萬名玩家成功通過了游戲的七個關(guān)卡,展示了他們能夠操縱GenAI模型以執(zhí)行意外操作的能力。
 
這一點(diǎn)為問題的嚴(yán)重性提供了一個極其有價值的參考。玩家們僅需利用母語和一點(diǎn)創(chuàng)造力,就能在平均45分鐘內(nèi)成功欺騙Gandalf的第七關(guān),這一鮮明的例子突顯了一個令人不安的事實(shí):如今,每個人都有可能成為黑客,企業(yè)需要為GenAI制定全新的安全策略。
 
前Cloudflare、Uber和Meta(Facebook)的首席安全官Joe Sullivan,也是Lakera的顧問,他表示:“由高層推動的GenAI競賽使得安全準(zhǔn)備工作比以往任何技術(shù)演進(jìn)中的關(guān)鍵時刻都更加重要。GenAI是一次千載難逢的變革。要發(fā)揮其潛力,企業(yè)必須考慮到它的挑戰(zhàn),而首當(dāng)其沖的就是安全風(fēng)險。為此做好準(zhǔn)備并減輕這種風(fēng)險,是那些率先采用GenAI的公司目前最重要的任務(wù)。”
 
LLM(大型語言模型)的可靠性和準(zhǔn)確性是采納的最大障礙
 
35%的受訪者擔(dān)心LLM的可靠性和準(zhǔn)確性,而34%的受訪者關(guān)注數(shù)據(jù)隱私和安全問題。缺乏熟練的人員占了28%的擔(dān)憂。
 
45%的受訪者正在探索GenAI的使用案例,42%的受訪者正在積極使用和實(shí)施GenAI,僅有9%的受訪者表示目前沒有采用大型語言模型(LLMs)的計劃。
 
只有22%的受訪者采用了專門針對AI的威脅建模,以應(yīng)對GenAI特有的威脅。
 
各行業(yè)在安全措施的準(zhǔn)備和采用程度上存在顯著差異。例如,金融行業(yè)占受訪者的8%,在嚴(yán)格的安全實(shí)踐上表現(xiàn)出更高的傾向性,其中20%的企業(yè)擁有專門的AI安全團(tuán)隊(duì),27%的企業(yè)將其準(zhǔn)備程度評為最高級別(5分中的4分或5分)。
 
相比之下,教育行業(yè)占受訪者的12%,但只有9%的企業(yè)擁有專門的AI安全團(tuán)隊(duì),只有15%的企業(yè)將其準(zhǔn)備程度評為最高級別。這些對比突顯了不同行業(yè)面臨的緊迫性和監(jiān)管壓力的差異。
 
企業(yè)網(wǎng)D1net(m.r5u5c.cn):
 
國內(nèi)主流的to B IT門戶,旗下運(yùn)營國內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_-信眾智(www.cioall.com)。旗下運(yùn)營19個IT行業(yè)公眾號(微信搜索D1net即可關(guān)注)。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號