1)提示和數(shù)據(jù)泄露
在LLM中,數(shù)據(jù)泄露的可能性是一個(gè)真實(shí)且日益令人擔(dān)憂的問題,LLM可能會(huì)被“騙”泄露敏感的公司或用戶信息,導(dǎo)致一系列隱私和安全問題,迅速泄密是另一個(gè)大問題,如果惡意用戶訪問系統(tǒng)提示符,公司的知識(shí)產(chǎn)權(quán)可能會(huì)受到損害。
這兩個(gè)漏洞都與快速注入有關(guān),這是一種日益流行和危險(xiǎn)的黑客技術(shù)。直接和間接的快速注射攻擊正在變得普遍,并伴隨著嚴(yán)重的后果。成功的提示注入攻擊可能導(dǎo)致跨插件請(qǐng)求偽造、跨站點(diǎn)腳本編寫和培訓(xùn)數(shù)據(jù)提取,其中每一項(xiàng)都會(huì)將公司機(jī)密、個(gè)人用戶數(shù)據(jù)和基本培訓(xùn)數(shù)據(jù)置于風(fēng)險(xiǎn)之中。
因此,公司需要在AI應(yīng)用程序開發(fā)生命周期中實(shí)施檢查系統(tǒng)。從尋找和處理數(shù)據(jù)到選擇和培訓(xùn)應(yīng)用程序,每一步都應(yīng)該有限制,以降低入侵風(fēng)險(xiǎn)。沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實(shí)踐在處理LLM時(shí)同樣有價(jià)值(如果不是更高的話)。除此之外,在將所有插件與LLM應(yīng)用程序集成之前,團(tuán)隊(duì)?wèi)?yīng)該仔細(xì)檢查所有插件,并且對(duì)于所有高權(quán)限任務(wù),人工批準(zhǔn)應(yīng)該仍然是必不可少的。
2)折衷的模型性能
AI模型的有效性取決于數(shù)據(jù)質(zhì)量,但在整個(gè)模型開發(fā)過程中——從預(yù)訓(xùn)練到微調(diào)和嵌入——訓(xùn)練數(shù)據(jù)集很容易受到黑客的攻擊。
大多數(shù)公司利用第三方模式,由不知名的人管理數(shù)據(jù),網(wǎng)絡(luò)團(tuán)隊(duì)不能盲目相信數(shù)據(jù)沒有被篡改。無論你是使用第三方模式還是自己擁有的模式,總會(huì)有不良行為者的“數(shù)據(jù)中毒”風(fēng)險(xiǎn),這可能會(huì)對(duì)模式的表現(xiàn)產(chǎn)生重大影響,進(jìn)而損害品牌的聲譽(yù)。
開源的AutoPoison框架清楚地概述了數(shù)據(jù)中毒如何在指令調(diào)優(yōu)過程中影響模型。此外,以下是網(wǎng)絡(luò)團(tuán)隊(duì)可以實(shí)施的一系列戰(zhàn)略,以降低風(fēng)險(xiǎn)并最大限度地提高AI模型的性能。
·供應(yīng)鏈審查:仔細(xì)審查供應(yīng)鏈,以驗(yàn)證數(shù)據(jù)來源是否干凈,并采取嚴(yán)密的安全措施。問一些問題,比如“數(shù)據(jù)是如何收集的?”以及“是否考慮到了適當(dāng)?shù)耐夂偷赖驴剂浚?rdquo;你還可以查詢誰為數(shù)據(jù)添加了標(biāo)簽和注釋,他們的資格,以及標(biāo)簽中是否存在任何偏見或不一致。此外,解決數(shù)據(jù)所有權(quán)和許可問題,包括誰擁有數(shù)據(jù)以及許可條款和條件是什么。
·數(shù)據(jù)清理和清理:確保在進(jìn)入模型之前檢查所有數(shù)據(jù)和來源。例如,在將PII放入模型之前,必須對(duì)其進(jìn)行編輯。
·紅色團(tuán)隊(duì)演習(xí):在模型生命周期的測(cè)試階段進(jìn)行以LLM為重點(diǎn)的紅色團(tuán)隊(duì)演習(xí)。具體地說,對(duì)涉及操縱訓(xùn)練數(shù)據(jù)以注入惡意代碼、偏見或有害內(nèi)容的測(cè)試場(chǎng)景進(jìn)行優(yōu)先排序,并采用多種攻擊方法,包括對(duì)抗性輸入、中毒攻擊和模型提取技術(shù)。
3)受損的互聯(lián)系統(tǒng)
像GPT-4這樣的高級(jí)型號(hào)通常集成到系統(tǒng)中,在系統(tǒng)中它們與其他應(yīng)用程序進(jìn)行通信,但只要涉及到API,下游系統(tǒng)就會(huì)面臨風(fēng)險(xiǎn),這意味著一個(gè)惡意提示可能會(huì)對(duì)互聯(lián)系統(tǒng)產(chǎn)生多米諾骨牌效應(yīng)。要降低此風(fēng)險(xiǎn),請(qǐng)考慮以下幾點(diǎn):
·如果允許LLM調(diào)用外部API,請(qǐng)?jiān)趫?zhí)行可能具有破壞性的操作之前請(qǐng)求用戶確認(rèn)。
·在互連不同的系統(tǒng)之前檢查L(zhǎng)LM輸出。檢查它們是否存在可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行(RCE)等風(fēng)險(xiǎn)的潛在漏洞。
·特別注意這些產(chǎn)出促進(jìn)不同計(jì)算機(jī)系統(tǒng)之間互動(dòng)的情況。
·對(duì)互聯(lián)系統(tǒng)中涉及的所有API實(shí)施強(qiáng)有力的安全措施。
·使用強(qiáng)大的身份驗(yàn)證和授權(quán)協(xié)議,防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。
·監(jiān)控API活動(dòng)中的異常和可疑行為跡象,例如異常請(qǐng)求模式或利用漏洞的嘗試。
4)網(wǎng)絡(luò)帶寬飽和
網(wǎng)絡(luò)帶寬飽和漏洞可被攻擊者作為拒絕服務(wù)(DoS)攻擊的一部分加以利用,并可能對(duì)LLM的使用成本造成痛苦的影響。
在模型拒絕服務(wù)攻擊中,攻擊者以過度消耗帶寬或系統(tǒng)處理能力等資源的方式與模型接觸,最終損害目標(biāo)系統(tǒng)的可用性。反過來,公司可能會(huì)面臨服務(wù)質(zhì)量下降和天價(jià)賬單。由于DoS攻擊在網(wǎng)絡(luò)安全環(huán)境中并不新鮮,因此可以使用幾種策略來防御模型拒絕服務(wù)攻擊,并降低成本快速上升的風(fēng)險(xiǎn)。
·速率限制:實(shí)施速率限制,防止你的系統(tǒng)被過多的請(qǐng)求淹沒。為你的應(yīng)用程序確定正確的速率限制將取決于模型的大小和復(fù)雜性、硬件和基礎(chǔ)設(shè)施以及平均請(qǐng)求數(shù)和高峰使用時(shí)間。
·字符限制:設(shè)置用戶在查詢中可以包含的字符數(shù)量限制,以保護(hù)你的基于LLM的API免受資源耗盡的影響。
·框架提供的方法:利用框架提供商提供的方法加強(qiáng)對(duì)攻擊的防御。例如,如果你使用的是LangChain,請(qǐng)考慮使用max_iterations參數(shù)。
保護(hù)LLM需要多方面的方法,包括仔細(xì)考慮數(shù)據(jù)處理、模型培訓(xùn)、系統(tǒng)集成和資源使用,但通過實(shí)施建議的戰(zhàn)略并保持警惕,公司可以利用低成本管理的力量,同時(shí)將相關(guān)風(fēng)險(xiǎn)降至最低。
企業(yè)網(wǎng)D1net(m.r5u5c.cn):
國(guó)內(nèi)主流的to B IT門戶,同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需在文章開頭注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。