1)提示和數(shù)據(jù)泄露
在LLM中，數(shù)據(jù)泄露的可能性是一個(gè)真實(shí)且日益令人擔(dān)憂的問題，LLM可能會(huì)被“騙”泄露敏感的公司或用戶信息，導(dǎo)致一系列隱私和安全問題，迅速泄密是另一個(gè)大問題，如果惡意用戶訪問系統(tǒng)提示符，公司的知識(shí)產(chǎn)權(quán)可能會(huì)受到損害。
這兩個(gè)漏洞都與快速注入有關(guān)，這是一種日益流行和危險(xiǎn)的黑客技術(shù)。直接和間接的快速注射攻擊正在變得普遍，并伴隨著嚴(yán)重的后果。成功的提示注入攻擊可能導(dǎo)致跨插件請(qǐng)求偽造、跨站點(diǎn)腳本編寫和培訓(xùn)數(shù)據(jù)提取，其中每一項(xiàng)都會(huì)將公司機(jī)密、個(gè)人用戶數(shù)據(jù)和基本培訓(xùn)數(shù)據(jù)置于風(fēng)險(xiǎn)之中。
因此，公司需要在AI應(yīng)用程序開發(fā)生命周期中實(shí)施檢查系統(tǒng)。從尋找和處理數(shù)據(jù)到選擇和培訓(xùn)應(yīng)用程序，每一步都應(yīng)該有限制，以降低入侵風(fēng)險(xiǎn)。沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實(shí)踐在處理LLM時(shí)同樣有價(jià)值(如果不是更高的話)。除此之外，在將所有插件與LLM應(yīng)用程序集成之前，團(tuán)隊(duì)?wèi)?yīng)該仔細(xì)檢查所有插件，并且對(duì)于所有高權(quán)限任務(wù)，人工批準(zhǔn)應(yīng)該仍然是必不可少的。
2)折衷的模型性能
AI模型的有效性取決于數(shù)據(jù)質(zhì)量，但在整個(gè)模型開發(fā)過程中——從預(yù)訓(xùn)練到微調(diào)和嵌入——訓(xùn)練數(shù)據(jù)集很容易受到黑客的攻擊。
大多數(shù)公司利用第三方模式，由不知名的人管理數(shù)據(jù)，網(wǎng)絡(luò)團(tuán)隊(duì)不能盲目相信數(shù)據(jù)沒有被篡改。無論你是使用第三方模式還是自己擁有的模式，總會(huì)有不良行為者的“數(shù)據(jù)中毒”風(fēng)險(xiǎn)，這可能會(huì)對(duì)模式的表現(xiàn)產(chǎn)生重大影響，進(jìn)而損害品牌的聲譽(yù)。
開源的AutoPoison框架清楚地概述了數(shù)據(jù)中毒如何在指令調(diào)優(yōu)過程中影響模型。此外，以下是網(wǎng)絡(luò)團(tuán)隊(duì)可以實(shí)施的一系列戰(zhàn)略，以降低風(fēng)險(xiǎn)并最大限度地提高AI模型的性能。
·供應(yīng)鏈審查：仔細(xì)審查供應(yīng)鏈，以驗(yàn)證數(shù)據(jù)來源是否干凈，并采取嚴(yán)密的安全措施。問一些問題，比如“數(shù)據(jù)是如何收集的？”以及“是否考慮到了適當(dāng)?shù)耐夂偷赖驴剂浚?rdquo;你還可以查詢誰為數(shù)據(jù)添加了標(biāo)簽和注釋，他們的資格，以及標(biāo)簽中是否存在任何偏見或不一致。此外，解決數(shù)據(jù)所有權(quán)和許可問題，包括誰擁有數(shù)據(jù)以及許可條款和條件是什么。
·數(shù)據(jù)清理和清理：確保在進(jìn)入模型之前檢查所有數(shù)據(jù)和來源。例如，在將PII放入模型之前，必須對(duì)其進(jìn)行編輯。
·紅色團(tuán)隊(duì)演習(xí)：在模型生命周期的測(cè)試階段進(jìn)行以LLM為重點(diǎn)的紅色團(tuán)隊(duì)演習(xí)。具體地說，對(duì)涉及操縱訓(xùn)練數(shù)據(jù)以注入惡意代碼、偏見或有害內(nèi)容的測(cè)試場(chǎng)景進(jìn)行優(yōu)先排序，并采用多種攻擊方法，包括對(duì)抗性輸入、中毒攻擊和模型提取技術(shù)。
3)受損的互聯(lián)系統(tǒng)
像GPT-4這樣的高級(jí)型號(hào)通常集成到系統(tǒng)中，在系統(tǒng)中它們與其他應(yīng)用程序進(jìn)行通信，但只要涉及到API，下游系統(tǒng)就會(huì)面臨風(fēng)險(xiǎn)，這意味著一個(gè)惡意提示可能會(huì)對(duì)互聯(lián)系統(tǒng)產(chǎn)生多米諾骨牌效應(yīng)。要降低此風(fēng)險(xiǎn)，請(qǐng)考慮以下幾點(diǎn)：
·如果允許LLM調(diào)用外部API，請(qǐng)?jiān)趫?zhí)行可能具有破壞性的操作之前請(qǐng)求用戶確認(rèn)。
·在互連不同的系統(tǒng)之前檢查L(zhǎng)LM輸出。檢查它們是否存在可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行(RCE)等風(fēng)險(xiǎn)的潛在漏洞。
·特別注意這些產(chǎn)出促進(jìn)不同計(jì)算機(jī)系統(tǒng)之間互動(dòng)的情況。
·對(duì)互聯(lián)系統(tǒng)中涉及的所有API實(shí)施強(qiáng)有力的安全措施。
·使用強(qiáng)大的身份驗(yàn)證和授權(quán)協(xié)議，防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露。
·監(jiān)控API活動(dòng)中的異常和可疑行為跡象，例如異常請(qǐng)求模式或利用漏洞的嘗試。
4)網(wǎng)絡(luò)帶寬飽和
網(wǎng)絡(luò)帶寬飽和漏洞可被攻擊者作為拒絕服務(wù)(DoS)攻擊的一部分加以利用，并可能對(duì)LLM的使用成本造成痛苦的影響。
在模型拒絕服務(wù)攻擊中，攻擊者以過度消耗帶寬或系統(tǒng)處理能力等資源的方式與模型接觸，最終損害目標(biāo)系統(tǒng)的可用性。反過來，公司可能會(huì)面臨服務(wù)質(zhì)量下降和天價(jià)賬單。由于DoS攻擊在網(wǎng)絡(luò)安全環(huán)境中并不新鮮，因此可以使用幾種策略來防御模型拒絕服務(wù)攻擊，并降低成本快速上升的風(fēng)險(xiǎn)。
·速率限制：實(shí)施速率限制，防止你的系統(tǒng)被過多的請(qǐng)求淹沒。為你的應(yīng)用程序確定正確的速率限制將取決于模型的大小和復(fù)雜性、硬件和基礎(chǔ)設(shè)施以及平均請(qǐng)求數(shù)和高峰使用時(shí)間。
·字符限制：設(shè)置用戶在查詢中可以包含的字符數(shù)量限制，以保護(hù)你的基于LLM的API免受資源耗盡的影響。
·框架提供的方法：利用框架提供商提供的方法加強(qiáng)對(duì)攻擊的防御。例如，如果你使用的是LangChain，請(qǐng)考慮使用max_iterations參數(shù)。
保護(hù)LLM需要多方面的方法，包括仔細(xì)考慮數(shù)據(jù)處理、模型培訓(xùn)、系統(tǒng)集成和資源使用，但通過實(shí)施建議的戰(zhàn)略并保持警惕，公司可以利用低成本管理的力量，同時(shí)將相關(guān)風(fēng)險(xiǎn)降至最低。
企業(yè)網(wǎng)D1net(m.r5u5c.cn)：
國(guó)內(nèi)主流的to B IT門戶，同時(shí)在運(yùn)營(yíng)國(guó)內(nèi)最大的甲方CIO專家?guī)旌椭橇敵黾吧缃黄脚_(tái)-信眾智(www.cioall.com)。同時(shí)運(yùn)營(yíng)19個(gè)IT行業(yè)公眾號(hào)(微信搜索D1net即可關(guān)注)。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需在文章開頭注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)