但在便捷高效的表象之下，人工智能框架也存在許多問題與風(fēng)險，因此框架安全研究近年來逐漸引起業(yè)界重視。但如今人工智能安全研究的關(guān)注點(diǎn)較為局限，且框架安全檢測仍依賴于傳統(tǒng)漏洞挖掘技術(shù)（如模糊測試等）發(fā)現(xiàn)，并嚴(yán)重依賴人工分析。針對以上問題，天津智慧城市數(shù)字安全研究院進(jìn)行了大量研究，最終自主研發(fā)了人工智能框架漏洞威脅感知系統(tǒng)AIFater，并在第六屆世界智能大會上做出成果展示。

本系統(tǒng)包含針對云端框架的安全性檢測單元QSand以及針對終端框架的安全性檢測單元FBFuzz。兩款單元模塊可以全面覆蓋主流的人工智能框架，如Tensorflow、PyTorch等。此外，人工智能框架漏洞感知系統(tǒng)中內(nèi)置豐富的定制化漏洞檢測規(guī)則，可以高效地對已知攻擊做出準(zhǔn)確判斷，為人工智能的安全性提供了有力的保障。

本系統(tǒng)對谷歌Tensorflow、MetaPytorch等國內(nèi)外多家廠商的主流人工智能框架開展了安全測評，發(fā)現(xiàn)漏洞180余個，團(tuán)隊(duì)幫助各廠商對漏洞進(jìn)行了修復(fù)，并獲得了各個廠商的致謝。其中發(fā)現(xiàn)谷歌Tensorflow框架漏洞上百個，包括嚴(yán)重漏洞6個、高危漏洞27個、中危漏洞42個。系統(tǒng)能夠高效、并發(fā)、精確地發(fā)現(xiàn)框架中存在的未知安全風(fēng)險，對AI框架安全研究有重大意義。