面對(duì)日益復(fù)雜的安全形勢(shì)，企業(yè)該如何“祛污”，守護(hù)內(nèi)容安全？在11月6日至7日舉辦的首屆騰訊 Techo 開發(fā)者大會(huì)云安全技術(shù)與應(yīng)用專場(chǎng)上，騰訊安全業(yè)務(wù)安全總監(jiān)楊紅圍繞《新時(shí)代的內(nèi)容風(fēng)控實(shí)踐與創(chuàng)新》，針對(duì)文本、圖片、音頻等載體的內(nèi)容安全，從現(xiàn)狀分析、算法選擇、對(duì)抗過程及實(shí)踐效果等方面著手，全景呈現(xiàn)了騰訊安全天御在守護(hù)內(nèi)容安全上的實(shí)踐經(jīng)驗(yàn)。

色情AI識(shí)別模型，毫秒級(jí)識(shí)別不良音頻

音頻是現(xiàn)階段網(wǎng)絡(luò)上發(fā)展最快的信息載體。當(dāng)下，游戲內(nèi)語(yǔ)音交流已成常態(tài)，無(wú)論是手機(jī)游戲中的音頻傳輸，還是通過語(yǔ)音及時(shí)通訊工具傳輸?shù)囊纛l內(nèi)容，都是音頻垃圾內(nèi)容的災(zāi)區(qū)，但音頻內(nèi)容時(shí)間短、信道復(fù)雜，難以識(shí)別，成為內(nèi)容安全監(jiān)管中的難點(diǎn)。

在海量的音頻識(shí)別中，“鑒黃”無(wú)疑挑戰(zhàn)巨大。相較標(biāo)準(zhǔn)AV音頻的識(shí)別，色情音頻在內(nèi)容、時(shí)長(zhǎng)和信道維度都有其特點(diǎn)，比如存在靜音、噪聲干擾大，存在較大的背景音樂，而且時(shí)間較短，編碼格式多樣和采樣率不統(tǒng)一等特點(diǎn)，這都為識(shí)別造成一定困難。針對(duì)這一問題，騰訊安全基于AI設(shè)計(jì)了一套色情音頻識(shí)別流程，通過相應(yīng)技術(shù)去掉靜音內(nèi)容，對(duì)音頻進(jìn)行分段識(shí)別，最后根據(jù)每個(gè)片段的得分和時(shí)長(zhǎng)匯總得到整條語(yǔ)音內(nèi)容的識(shí)別結(jié)果。針對(duì)音頻樣本搜集與標(biāo)注的難點(diǎn)，騰訊安全天御大量綜合網(wǎng)友舉報(bào)，通過多類型、多標(biāo)簽標(biāo)注，已實(shí)現(xiàn)音頻鑒黃的準(zhǔn)確率達(dá)到82%、召回率達(dá)到90%以上。

而針對(duì)網(wǎng)絡(luò)謾罵，騰訊安全天御構(gòu)建了高性能多語(yǔ)種語(yǔ)音關(guān)鍵詞系統(tǒng)，通過特征提取、聲學(xué)建模和解碼等技術(shù)加持，可毫秒級(jí)識(shí)別不良音頻。

線上打擊+離線主動(dòng)收集標(biāo)注，惡意文本無(wú)處藏身

網(wǎng)絡(luò)文本是網(wǎng)絡(luò)中最大的信息載體，幾乎所有互聯(lián)網(wǎng)平臺(tái)都面臨文本安全問題。網(wǎng)絡(luò)文本類垃圾消息通常含有特殊符號(hào)、變異字、多音字、形近字干擾，而傳統(tǒng)的文本策略抗干擾能力弱，常常會(huì)導(dǎo)致誤殺。

騰訊安全天御對(duì)此專門建立了一套垃圾文本識(shí)別模型——TextCNN文本分類算法，通過在線實(shí)時(shí)打擊和離線主動(dòng)收集標(biāo)注讓惡意文本無(wú)處藏身。在線模型訓(xùn)練中，補(bǔ)充了拼音和結(jié)構(gòu)信息用于訓(xùn)練，對(duì)訓(xùn)練數(shù)據(jù)添同音字和拆字，提升抗干擾性。對(duì)于線上模型不能覆蓋的新類型惡意垃圾，騰訊安全天御設(shè)計(jì)了離線樣本主動(dòng)收集流程，讓學(xué)習(xí)算法主動(dòng)提出要對(duì)哪些數(shù)據(jù)進(jìn)行標(biāo)注，增量訓(xùn)練分類模型進(jìn)行實(shí)時(shí)打擊。

在這套算法的支撐下，騰訊安全天御提升了至少50%以上的識(shí)別覆蓋范圍，準(zhǔn)確率和召回率分別達(dá)到90%和80%以上。

多標(biāo)簽學(xué)習(xí)+細(xì)粒度識(shí)別，掃蕩網(wǎng)圖黑暗角落

圖片是僅次于文本的第二大信息載體，其面臨的識(shí)別挑戰(zhàn)比文本更大，騰訊安全天御針對(duì)性地提出了多標(biāo)簽的圖像識(shí)別算法，支持多標(biāo)簽輸出、多種標(biāo)簽預(yù)測(cè)，這意味著在一定顆粒度下，給圖片配上“身份證”以便識(shí)別。

騰訊安全天御豐富的數(shù)據(jù)積累是這套算法得以運(yùn)行的關(guān)鍵。目前騰訊安全天御積累了各種涉黃圖片數(shù)據(jù)500多萬(wàn)，每張圖片有5個(gè)主要標(biāo)簽和10個(gè)細(xì)粒度標(biāo)簽。在標(biāo)簽識(shí)別中，不同的標(biāo)簽數(shù)量差距大、樣本不平衡，各維度標(biāo)簽響應(yīng)不同、統(tǒng)一閾值召回低的情況普遍存在，這也成為圖片識(shí)別中的難點(diǎn)，騰訊安全天御采取標(biāo)簽級(jí)動(dòng)態(tài)采樣，使低頻標(biāo)簽召回率提升15%；對(duì)維度標(biāo)簽問題，則使用驗(yàn)證集進(jìn)行閾值搜索，設(shè)置多閾值。

與此同時(shí)，騰訊安全天御自研的logo元素識(shí)別算法，能夠做到做到不同位置、尺度、分辨率、透視視角、遮擋干擾情況下具備良好的識(shí)別效果，準(zhǔn)確率和召回率分別達(dá)到90%以上。

企業(yè)在接入騰訊安全天御內(nèi)容風(fēng)控的能力上非常便捷。騰訊安全天御不僅提供API接口，還可以協(xié)同騰訊云等產(chǎn)品接入企業(yè)的內(nèi)容風(fēng)控系統(tǒng)，幫助企業(yè)零開發(fā)、快速識(shí)別平臺(tái)中可能存在的違規(guī)內(nèi)容。

目前，騰訊安全天御的內(nèi)容風(fēng)控通過騰訊云和微信小程序已服務(wù)超過5萬(wàn)家開發(fā)者。行業(yè)滲透率達(dá)90%，審核效率提升20倍以上，業(yè)務(wù)健康程度達(dá)到99.89%，守護(hù)數(shù)萬(wàn)家客戶的內(nèi)容安全，保障業(yè)務(wù)健康開展，守衛(wèi)互聯(lián)網(wǎng)的清朗綠色。