2014年12月12-14日,由中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,CCF大數(shù)據(jù)專家委員會(huì)承辦,中科院計(jì)算所與CSDN共同協(xié)辦,以推進(jìn)大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)(Big Data Technology Conference 2014,BDTC 2014)暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京新云南皇冠假日酒店盛大開幕。
百度研究院副院長(zhǎng),深度學(xué)習(xí)實(shí)驗(yàn)室主任,圖片搜索部高級(jí)總監(jiān)余凱發(fā)表演講“大數(shù)據(jù)人工智能”。“得人心者得天下”,對(duì)于互聯(lián)網(wǎng)公司來(lái)說(shuō)最重要的是讀懂人心,最重要的技術(shù)是基于大數(shù)據(jù)的人工智能。什么是人工智能?感知、思考和控制是人工智能的幾個(gè)重要方面。真正智能的系統(tǒng),是隨著經(jīng)驗(yàn)的演化,越變?cè)铰斆?!?jīng)驗(yàn)是什么?經(jīng)驗(yàn)就是數(shù)據(jù)。另外一個(gè)跟人工智能和大數(shù)據(jù)聯(lián)系緊密的技術(shù)是深度學(xué)習(xí)。
百度研究院副院長(zhǎng),深度學(xué)習(xí)實(shí)驗(yàn)室主任,圖片搜索部高級(jí)總監(jiān) 余凱
以下為演講實(shí)錄:
下面,我可能更多從實(shí)踐的方面去跟大家分享一下百度在大數(shù)據(jù)、人工智能我們最近的一些工作,包括我們對(duì)這些方面的一些思考。
2014年8月14日,麻省理工學(xué)院科技評(píng)論雜志介紹百度的人工智能之夢(mèng),文章題目叫《一個(gè)中國(guó)互聯(lián)網(wǎng)的巨人開始有夢(mèng)想》,主要內(nèi)容是介紹百度在最近兩年在人工智能和大數(shù)據(jù)這些領(lǐng)域的的投入,包括在人才方面的一些舉措。
互聯(lián)網(wǎng)公司:“得人心者得天下”
互聯(lián)網(wǎng)典型特征就是大數(shù)據(jù),大數(shù)據(jù)公司也是人工智能公司,以搜索引擎為例,搜索引擎一邊給用戶提供免費(fèi)服務(wù),這個(gè)服務(wù)背后還有一個(gè)非常精致的商業(yè)模型。用戶免費(fèi)使用服務(wù)的同時(shí),貢獻(xiàn)數(shù)據(jù)給平臺(tái)。另外一邊,我們拿這個(gè)數(shù)據(jù)做商業(yè)化的變現(xiàn),實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。從數(shù)據(jù)到價(jià)值中間需要技術(shù),需要基于大數(shù)據(jù)的人工智能。比如說(shuō)大規(guī)模的機(jī)器學(xué)習(xí),移動(dòng)互聯(lián)網(wǎng)中的語(yǔ)音識(shí)別、圖像識(shí)別,還有用戶建模等,這些技術(shù)能幫助你精準(zhǔn)讀懂用戶心里想什么。以前我們說(shuō)“得人心者得天下”,而在大數(shù)據(jù)時(shí)代的今天,對(duì)于互聯(lián)網(wǎng)公司,只要讀懂人心,就一覽無(wú)余。
從學(xué)術(shù)層面到高科技公司,再到政府層面都對(duì)人工智能越來(lái)越關(guān)注,人工智能機(jī)器人可能是下一個(gè)產(chǎn)業(yè)革命的爆發(fā)點(diǎn),比如像自動(dòng)駕駛,自動(dòng)問(wèn)答,虛擬現(xiàn)實(shí)等都跟人工智能有關(guān),將來(lái)是科技創(chuàng)新的主戰(zhàn)場(chǎng)。
學(xué)習(xí)的能力是智能的本質(zhì)
那么什么是人工智能?應(yīng)該包括哪幾個(gè)方面,比如我們看到的機(jī)器人,首先他有眼睛,有感覺,能感知環(huán)境是怎么樣,完成它任務(wù)怎么樣做,通過(guò)感知把數(shù)據(jù)記錄下來(lái)以后,要做思考,想想怎么做,后面你就可以行動(dòng)。所以,感知、思考和控制是人工智能幾個(gè)重要的方面。
我們看到很多科技公司推出各種各樣的產(chǎn)品,比如說(shuō)我們看到有智能手機(jī)、智能水杯、智能手環(huán)等等,還有百度推出的智能快搜,谷歌在做的智能湯勺,但是真正想一想這些產(chǎn)品是不是真的具有智能呢?我們把這些產(chǎn)品和60、70年代的老式收音機(jī)放在一邊,他們的不同在什么地方?思考這些問(wèn)題能幫我們想清楚未來(lái)方向,也可以區(qū)別現(xiàn)在的這些產(chǎn)品它到底是不是真的智能。真正的智能系統(tǒng)應(yīng)該能隨著經(jīng)驗(yàn)演化越變?cè)铰斆?,學(xué)習(xí)的能力,是智能的本質(zhì)!
經(jīng)驗(yàn)就是數(shù)據(jù)
那么什么叫經(jīng)驗(yàn)?經(jīng)驗(yàn)就是數(shù)據(jù),所以我們到今天看到一個(gè)振奮人心的時(shí)代來(lái)臨,這也是我們濟(jì)濟(jì)一堂來(lái)到這個(gè)會(huì)議的原因,這個(gè)時(shí)代是什么?就是大數(shù)據(jù)時(shí)代。
從萬(wàn)物互聯(lián)到萬(wàn)物智能
今天在座每一位可能都跟我一樣,身上帶了至少兩三個(gè)移動(dòng)設(shè)備,平均每個(gè)人連到兩到三個(gè)設(shè)備。半個(gè)多月前,在烏鎮(zhèn)孫正義有一個(gè)更加瘋狂的預(yù)測(cè),預(yù)測(cè)2020平均每個(gè)人要連接到一千個(gè)設(shè)備,一千個(gè)設(shè)備包括你隨身帶的設(shè)備,你的wifi,甚至是監(jiān)控?cái)z像頭。在移動(dòng)互聯(lián)網(wǎng)時(shí)代,我們看到的未來(lái)是萬(wàn)物互聯(lián),人跟環(huán)境,人跟物,物跟物之間都會(huì)發(fā)生連接。這種連接同時(shí)也意味著數(shù)據(jù)爆增,到達(dá)前所未有的廣度和數(shù)量,大數(shù)據(jù)的時(shí)代使我們從萬(wàn)物互聯(lián)到萬(wàn)物智能。
深度學(xué)習(xí)與大數(shù)據(jù)
很多擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司,包括谷歌、臉譜和百度,都在成立研究機(jī)構(gòu),這個(gè)機(jī)構(gòu)機(jī)構(gòu)最主要的研究方向就是大規(guī)模的深度學(xué)習(xí),聚焦點(diǎn)就是大數(shù)據(jù)驅(qū)動(dòng)的人工智能。在百度內(nèi)部,一個(gè)橫跨各個(gè)產(chǎn)品線大項(xiàng)目獲得了今年的百度最高獎(jiǎng),這個(gè)項(xiàng)目就是百度大腦。擁有上千臺(tái)PC服務(wù)器,和將近1000臺(tái)GPU服務(wù)器,構(gòu)建了世界上規(guī)模最大的深度神經(jīng)網(wǎng)絡(luò),百億級(jí)的參數(shù)。我們基于這些基礎(chǔ)設(shè)施,去研發(fā)世界上最先進(jìn)的深度學(xué)習(xí)算法,包括語(yǔ)音識(shí)別、圖像識(shí)別、自然原理理解、廣告競(jìng)爭(zhēng)匹配、廣告建模等等。
深度學(xué)習(xí)其實(shí)它不是一個(gè)新事情,在30年前80年代末的時(shí)候,深度學(xué)習(xí)就已經(jīng)是得到了廣泛關(guān)注,而到了大數(shù)據(jù)時(shí)代的今天,它獲得了更多的成功和影響力。為什么呢?
第一方面,深度學(xué)習(xí)模擬了大腦的行為。一開始做深度學(xué)習(xí)這幫人,他們的想法受到卷積神經(jīng)系統(tǒng)網(wǎng)絡(luò)的影響,在80年代受到了神經(jīng)科學(xué)家對(duì)于視覺神經(jīng)系統(tǒng)理解的影響;第二,從統(tǒng)計(jì)和計(jì)算的角度來(lái)看,深度學(xué)習(xí)特別適合大數(shù)據(jù);第三,深度學(xué)習(xí)是End-to-end學(xué)習(xí);第四,深度學(xué)習(xí)提供一套建模語(yǔ)言。大數(shù)據(jù)時(shí)代傳統(tǒng)深度學(xué)習(xí)的誤區(qū)
我具體給大家講講第二點(diǎn),深度學(xué)習(xí)特別適合大數(shù)據(jù)下。在統(tǒng)計(jì)上面分析機(jī)器學(xué)習(xí)系統(tǒng)效果時(shí),一個(gè)最根本的角度叫推廣誤差,推廣誤差可以幫助我們找到誤差來(lái)源,從而設(shè)計(jì)出更好的算法。一個(gè)經(jīng)典的分解方法,把推廣誤差分解成兩部分:
Approximation error:數(shù)學(xué)模型不完美導(dǎo)致的誤差;Estimation error:數(shù)據(jù)不完美,比如數(shù)據(jù)有限或數(shù)據(jù)有偏,導(dǎo)致的誤差;Optimization error:算法不完美導(dǎo)致的誤差。隨著數(shù)據(jù)規(guī)模的擴(kuò)大,從推廣誤差的角度來(lái)說(shuō),傳統(tǒng)的深度學(xué)習(xí)研究中存在著一些誤區(qū):
從Approximation error的角度來(lái)說(shuō),過(guò)去我們認(rèn)為簡(jiǎn)單的模型就是好的,但實(shí)際上簡(jiǎn)單的模型是不夠好的,隨著機(jī)器的增多,參數(shù)越來(lái)越多,模型越來(lái)越復(fù)雜,是大趨勢(shì),過(guò)去認(rèn)為簡(jiǎn)單的模型是好的這是錯(cuò)誤的觀念;從Estimation error的角度來(lái)說(shuō),為了保證數(shù)據(jù)的精確,應(yīng)該收集充分的數(shù)據(jù);從Optimization error的角度來(lái)說(shuō),通常是學(xué)術(shù)界的觀點(diǎn)是,開發(fā)研究非常精致的優(yōu)化算法,但是這些算法存在一個(gè)大問(wèn)題:不能覆蓋大數(shù)據(jù)。比如,SVM的復(fù)雜度是在數(shù)據(jù)二次方到三次方之間的復(fù)雜度,今天處理一萬(wàn)個(gè)訓(xùn)練樣本沒問(wèn)題,但是如果變成十萬(wàn)個(gè)訓(xùn)練樣本,你需要一百倍到一千倍的計(jì)算資源,這是災(zāi)難性的問(wèn)題,所以在大數(shù)據(jù)的時(shí)代,工業(yè)界反而要倡導(dǎo)的是desgin “an OK algorithm”。深入百度大腦
我給大家舉一些百度大腦的例子:
A deep model for image recognitionDLmodelfor query-docrelevanceLong-short term memory for time series網(wǎng)上搶票驗(yàn)證碼識(shí)別運(yùn)單手寫電話號(hào)碼識(shí)別述說(shuō)圖片的故事,字幕用深度學(xué)習(xí)程序?qū)懗赏瑫r(shí)理解圖像和自然語(yǔ)言深度學(xué)習(xí)已經(jīng)取得了關(guān)鍵性進(jìn)展,首先在廣告系統(tǒng),這可能是世界上首次把深度學(xué)習(xí)成功應(yīng)用于廣告變現(xiàn),并帶來(lái)收入提升,在用了深度學(xué)習(xí)之后,我們跟競(jìng)爭(zhēng)對(duì)手的差距是拉開了兩倍還多。
在物體檢測(cè)模型上我們?nèi)〉昧耸澜缟献詈玫某煽?jī),百度第一,谷歌第二。
未來(lái)的展望
人類大腦的平均重量是1.5公斤,占2%的身體體重,消耗20%的能量。最近的一個(gè)報(bào)道顯示,谷歌的服務(wù)器消耗美國(guó)用電量的百分之幾,美國(guó)的所有互聯(lián)網(wǎng)公司占美國(guó)耗電量的9%。在中國(guó),三大互聯(lián)網(wǎng)公司也占中國(guó)耗電量百分之幾,智能計(jì)算是非常耗能量的。而人類大腦有一千億個(gè)神經(jīng)原有5000個(gè)的連接,每個(gè)連接觸發(fā)每秒鐘兩次,做一個(gè)簡(jiǎn)單計(jì)算,人類大腦計(jì)算能力是10的17次方。在過(guò)去人工智能發(fā)展過(guò)程中,計(jì)算能力是非常強(qiáng)大的東西,我們今天的計(jì)算能力跟20年、30年前更是不可同日而語(yǔ)的,能構(gòu)造更好的計(jì)算方法。
未來(lái)計(jì)算決定著智能水平的發(fā)展,人工智能這個(gè)奇點(diǎn)臨近連接了,謝謝大家!