當(dāng)我在1995參加了計算機科學(xué)的時候，數(shù)據(jù)科學(xué)并不存在，但我們?nèi)匀辉谑褂迷S多早已存在的算法。這不僅僅是因為神經(jīng)網(wǎng)絡(luò)的回歸，也可能是從那時起，就已經(jīng)沒有發(fā)生太多根本性的變化。至少給我的感覺是這樣的。有趣的是，從今年開始，人工智能似乎終于已經(jīng)成為主流。

在云計算機，智能手機，或聊天機器人出現(xiàn)之前，1995年聽起來像是非常痛苦的時期。但在了解過去的幾年時，如果你未身處其境，感覺起來就像是很久以前的事一樣。就如自我延續(xù)一樣，它將一切都貼在一起，雖然已經(jīng)改變很多，但與現(xiàn)在相比，世界沒有感覺到根本不同的。

堅持不懈從事計算機科學(xué)

計算機科學(xué)從未像現(xiàn)在一樣未接近主流。后來，隨著2000年左右的第一個網(wǎng)絡(luò)泡沫。有些人甚至質(zhì)疑我學(xué)習(xí)計算機科學(xué)的選擇，因為編程計算機很顯然變得非常容易，再也不需要專家了。

事實上，人工智能是我學(xué)習(xí)電腦科學(xué)的主要原因之一。將它作為一種建設(shè)性的方法來理解人類思想的想法，對我來說非常耐人尋味。前兩年我都在訓(xùn)練，以確保自己有足夠的數(shù)學(xué)水平來解決道路上的阻礙，且最終上了第一堂AI課（由JoachimBuhmann授課），那時波恩大學(xué)的教授SebastianThrun正準(zhǔn)備離開美國。我得查看我參加了他的哪一個演講周期，他在計算機視覺中有兩個講座，一個是模式識別（多數(shù)是舊版本的Duda&Hart的書中知識），一個是信息理論（類似于Cover和Thomas的書）。材料是非常有趣的，但也有點令人失望。正如我現(xiàn)在所知，人們停止了AI方面象征性的工作，不再堅持用更多的統(tǒng)計方法來學(xué)習(xí)，這種方法學(xué)習(xí)的本質(zhì)是，基于有限數(shù)量的觀察減少選擇正確函數(shù)的問題。計算機視覺講座，甚至學(xué)習(xí)的更少，且更依賴于明確的物理建模，以獲得正確的估計，例如，從視頻中重建運動。那時的方法比現(xiàn)在更加生理化和物理化。雖然神經(jīng)網(wǎng)絡(luò)存在，但每個人都很清楚，他們只是“另一種函數(shù)逼近。”除了RolfEckmiller，和另一個我曾經(jīng)在其手下工作過的教授之外，每個人都這么想。Eckmiller在“神經(jīng)計算”在某種程度上比傳統(tǒng)的計算好得多前提下建立了他的整個實驗室。這可以追溯到NIPS有著完整的路徑致力于研究神經(jīng)元的生理學(xué)和工作機制的日子，甚至有人認(rèn)為在我們的大腦中有著本質(zhì)性差異東西發(fā)生，也許是在量子水平，這增加了人的心靈，這種差異是研究真正智能機器的一大阻礙。

雖然Eckmiller很善于推銷他的觀點，但他的大部分工作人員都慶幸腳踏實地。也許這是一件非常德國化的事情，但每個人都很關(guān)心這些計算模型到底能不能做到，這也是研究中一直困擾我的問題。我畢業(yè)于2000十月，發(fā)表了相當(dāng)牽強的碩士論文，試圖在學(xué)習(xí)和努力優(yōu)化問題之間建立聯(lián)系，然后開始了我的博士論文，并堅守在該領(lǐng)域進(jìn)行研究直到2015。

機器學(xué)習(xí)的研究方法很多，但解決的本質(zhì)問題基本一樣

雖然一直試圖證明行業(yè)的相關(guān)性，當(dāng)它是一個長時間的非常學(xué)術(shù)性的努力，且社區(qū)是相當(dāng)封閉的。有一些個人成功的故事，例如手寫字符識別，但許多公司在機器學(xué)習(xí)方面的研究失敗了。我記得有一個公司叫BeowulfLabs和NIPS，他們用一個視頻到處去招聘人才，承諾要成為下一個“mathtopia”。在本質(zhì)上，這是DeepMind的故事，招聘一群優(yōu)秀的研究人員，然后希望它會起飛。

整個社會也會圍繞著一個時尚到下一個。有一件奇怪的事情是，機器學(xué)習(xí)作為一個整體，除了一大堆方法外，只有極少數(shù)本質(zhì)不同的問題，如分類，回歸，聚類等。它不像物理（我假設(shè)）或數(shù)學(xué)一樣，一些普遍認(rèn)為沒有解決的疑難問題，存在可以推進(jìn)出最好結(jié)果的解決方案。這意味著，進(jìn)步經(jīng)常是做橫向的，通過用一個新的方法更換現(xiàn)有的方法，仍然以不同的方式解決同一個問題。例如，首先有神經(jīng)網(wǎng)絡(luò)。然后支持向量機出現(xiàn)了，聲稱其效果更好，因為相關(guān)的優(yōu)化問題是凸面的。然后有boosting，randomforests，等等，直到回到神經(jīng)網(wǎng)絡(luò)。我記得，中國餐館進(jìn)程（ChineseRestaurantProcesses）“火”了兩年，但沒有人知道他們現(xiàn)在的意義是什么。

大數(shù)據(jù)與數(shù)據(jù)科學(xué)

大數(shù)據(jù)與數(shù)據(jù)科學(xué)的時代已然到來了。當(dāng)時立身于學(xué)術(shù)界，我總覺得大數(shù)據(jù)與數(shù)據(jù)科學(xué)肯定來自于外界，可能來自于像谷歌這樣切實處理龐大數(shù)據(jù)的公司。大規(guī)模學(xué)習(xí)確實是存在的，例如，生物信息學(xué)中基因組數(shù)據(jù)，但是我們應(yīng)當(dāng)尋找更為有效的算法或近似算法來解決這些問題，而非蠻干。

諸如谷歌這樣的公司最終證實了，我們可以運用龐大的數(shù)據(jù)完成一些事情，最終將改變?nèi)藗儗θ斯ぶ悄艹钟械闹髁饔^點。有一些技術(shù)，如Hadoop和NoSQL，看似非常流行，能夠嫻熟地在市場上推廣并不斷革新，這些技術(shù)將免于現(xiàn)存體系中技術(shù)方面的限制。然而，這將對機器學(xué)習(xí)的研究者產(chǎn)生什么影響？給我的印象是，這些研究者感到高興的是，大數(shù)據(jù)與數(shù)據(jù)科學(xué)時代的到來使他們最終得到認(rèn)同，不過，他們也為自己得到認(rèn)同的方式感到悲哀。要理解這一點，我們要意識到，多數(shù)ML研究者并不是計算機領(lǐng)域的科學(xué)家，或者非常擅長，對編碼非常感興趣。他們中許多人來主攻物理，數(shù)學(xué)或其他學(xué)科，在這些學(xué)科領(lǐng)域中，他們卓越的數(shù)學(xué)訓(xùn)練能力使其能夠熟練運用各種算法，并為機器學(xué)習(xí)構(gòu)建核心模型。

另一方面，Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)偏科技性。用Java編寫，這種語言在當(dāng)時被認(rèn)為專業(yè)性極強，與MatLab和Python兩種計算機語言相比，Hadoop的語言不免顯得復(fù)雜難懂。即使那些C++編程人員也會有相同的感覺，對他們來講，Java語言也會顯得冗雜，特別是在數(shù)值計算和模擬方面。但是，當(dāng)前尚未找到解決這一問題的途徑，因而，他們將自己所做的一切都重新命名為大數(shù)據(jù)，或者開始強調(diào)，大數(shù)據(jù)僅為大規(guī)模計算提供基礎(chǔ)數(shù)據(jù)資源，而你需要專業(yè)的人才，方能弄懂這些數(shù)據(jù)信息。

這種解決方法應(yīng)當(dāng)是不會出錯的。我認(rèn)為，在一定程度上，這種區(qū)分依然是存在的。如果為數(shù)據(jù)分析選擇合適的語言，Python當(dāng)是最優(yōu)之選，存在一些技術(shù)，如Spark，試圖通過綁定Python語言來分析數(shù)據(jù)，不論該種方法在性能方面是否講得通。

深度學(xué)習(xí)的回歸

甚至在谷歌研發(fā)出人工智能技術(shù)DeepDream之前，神經(jīng)網(wǎng)絡(luò)已經(jīng)掀起回歸熱潮了。有一些人，如YannLeCun，一直以來堅持這種方法，但是，大概在10年前，有一些研究顯示如何使用分層訓(xùn)練及其他訓(xùn)練方法，訓(xùn)練“深層”網(wǎng)絡(luò)，這種類型網(wǎng)絡(luò)的規(guī)模超出人們之前所能設(shè)想的。

得根據(jù)訓(xùn)練實例進(jìn)行評估，以訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后，調(diào)整所有權(quán)值進(jìn)一步減小誤差。倘若沿著權(quán)重下降的方向記錄梯度值，那么將從最后一層開始把錯誤傳播回來。不管怎樣，可以這樣理解，錯誤信息將逐層遞減，如此將增加多層次訓(xùn)練網(wǎng)絡(luò)的難度。就我所知，許多人依然采用背景法，我不確定這種觀點是否依然正確。但是，可以肯定的是，可使用的數(shù)據(jù)量，工具及原始計算能力均發(fā)生了變化。因而，最初一些研究文獻(xiàn)點燃了人們對神經(jīng)網(wǎng)絡(luò)的興趣，人們隨后開始繼續(xù)使用這些神經(jīng)網(wǎng)絡(luò)，并在一些應(yīng)用領(lǐng)域中取得了卓越的成就，這些神經(jīng)網(wǎng)絡(luò)最早成功應(yīng)用于計算機視覺，隨后在言語加工處理等領(lǐng)域。

我認(rèn)為，這種類型的神經(jīng)網(wǎng)絡(luò)之所以能夠吸引人是因為其多樣化的用途。有了這種方法，人們可以免于理解多種不同途徑的麻煩。此外，神經(jīng)網(wǎng)絡(luò)擁有一個模塊化的結(jié)構(gòu)，人們可以挑選出并組合不同層級和結(jié)構(gòu)，將其用于解決各種各樣的問題。

谷歌當(dāng)時發(fā)表了一篇關(guān)于DeepDream人工智能技術(shù)的優(yōu)秀論文，文中提到他們能夠運用一個包含信息豐富的網(wǎng)絡(luò)衍生出一些數(shù)據(jù)，而我們?nèi)祟惥邆浼磿r學(xué)習(xí)結(jié)構(gòu)與屬性的能力，很快便能學(xué)會運用這種網(wǎng)絡(luò)。因而，如今谷歌可以稱得上一家一流的人工智能公司。人工智能將拯救全世界。

尚待解決的一個基本問題

我曾經(jīng)與許多學(xué)者交流過，他們對于深度學(xué)習(xí)的主導(dǎo)作用感到不滿，原因是這種方法能夠產(chǎn)生很好的效果，有時這種效果甚至過于理想化，但是，仍然不能幫助我們進(jìn)一步理解人類大腦的工作原理。

我對此也持相同的看法，即這一基本問題仍未得到解決。我們是如何理解世界的？我們是如何創(chuàng)造出新概念的？深度學(xué)習(xí)依舊停留在模仿行為的層面，盡管對于一些人來講，深度學(xué)習(xí)的效果已經(jīng)相當(dāng)不錯了，但我對此還不太滿意。此外，我認(rèn)為將太多智能因素歸功于這些系統(tǒng)，存在風(fēng)險。對原始數(shù)據(jù)來講，這些系統(tǒng)的性能可能很不錯，但是，在其他方面，這些系統(tǒng)將以完全不同的方式運行。

盡管谷歌翻譯工具能夠允許人們跳過外國網(wǎng)站上發(fā)布的內(nèi)容，該種系統(tǒng)的性能仍有待改進(jìn)，這一點是明白無誤的。有時我覺得沒有人會在意這一點，也許是因為沒有人會因此受到傷害，不是嗎？但是，也可能是由于我的德國文化背景的緣故，我希望我們能夠以事物最初的模樣來看待這些事物的發(fā)展。