從SIRI到自動駕駛汽車，人工智能(AI)正在迅速地發(fā)展。雖然科幻小說經(jīng)常將人工智能描繪成具有類人特性的機器人，但人工智能可以涵蓋從谷歌(Google)的搜索算法，IBM沃森 (人工智能程序)，到自動武器的任何科技。

當今的人工智能被正確地稱為專用人工智能(或弱AI)，因為它被設計來執(zhí)行的任務范圍狹窄(例如，僅執(zhí)行面部識別，或只進行互聯(lián)網(wǎng)搜索，或僅駕駛汽車)。然而，許多研究人員的長期目標是創(chuàng)建通用人工智能(AGI或強AI)。雖然專用人工智能 能在其特定的任務上超越人類，如下棋或解方程，AGI將在幾乎所有認知任務上超越人類。

為何研究人工智能的安全性?

在短期內(nèi)，保障AI對社會有益的科研范疇可涵蓋諸多領域如經(jīng)濟學和法學，以及驗證法、有效性計算、安全性和控制論等技術層面課題。如果安全保障僅限于防止你的筆記本電腦宕機或被黑客入侵，就算出了問題也只是給你添點小麻煩。但當AI系統(tǒng)控制汽車、飛機、心臟起搏器、自動交易系統(tǒng)或電網(wǎng)時， 我們必須保證該系統(tǒng)完全遵照我們的指令，否則后果將不可設想。另一個短期挑戰(zhàn)是如何防止自主武器的毀滅性軍備競賽。

從長遠來看，一個重要的問題是，如果我們成功創(chuàng)造了能在所有認知功能上超過人類的通用人工智能，將會發(fā)生些什么。正如約翰·古德(Irving John Good)在1965年所說的，設計更有智慧的AI系統(tǒng)本身就是一個認知任務。這樣的系統(tǒng)有潛力執(zhí)行遞歸式的自我完善，觸發(fā)智能爆炸，并遠遠地超越人類智力。通過發(fā)明革命性的新技術，這樣的超級智能可以幫助我們消除戰(zhàn)爭，疾病和貧困。因此，創(chuàng)造強AI可能是人類歷史上最重大的事件。然而，一些專家表示擔心，人類的歷史也會隨著此類的超強大AI的誕生戛然而止，除非我們學會在AI成為超級智能之前即可使其與我們同心所向。

有些人質(zhì)疑強AI是否會實現(xiàn)， 也有些人堅信創(chuàng)建超級智能對人類必定是有益的。FLI承認這兩種情形皆有可能，但我們更意識到人工智能系統(tǒng)具有有意或無意造成巨大危害的潛力。我們相信今日的研究意在防患于未然，使得未來人們受益于AI的同時，規(guī)避潛在風險隱患。

人工智能如何可能制造危險?

大多數(shù)研究人員同意，一個超智能AI不可能產(chǎn)生人類的情感，如愛或恨。他們也認為人們沒有理由期望AI有意識地趨善向惡。當考慮AI如何成為風險時，專家認為有兩種情況最有可能發(fā)生：

AI被設計執(zhí)行毀滅性任務：自主武器(autonomous weapon)是為殺戮而生的人工智能系統(tǒng)。若落入惡人手中，這些武器很容易便可造成大量傷亡。此外，AI軍備競賽也可能無意中引發(fā)AI戰(zhàn)爭，導致大量傷亡。為了避免被敵對勢力從中阻撓，這些武器的“關閉”程式將被設計得極為復雜，因而人們也可能對這種情況失去掌控。這種風險雖然也存在于專用人工智能 (narrow AI)中，但隨著AI智能和自驅(qū)動水平的提高，風險也會跟著增長。

AI被開發(fā)進行有益的任務，但它執(zhí)行的過程可能是具破壞性的：這可能發(fā)生在我們尚未達到人類和人工智能目標的一致性(fully align)，而解決人類和人工智能目標一致性的問題并不是一件容易的事。試想，如果你召喚一輛智能車將你以最快速度送到機場，它可能不顧一切地嚴格遵從你的指令，即使以你并不希望的方式——你可能因超速而被直升機追逐或嘔吐不止。如果一個超智能系統(tǒng)的任務是一個雄心勃勃的地球工程項目，副效果可能是生態(tài)系統(tǒng)的破壞，并把人類試圖阻止它的行為視為一個必須解除的威脅。

以這些例子來看，我們對高級AI的擔憂并非在于其可能產(chǎn)生惡意，而是它可能達到的能力。超智能AI將非常善于完成其目標，如果這些目標不與我們的目標形成一致，我們麻煩就大了。正比如，你可能并非對螞蟻深惡痛絕，也沒有踩死螞蟻的惡意，但如果你負責水電綠色能源項目，而項目開發(fā)的所在地區(qū)有一個蟻丘會因為大水而被淹沒，那只能說是算螞蟻倒霉罷了。人工智能安全研究的一個關鍵目的就是要避免將人類置于和這些螞蟻同樣的位置。

為何人們最近對AI安全感興趣?

史蒂芬·霍金、伊隆·馬斯克、史蒂夫·沃茲尼亞克、比爾·蓋茨等許多科技大腕和許多領導AI研究的科學家最近在媒體和公開信中對AI風險表示關心。為什么這個話題在近期會突然出現(xiàn)在多則頭條新聞中呢?

強AI的成功實現(xiàn)一直被認為是天方夜譚，即使得以達成也是最少是幾千年以后的事情。然而，由于最近的突破性研究和許多AI里程碑的創(chuàng)造，在僅僅五年前被專家認為是幾十年后才能達到的技術，現(xiàn)在已經(jīng)實現(xiàn)。這讓許多專家認真地考慮在我們整個人生中出現(xiàn)超級智能的可能性。雖然一些專家仍然猜測類人AI在幾個世紀以后才可能發(fā)生，大多數(shù)AI研究員在2015年波多黎各會議中預測人類智能級別的人工智能在2060年之前便可能產(chǎn)生。因為AI安全研究可能耗費十幾年才能完成，所以我們應該乘現(xiàn)在便進行這些方面的研究。

由于AI有可能變得比人類更聰明，我們并沒有確實的方式來預測它的行為將會是如何。對于AI的發(fā)展可能衍生出什么后果，我們不能把過去的技術發(fā)展作為參考，因為我們從來沒有創(chuàng)造出任何能夠在智慧上超越人類的科技。事實上，我們最能作為參考的依據(jù)便是人類本身的進化史。人類之所以能在今天成為這個星球的萬物之靈，并不是因為我們最強、最快或體積最大，而是因為我們是最具智慧的。如果有一天，我們不再是世上最聰明的，我們還能夠自信對世界擁有控制力嗎?

FLI的立場是，只要我們管理科技的智慧比技術不斷增長的力量更加強勁，我們的文明就會持續(xù)蓬勃發(fā)展。針對AI技術，F(xiàn)LI的立場是，我們應該在不阻礙AI發(fā)展的前提下，通過支持人工智能安全研究來加速對AI科技的管理能力。

關于高級AI的誤傳

關于人工智能的未來以及它對人類意味著什么的對話已經(jīng)正在進行。當下，AI技術有許多連頂尖專家都無法達到共識的爭議，例如：AI對就業(yè)市場未來的影響; 人類智能級別的人工智能是否/何時會被開發(fā);AI開發(fā)是否會導致智力爆炸;以及這是我們應該歡迎還是恐懼的事情。但當下也存在著許多由誤解或人們各說各話所引起的偽爭論。為了幫助我們專注于對有意義的爭議和問題做出討論，而不是分心在錯誤的信息上，讓我們首先將一些最常見的誤傳解除掉。

時間推斷上的誤區(qū)

一個常見的誤區(qū)與AI的時間表有關：那就是人們認為他們能肯定地斷定機器極大地取代人類智能到底需要多長的時間。

許多人誤認為我們肯定能在這個世紀內(nèi)制造出超越人類的人工智能。事實上，歷史充滿了人類將技術夸大的例子。比如說，從前人們認為一定會實現(xiàn)的聚變發(fā)電廠和飛行汽車，現(xiàn)如今卻從未出現(xiàn)過。 AI這類科技也在過去被人們， 甚至被這個領域的先鋒， 一直重復地過分夸大。比如說，約翰·麥卡錫(“人工智能”一詞的創(chuàng)造人)，馬文·明斯基，納撒尼爾·羅切斯特和克勞德·香農(nóng)曾寫下個過于樂觀的預測。單憑當年科技陳舊的電腦，他們提出：在1956年夏天的2個月之內(nèi)，他們要在達特茅斯學院進行一個10人人工智能的研究。他們企圖了解怎樣能讓機器使用語言，形式抽象和概念，來解決目前只有人類能應對的各種問題，并進行AI自我提升。他們寫道，只要有一組精心挑選的科學家們在一起工作一個夏天，就可以在一個或多個問題上取得重大進展。但他們的預測，并沒有成真。

在另一方面， 人們之中也普遍流傳著另一個極面的預測，那就是我們肯定知道超越人類的人工智能不會在本世紀中出現(xiàn)。研究人員對我們與超越人類的人工智能的距離進行了廣泛的估計，但是我們亦不能斷定本世紀出現(xiàn)超越人類的人工智能的概率為零，因為這種對科技充滿質(zhì)疑的預測在過去很多時候都是錯的。例如，偉大的核物理學家歐內(nèi)斯特·盧瑟福(Ernest Rutherford)曾在1933年，在西拉德發(fā)明核鏈反應前不到24小時之內(nèi)說，核能只是飄渺虛無的“月光”。皇家天文學家理查德·伍利也在1956年稱行星際旅行不過是“一派胡言“。他們負面的想法顯然并不正確。對AI最為極端的預測是，超越人類的人工智能永遠不會到達，因為它在物理上是不可能實現(xiàn)的。然而，物理學家們都知道，大腦本身是由夸克和電子排列起來的強大計算機，而世上并沒有物理學的規(guī)律規(guī)定人類不可能建立更加智能的夸克斑點。

目前，已經(jīng)有一些調(diào)查問卷向AI研究人員詢問他們對制造類人AI至少有50%概率的時間預測。所有的調(diào)查都有相同的結論， 那就是連世界上領先的專家都無法達到共識，所以不要說我們，就更不能知道到底什么時候才會出現(xiàn)超越人類的人工智能。例如，在2015年波多黎各AI會議的AI調(diào)查中，平均(中值)答案是在2045年，但當中也有些研究人員猜測超越人類的人工智能只可能在數(shù)百年或更長的時間后發(fā)生。

還有一個相關的傳言就是對AI有所擔憂的人認為類人AI在幾年內(nèi)就會發(fā)生。事實上，大多數(shù)擔心超越人類的人工智能會帶來隱憂的人，但凡在記錄上曾發(fā)言過的，都預測超越人類的人工智能至少需要幾十年才會發(fā)生。但他們認為，只要我們不是100%確定超越人類的人工智能不會在本世紀中發(fā)生，最聰明的做法就是乘現(xiàn)在便開始進行安全研究，以防范于未來。許多與人類智能級別的人工智能相關的安全問題非常艱難，可能需要幾十年才能解決。所以，與其等到一群過度操勞的程序員不小心啟動問題前才做出對策，現(xiàn)在就開始針對這些安全問題進行研究是明智的。

誤傳的爭議

另一個常見的誤解是，那些對人工智能感到擔憂和提倡人工智能安全研究的人事實上對AI了解并不多。當標準AI教科書作者斯圖爾特·羅素在波多黎各會談中提到這一點時，他逗得觀眾哄堂大笑。另一個相關的誤解是，有些人認為支持人工智能安全研究是極具爭議性的。事實上，為人工智能安全研究能得到適當?shù)耐顿Y，人們只需要理解到AI可能帶來的安全課題不可被忽視， 但他們并不需要被說服認為其風險非常高。這就好比為房屋投保是一樣的道理：買保險并不是因為房屋極大的可能被燒毀，而是因為房屋被燒毀擁有不可忽略的概率。為了安全起見，投入AI安全研究是非常合理的。

或許是媒體的夸大使人工智能的安全課題看起來比實際上更具爭議。畢竟，在文章中使用恐嚇的語言，并利用超出語境的引言來宣揚即將來臨的危機可以比發(fā)表具平衡的報告引來更多的點擊率。因此，若人們只是由媒體報道來了解彼此的立場， 他們可能會認為他們在立場上的分裂比事實上還要嚴重。比如說，一個對科技存在懷疑的讀者只讀了比爾·蓋茨在英國小報中所敘述的立場，便可能會錯誤地認為蓋茨認為超級智能即將來臨。同樣的，參與符合共同利益的人工智能運動的人或許在并不理解吳恩達博士的確實立場前，就因為他對火星人口過多的發(fā)言而錯誤地認為他不在乎人工智能的安全。然而事實上，他對人工智能安全具有一定的關心。他的發(fā)言的關鍵是因為吳恩達對時間線的估計更長，因此他自然地傾向于優(yōu)先考慮短期內(nèi)AI所能帶來的挑戰(zhàn)，多于考慮長期中可出現(xiàn)的挑戰(zhàn)。