編者按：本文來自微信公眾號 騰訊科技（ID：qqtech），作者：無忌，編輯：郝博陽，微新創(chuàng)想經授權轉載。

人工神經網絡和深度學習（一種受大腦啟發(fā)的機器學習方法）的先驅。2018年，本吉奧與Meta首席人工智能科學家楊立昆（Yann LeCun）、谷歌前研究員杰弗里·辛頓（Geoffrey Hinton），因“概念和工程上的突破，讓深度神經網絡成為計算的關鍵組成部分”，共同摘得計算機領域的諾貝爾獎–圖靈獎。如今，上述三位計算機科學家也被稱為“人工智能教父”。

今年7月，本吉奧向美國參議院一個小組委員會表示，應當考慮通過立法來監(jiān)管快速發(fā)展的人工智能技術。本吉奧當時解釋稱，他和其他頂級人工智能研究人員已經修改了他們對人工智能何時能夠達到人類廣泛認知能力水平的預測時間。“以前認為要幾十年甚至幾個世紀才能實現，現在我們認為可能在幾年或幾十年內實現，”本吉奧向參會議員說。“更短的時間框架，比如說五年，確實令人擔憂，因為我們需要更多的時間來有效緩解對民主、國家安全和我們共同未來的潛在重大威脅。”

今年9月的一天，本吉奧在自己的辦公室接受了來自連線雜志記者的專訪。雙方談論了一系列的話題，涉及引人注目的人工智能頭條新聞內容與實際情況的細微差別、人工智能研究人員之間的禁忌，以及為什么部分頂級人工智能研究人員不認同人工智能將對人類構成風險等等問題。

以下為訪談內容：

達戈斯蒂諾：英國廣播公司（BBC）在今年5月發(fā)表了一篇文章，稱您對自己一生的工作感到“失落”。您在博客中寫道，你從未發(fā)表過這種言論。盡管如此，您似乎也陷入了某種糾結。如何描述您正在經歷的事情？

本吉奧：我說了一些與此相關的東西，但其中的細微差別被忽略了。整個冬天，我對自己的工作、工作目的和工作重點的看法發(fā)生了巨大的轉變。我在接受英國廣播公司采訪以及后來在我的博客中試圖表達的是：我并沒有迷失。我開始質疑并意識到，也許我沒有關注一些重要的事情，這些事情不僅僅同研究方向有關，也同情感有關。

我在至少十年前就讀過一些關于存在性風險的著作。而現在，我小組里的學生和周圍的學生都在談論這個話題。

在技術層面，我非常認真地閱讀了加州大學伯克利分校的斯圖爾特·羅素教授（Stuart Russell）在2019年出版的書籍《與人類相容：人工智能與控制問題》（Human Compatible: Artificial Intelligence and the Problem of Control）。

從情感上講，我當時沒有把這個當回事。我當時想：“是的，這是人們應該看看的書籍。”但我當時真的認為，“這是遙遠的未來。”我可以繼續(xù)我的工作，因為我正在做的事情將是有用的，在科學上是重要的。我們希望了解人類和動物的智力，制造出可以幫助我們應對各種重要和困難挑戰(zhàn)的機器。所以，我繼續(xù)工作，而沒有改變我的工作方式。

但在冬天，我開始意識到AI雙刃劍的性質和潛在的失控是非常嚴重的事兒。它們會發(fā)生的可能比我預計的要早得多。我不能繼續(xù)忽視這一點，所以不得不改變手頭在做的事情。此外，我也有必要去談論它，因為直到過去幾個月，很少有人–即使是在人工智能社區(qū)–在認真對待這些問題。雖然早有一些人已經意識到這些風險的重要性，但我、杰弗里·辛頓以及其他為數不多的一些人要更受到關注。

這里還存在一個心理因素。你以一種特定的形式構建自己的身份或者生命的意義。然后有人告訴你，或者你通過推理認識到，你描述自己（身份）的方式并不完全符合事實，你忽略了一些非常重要的事情。我理解為什么我的許多同事很難首先接受這樣的想法（來自人工智能的潛在災難性威脅），然后有勇氣說出一些事情。（因為它和我們的身份認同相關），這在我們的社區(qū)中基本上是永遠的禁忌。

說出真相很難。人們在不同的時間或以不同的速度走向這條路。我非常尊重那些和我看法不同的同事。一年前的我也是這樣的。

達戈斯蒂諾：這個禁忌在早期的人工智能研究社區(qū)中是如何表達的？現在還有這個情況嗎？

本吉奧：談論存在風險的人基本上沒法在主流科學雜志刊發(fā)文章。這個問題有兩面性：這些人在試圖談論或提交論文時遇到了阻力；但是，這些人也對所在領域的主流科學場域（scientific venues）不屑一顧。

過去6個月發(fā)生的事情正在打破這一障礙。你們認知的進化恰逢OpenAI在2022年末發(fā)布ChatGPT，進而引發(fā)公眾對大型語言模型的認識不斷上升之時。起初，許多公眾人物都對ChatGPT嘖嘖稱奇，甚至被它折服。但現如今，有些人已經可以不為之所動了。比如說《大西洋月刊》刊登了一篇名為《ChatGPT比你想象的還要蠢》的文章。在最近的一次美國共和黨總統(tǒng)候選人辯論中，克里斯·克里斯蒂（Chris Christie）就對維韋克·拉馬斯瓦米（Vivek Ramaswamy）說，他“今晚已經受夠了一個聽起來像ChatGPT一樣的家伙。”

達戈斯蒂諾：ChatGPT的發(fā)布對你的領悟有影響嗎？不管怎樣，你現在認為ChatGPT是這場變革的最強音嗎？

本吉奧：我的軌跡和你描述的正好相反。我更想了解并彌合當前人工智能和人類智能之間的差距。ChatGPT缺失什么？它失敗在哪里？在ChatGPT發(fā)布后的幾個月里，就像許多同行一樣，我試圖設置一些問題，讓ChatGPT做一些愚蠢的事情。

在我體驗ChatGPT的前兩個月，我最大的安慰是我相信它仍然缺少一些基本的東西。這是我當時最關心的事。但是玩夠了之后，我才反應過來ChatGPT一個驚人的進步。我們的進展比我預期的要快得多。它留給我的印象是，去修復那些它缺失的東西可能不需要太多的時間。

每個月我都會想出一個新的想法，這個想法可能是打破（前面提到）障礙的關鍵。彌合差距的點還沒有到來，但它可能會很快到來–也許不是由我的團隊找到，但也會是另一個團隊。這也許需要十年時間。在研究時，你可能會覺得已經很接近了，但這里面可能有一些你沒有考慮到的障礙。

如果把我正在研究的關于AI去表達及其復雜的概率分布的能力，結合上以更合理的方式學習和使用海量信息的能力，那么我們可能會非常接近（突破了）。這個以直覺方式使用信息的能力相當于我和其他人所說的系統(tǒng)1（System 1）。而當前AI所缺失的那個思維薄層，是系統(tǒng)2（System 2），也就是推理能力。

我不禁開始思考，如果在一年內我們彌合了這個（人的思維和機器思維的）差距，然后讓AI持續(xù)的擴大規(guī)模，那之后將會發(fā)生什么？

達戈斯蒂諾：意識到這一點后，您做了什么？

本吉奧：今年3月底，在未來生命研究所(Future of Life Institute) 發(fā)布公開信，呼吁所有人工智能實驗室立即暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月之前，我聯系了杰弗里·辛頓。我試圖說服他在公開信上簽名。我當時驚訝地發(fā)現，我們都得出了相同的結論。這讓我想起了伊薩克·牛頓（Issac Newton）和戈特弗里德·萊布尼茨（Gottfried Leibniz）同時獨立發(fā)現微積分的場面。

達戈斯蒂諾：這是否意味著多重獨立發(fā)現（當兩位或兩位以上的科學家或發(fā)明家提出同一種理論，發(fā)現相似的現象，或者發(fā)明、設計出同類的儀器或裝置時，就產生了多重獨立發(fā)現）的時機成熟了？

本吉奧：別忘了，我們只是意識到了別人已經發(fā)現的東西。此外，辛頓認為，與大腦相比，數字計算技術擁有根本性的優(yōu)勢。換句話說，即使我們只是找出足以解釋人類大部分智能的原理，然后將其放到機器里，機器也會自然的比我們更聰明。從技術角度看，如閱讀大量文本并以整合的速度，機器要比人類快數十萬倍或數百萬倍。

如果我們彌合了人和機器思維上的差距，我們就會擁有比人類更聰明的機器。這在實踐意義上有多大的重要性？現在沒人知道。但你可以很容易地想象，在編程、發(fā)動網絡攻擊或設計生物學家或化學家目前手工設計的東西等方面，機器會比人類做得更好。

過去的三年中，我一直致力于把機器學習帶入科學領域，尤其是應用于化學和生物學的機器學習。我們的目標是幫助設計更好的藥物和材料，分別用于對抗流行病和氣候變化。但同樣的技術可以用來設計致命的產物。因為我的這種認知在慢慢積累，所以我在信上簽了名。

達戈斯蒂諾：您的觀點，包括英國廣播公司發(fā)表的文章，都引起了很大的關注。您怎么看?

本吉奧：媒體迫使我說出所有這些想法。這是一件好事。最近，在過去的幾個月里，我一直在思考我們應該在政策方面做些什么。我們如何降低風險？我也一直在想對策。

有些人可能會說：“嘿！本吉奧是想嚇唬人。”但我是個積極向上的人。我并不像人們所說的那樣是一個末日論者。（只是）這兒有個問題，而我在想它該如何被解決。我想和其他對此問題有想法的人討論一下這個問題。現在有大量的資金投入到人工智能領域，提高人工智能能力的研究正在競相展開，這意味著緩解最大的風險迫在眉睫。

達戈斯蒂諾：我們有針對核風險的法規(guī)和國際條約，但比如說，朝鮮就不在談判桌上。我們真的能控制人工智能帶來的風險嗎？

本吉奧：根據我們作為一個集體的最終謹慎程度，我們或多或少可以通過國家監(jiān)管和國際條約控制人工智能帶來的風險。就像核條約一樣，在各國之間建立最低標準是很重要的。人工智能可能造成的傷害不受國界限制。

沒有100%的保證不會發(fā)生壞事。即使我們有一個禁止人工智能超出某些級別的國際條約，也有人會不尊重這些限制。但是如果能夠推遲人工智能技術發(fā)展超過某個點十年，那就太好了。在這段時間里，我們可能會改進監(jiān)管。我們可能會提高防御。我們可能會更好地理解風險。

人工智能技術當前的開發(fā)需要大量的資金和專門的硬件。目前，你不可能大量購買像GPU這樣的硬件而不被注意到，但各國政府不會跟蹤誰買了什么。它們可以從這樣做開始。時間至關重要。監(jiān)管可以降低災難發(fā)生的概率。或者說，把真正糟糕的事情將要發(fā)生的時間推后，或者把可能發(fā)生的事情的幾率降到最低。

不幸的是，在廣島和長崎投下的原子彈才是讓各國政府坐在會議桌旁并愿意討論的原因。盡管冷戰(zhàn)已經過去。我希望我們在行動之前不需要出現那種程度的災難。但事態(tài)有可能會發(fā)展到那一步。

達戈斯蒂諾：公眾喜歡談論通用人工智能。你認為那會在一夜之間發(fā)生嗎？或者它會是在連續(xù)體中發(fā)生的？

本吉奧：向AGI發(fā)展的人工智能是個連續(xù)體。肯定是這樣。我過去不喜歡這個術語，因為我認為完全通用智能不可能以20年前被定義的方式存在。但現在人們理解它的方式和媒體使用它的方式只是意味著“一個擅長很多事情的人工智能系統(tǒng)。”

從傷害的角度來說，它是不是什么都比我們強都無所謂。也許有些比賽人類會贏。但如果通用人工智能在可能傷害我們的事情上比我們強，誰會在乎我們贏得了一場比賽？重要的是它們在可能造成傷害的領域的能力。這才是我們應該關心的。即使是現在，如果我們懷著惡意的目的來設計通用人工智能，它也可能是危險的。

達戈斯蒂諾：人工智能和氣候變化的潛在相互作用會帶來風險嗎？

本吉奧：人工智能應該會主要是在幫助抵御氣候變化。除非它處于失控狀態(tài)，否則我不認為人工智能會把氣候變化作為武器。如果出現了失控的情況，改變氣候可能是人工智能加速人類毀滅或對人類社會造成嚴重破壞的一種方式。

達戈斯蒂諾：一臺機器怎么能改變氣候呢？

本吉奧：這是一個重要的問題。許多人對關于人工智能風險的擔憂做出了回應。他們說：“在現實世界中，計算機怎么可能做任何事情？都是虛擬的。我們了解網絡攻擊，因為這一切都發(fā)生在機器中。”

但這其實很簡單。電腦上發(fā)生的事情會以多種方式影響人類。首先，我們的許多經濟基礎設施都依賴于計算機–我們的通信、供應鏈、能源、電力和交通。想象一下，如果這些設施中的許多因為網絡攻擊而停止工作。它可能不會毀滅所有人，但它可能會給社會帶來巨大的混亂，因此受苦的人可能會很多。

其次，鑒于人工智能系統(tǒng)在操控和理解語言方面的進展，我們可能在幾年內擁有能夠影響人類的人工智能系統(tǒng)。它們可以說服我們?yōu)樗鼈冏鍪隆?/strong>想想那些陰謀論者。人工智能系統(tǒng)在互聯網上可能不受管控。它可以開始在社交媒體上與人類互動，嘗試看看什么樣的對話可以成功地改變人們對某些事情的看法。這可能會讓我們采取一些小行動，這些行動與其他行動一起聯動，就可能會產生災難性的結果。這種情況有可能出現。