奧爾特曼提出，可以嘗試使用AI系統來監督其他AI系統，OpenAI正在進行相關的研究。

編者按：本文來自微信公眾號 “財經十一人”（ID：caijingEleven），作者：鄭可書，編輯：劉以秦，微新創想經授權轉載。

薩姆·奧爾特曼（Sam Altman）是近期世界級熱門科技人物。他是人工智能公司OpenAI的CEO與聯合創始人，去年11月，OpenAI推出聊天機器人ChatGPT，五天后用戶總數突破百萬，兩個月后破億，引發全世界的AI新浪潮，目前公司最新估值接近300億美元。

最近，奧爾特曼正在全球訪問，已到訪五大洲20多個國家，與當地用戶、開發者、學生、政府交流，談論AI與AI監管、安全問題。

6月10日上午，奧爾特曼在北京智源大會再談AI安全。這是自ChatGPT發布以來，奧爾特曼首次在中國演講。

ChatGPT讓公眾直觀領受到AI的力量。它展現出強大的翻譯、理解、推理能力，在多項考試中超過人類平均水平，在帶來AGI（通用人工智能，像人一樣思考、從事多種用途的人工智能）曙光的同時，也帶來AI導致失業、虛假信息，甚至取代人類等問題的擔憂。

奧爾特曼多次公開談論AI安全問題。今年2月，他在一篇文章中稱AGI有潛力賦能人類，也有招致社會混亂的風險，而OpenAI的使命是確保AGI造福全人類。

3月底，包括特斯拉CEO馬斯克（Elon Musk）、蘋果公司聯合創始人史蒂夫·沃茲尼亞克（Steve Wozniak）、AI獨角獸Stability CEO埃瑪德·莫斯塔克（Emad Mostaque）等在內的科技領袖簽署聯名信，稱AI技術“可能對社會造成災難性影響”，呼吁各方立即暫停訓練比GPT-4更強大的AI系統至少6個月，期間共同開發一套安全協議；若無法暫停，政府應當介入。

奧爾特曼未參與此次簽名，稱該信提出的方法并非最佳，缺少“我們需要暫停的技術細節”，但他承認謹慎行事、嚴格面對安全問題非常重要。

兩個月后，他在另一封僅有22個單詞的公開信上簽名：“降低AI（給人類）帶來滅絕的風險，應該與流行病、核戰爭等其他社會規模的風險一起，成為全球優先事項”。在5月中旬的參議院聽證會上，奧爾特曼也敦促政府與立法機構對人工智能進行規范與監管。

在6月10日的發言中，他倡議全球各界就AI安全問題進行協作，建立互信關系與國際通行的AI安全規范，并推進AI對齊（alignment，即引導AI系統的行為，使其符合設計者的利益和預期目標）研究。

與馬斯克們不同，奧爾特曼并不贊同人類應該為了避免AI的危害，而停止AI研究。相反，他提出，可以嘗試使用AI系統輔助人類，監督其他AI系統，OpenAI正在進行相關的研究。而這一路徑的好處是，隨著AI技術的發展，監督AI的技術也在同步發展。

演講后的問答環節，圍繞AI安全以及OpenAI戰略展開，提問者為智源研究院理事長張宏江。奧爾特曼認為，未來十年內，全球很可能擁有一個非常強大的AI系統，屆時人類會面臨很多安全問題，因此，要從現在開始準備。他透露，OpenAI近期不會研發GPT-5，并稱中國有很多優秀的人才，他期待中國AI研究者們能為AI安全做出貢獻。

以下為《財經十一人》翻譯、整理的演講原文及問答內容：

AI安全至關重要

今天，我想談談未來。具體來說，就是AI系統的巨大發展，以及我們需要做些什么，來為AI部署到世界做好準備。

科學史告訴我們，技術進步遵循指數曲線。我們已經在農業、工業和計算革命中見證這一點。而AI帶來的影響，不僅在于規模，還在于其進展的速度。它正在以極快的速度拓展人類的想象力。

想象一下未來十年，AGI最終創造的生產力體量可能超過目前最大的公司。這場AI革命，將創造共享的繁榮，并減輕每個人的生活負擔。但我們必須共同管理這個過程，才能實現這個目標。

現在，我時常感激大國們。它們求同存異，即使在歷史上最困難的時刻，也找到了合作的方式。過往合作的重點多為醫療和科學領域，比如消滅小兒麻痹癥和天花等疾病，以及減少氣候變化。

隨著愈發強大的AI系統出現，全球合作的利害關系變得前所未有的重要。如果我們不夠謹慎，沒有建立起一個對齊的機制，AI可能會提出不靠譜的建議，進而破壞整個醫療系統。類似地，旨在優化農業實踐的AI系統，如果缺乏對長期可持續性的考量，可能反而導致自然資源的耗盡、生態系統的破壞，從而影響糧食生產和環境平衡。

我希望大家都能認同，推進AGI安全是我們共同的立場。接下來，我想重點談談，我們可以從哪里著手。

如何保障AI安全

第一個領域是AGI治理。AGI擁有徹底改造文明的能力，因此，有意義的國際合作非常必要。如果能實現治理上的合作，并以安全、負責的方式引導這個過程，AGI系統可以為全球經濟做出無與倫比的貢獻，幫助解決氣候變化、衛生安全等共同挑戰，每個人都可以從中獲益。

我深信，這會在未來實現。作為地球上的一員，我們需要投資于AGI安全，以實現并享受這個未來。而這需要謹慎的協調。這是一項全球性的技術，輕率發展帶來的事故，將影響所有人。

國際合作中，有兩個關鍵領域最為重要。

首先，我們需要建立國際規范和標準，并注重過程的包容性。我們要為所有國家建立相同的使用AGI的防護措施；在這些措施范圍內，人們也有足夠的機會做出自己的選擇。

其次，要建立起全球的互信，以可驗證的方式，安全地建立日益強大的AI系統。我知道這并不容易。我們需要為此付出大量而持續的關注。道教說：千里之行，始于足下。我認為，最有建設性的第一步，是國際科學界、技術界展開合作。

我們應該在AGI安全領域，推動建立增加透明度和知識共享的機制。發現緊急情況的研究人員應該為了人類的利益，分享他們的發現。我們需要仔細考慮，如何在尊重和保護知識產權的同時鼓勵這種做法。

更廣泛地說，我們應該推動、引導AI對齊和安全研究。在OpenAI，我們為了將AI系統打造成有幫助的、安全的系統，做了技術方面的對齊研究。比如，我們會調整ChatGPT，使其不會發出暴力威脅，或幫助用戶進行有害活動。

但隨著我們接近AGI，任何對齊問題的潛在影響和重要性都將成倍增長。現在解決這些問題，未來災難性結果的風險就會降到最低。

對于當前的系統，我們主要利用來自人類反饋的強化學習（RLHF）進行訓練，以保證它們有益、安全。這只是多種對齊技術中的一個例子，我們也在研發新的技術方法。

GPT-4完成預訓練后8個月，我們都在進行對齊、解決安全問題，然后才部署。GPT-4的對齊程度，比我們之前的模型更高。

然而，對于更高級的AI系統來說，對齊仍然是一個未解決的問題。這需要新的技術方法，以及政府更多的監督。想想未來的AGI系統，可能包含10萬行的二進制代碼，人類監督者很難判斷，它是否在進行不當行為。

我們已經確定了一些新的研究方向，希望能夠取得突破。

首先是可擴展的監督。我們可以嘗試利用AI系統輔助人類，監督其他AI系統。例如，我們可以訓練一個模型，來幫助人類監督員發現其它模型輸出內容的缺陷。

其次是可解釋性。我們需要更好地理解，模型內部發生了什么。我們最近發表了一篇論文，使用GPT-4來解釋GPT-2中的神經元。還有很長的路要走，先進的機器學習技術可以進一步提高我們解釋模型的能力。

最終，我們的目標是訓練AI系統，來輔助對齊研究。這種方法的優勢在于，它能跟隨AI技術同步發展。未來，模型會變得更加智能、更加有用，也能更好地輔助我們找到更好的對齊技術。

實現AGI的好處，并減輕其風險，是我們這個時代的重要挑戰之一。我看到了美國、中國以及世界各地的研究人員的巨大潛力，如果合作能夠實現，我相信我們能利用AGI解決世界上最重要的問題，并顯著提高人類的生活質量。

以下為智源研究院理事長張宏江與奧爾特曼的問答，Q為張宏江，A為奧爾特曼。《財經十一人》對問答內容、順序進行了刪減與調整：

Q：這次環球訪問中，你獲得了哪些成果？

A：我認為一個重大進展是，人們對于共同制定“安全地開發先進AI系統”的國際標準感到興奮，我們思考在部署強大模型之前，應該進行怎樣的測試。我們討論如何構建反映全球價值觀和偏好的數據庫；我們還探討了如何建立機制來分享安全性研究。

Q：我們距離AGI還有多遠？

A：確切的時間很難預測。這可能很快發生，也可能很久才實現。而且，不同人對AGI的定義也不相同。但我確實認為，在未來的10年內，我們很有可能擁有非常強大的AI系統。在那樣的世界中，AI安全問題迫切而重要。歷史上有一些例子，新技術比人們預想的更快地徹底改變世界。因此，我呼吁國際社會立即共同努力解決這個問題。

Q：我們可以僅僅通過對齊，來解決AGI安全問題嗎？

A：我認為“對齊”這個詞在不同的情境中有不同的含義。我們需要解決整個挑戰，即如何確保我們的AI系統安全。從傳統意義上說，對齊是指讓模型的行為與用戶意圖一致，這當然是其中的一部分。但還會涉及其他問題，比如：如何驗證系統正在按照我們期望的方式運行。我們需要看到整體情況。

Q：將來，我們是否有可能需要改變整AGI模型的基礎架構，以使其更安全、更容易預測？

A：無論是從功能角度還是從安全角度來看，我們都有可能需要一些不同的架構。這有助于我們解釋當前的模型。如果Transformer之后，架構領域又有一次巨大的飛躍，我不會感到意外。

Q：如果我們對世界上的模型數量進行控制，比如，世界上只有三種模型，就像控制擁有核武器的國家數量一樣，這會讓大模型更加安全嗎？

A：我認為更重要的是，我們是否能建立起一個機制，讓任何強大的模型都有足夠安全措施的限制？我們是否有一個框架，讓任何創建足夠強大模型的人都具備資源和責任，確保他們創建出安全的系統？

Q：OpenAI和AGI的下一步是什么？會有GPT-5嗎？

A：我對未來的發展也非常好奇。這是我最喜歡這項工作的一點：身處研究的前沿，沒有人知道未來會發生什么，這讓人充滿興奮和驚喜。我們正在探索許多關于未來的可能。當然，某個時候我們會嘗試制作一個GPT-5模型，但不會很快。我們還不確定具體的時間。

Q：你如何構想OpenAI的發展，是什么促使你們堅定地朝這個方向努力？是什么讓你不知疲倦地推動AI安全？

A：我無法想象任何一項比安全的AGI更令人興奮、更重要的工作。剛起步時，我們認為成功的概率非常低；但如果我們能找到構建AGI的方法，那肯定會帶來深刻的變革。而實現這個目標的一部分就是確保安全性。我真心相信，這是最具變革性的事情之一。

本文為專欄作者授權微新創想發表，版權歸原作者所有。文章系作者個人觀點，不代表微新創想立場，轉載請聯系原作者。如有任何疑問，請聯系http://www.i0562.net/。