Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

哈薩比斯警告:缺少人類審查的RSI可能成為通往AGI的危險道路

德米斯·哈薩比斯(AI插畫)/ TokenPost.ai

Google DeepMind共同創辦人兼董事長德米斯·哈薩比斯(Demis Hassabis)警告,若人類不再審查程式碼,「封閉式遞迴自我改進(RSI)」可能成為通往人工通用智慧(AGI)的危險道路。

哈薩比斯在與里德·霍夫曼(Reid Hoffman)的《Masters of Scale》對談中談到這項風險。對談於2026年10月在美國舊金山錄製,完整內容於11月6日公開。

他表示,目前AI雖能協助撰寫程式碼,但仍由人類檢查AI寫出的程式碼並設計系統架構。他將現行開發方式與另一種情境區分開來:人類審查流程消失,由AI自行設計、改進下一個版本。

哈薩比斯表示,AI程式設計工具可讓工程師的生產力提高3至5倍。他關注的不是生產力提升本身,而是人類審查環節也一併消失的風險。

他說,封閉式RSI可能成為「通往AGI的一條非常危險的道路」,因為AI若不經人類審查便自行製作並改進下一個版本,可能帶來控制問題。

哈薩比斯也警告,這類系統可能像是思考方式與人類不同的「外星智慧」:人類可能難以理解AI的行為,AI也可能難以理解人類的意圖。

不過,哈薩比斯也肯定自我改進的效用。他表示,在數學、程式設計和遊戲等結果可驗證的領域,AI可以檢查成果並反覆改進。

他以AlphaZero為例,指出該系統曾透過反覆進行遊戲並訓練新版本來改進。哈薩比斯的警告針對的不是這類工作本身,而是缺少人類審查、由AI持續推進開發的情況。

Anthropic在自家測量資料中表示,截至2026年8月,Claude「主導」了公司AI研發工作的26%。這項數據是公司對內部工作的自行評估。

依照Anthropic的分類,「主導」代表AI完成大部分工作,但仍由人類監督。該公司表示,測量範圍內沒有任何工作是完全自主完成。

Anthropic也指出,業界尚無共同的測量方法,而且評估使用了自家模型。這項數據反映的是公司依照自訂標準對內部工作進行的測量。

哈薩比斯在這場對談中強調,RSI的風險在於人類審查與控制可能缺席,並未談論其投資潛力。

OpenAI在2026年9月6日公布的研究自動化說明中,提出於2028年3月前打造「自動化AI研究員」的目標。這是公司公布的目標,並非已達成的時程。

OpenAI表示,公司已達到「自動化研究實習生」階段,也就是AI在人類指示下完成指定任務。研究優先順序、是否採納研究結果,以及是否擴大或停止系統,仍由人類決定。

OpenAI表示,目前還不知道如何實現安全的完全RSI。哈薩比斯提出的安全措施包括沙盒與監控、強化網路防禦,以及由外部機構進行稽核與評估。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1