David Silver(大衛·席爾瓦)與 Richard Sutton(理查·薩頓)提出一種 AI 研究方向:讓人工智慧與環境互動,並透過自身累積的經驗學習。英國政府宣布,將與英國企業銀行共同投資 Silver 創辦的 Ineffable Intelligence。
兩位研究者在 2025 年 4 月公開的論文《Welcome to the Era of Experience》中主張,若 AI 持續仰賴人類撰寫的文字與專家回饋學習,並止步於模仿既有知識,新的發現將受到限制。他們所說的「經驗時代」指的是未來的研究方向,並非代表技術轉型已經完成。
論文提出的 AI 代理不只回答問題、結束對話,而是長時間持續行動與觀察,並依據結果修正判斷。這類代理也能在文字對話以外的環境中採取行動,從行動結果取得學習訊號,而非只依靠人類預先給定的評分。
這種做法試圖拓展強化學習:代理朝目標採取行動,再根據結果調整下一步。兩位作者認為,代理持續累積經驗後,有機會超越人類製作資料中包含的知識。
兩人以 AlphaZero 作為經驗學習的例子。AlphaZero 透過反覆自我對弈,學習西洋棋、日本將棋與圍棋策略。不過,論文也指出,規則與獎勵明確的遊戲成果,與目標及評估標準複雜的現實任務之間仍有落差。
遊戲中的表現不能直接推論為醫療或科學研究等現實任務的成果。在現實環境裡,觀察行動結果需要時間與成本,而且不同任務對「好結果」的定義也不相同。
Silver 於 2026 年 1 月 15 日在 Ineffable Intelligence 官網發文,將「如何透過環境中的經驗發現新知識」列為研究課題。他表示,將在公司繼續研究如何透過經驗尋找新知識的強化學習。
英國科學、創新與技術部(Department for Science, Innovation and Technology)於 2026 年 4 月 27 日宣布,主權 AI(Sovereign AI)與英國企業銀行(British Business Bank)將共同投資 Ineffable Intelligence。英國政府表示,該公司正在開發透過經驗學習的演算法。
研究者 Yuxi Li(李宇熙)肯定論文提出的研究方向,同時提醒其泛化能力仍有限。他指出,在遊戲、數學與程式設計等容易確認答案的領域取得成果,是否能直接延伸至其他現實任務,仍是另一個問題。
Silver 與 Sutton 也在論文中表示,能長時間自主行動的代理可能減少人類介入的機會,也會讓判斷過程更難解讀。英國政府的投資是對推動相關研究的公司的支持,並不代表這項技術在現實任務中的效能或安全性已獲證實。
留言 0