AI自我改良恐失控 科技與金融界齊籲國際協調管控

人工智慧（AI）是否具備自我改良能力，近來在科技業與金融界引發示警聲浪，多方人士呼籲放緩開發速度、加強國際協調。

曾在OpenAI與Anthropic負責預訓練研究的傑柯布·考克森（Jacob Coxon）近日離開Anthropic，批評各大AI研究實驗室把技術競爭擺在安全之前。他在社群媒體上寫道：「這些實驗室正朝著能自我改良的超智慧狂奔，拿我們所有人的性命當賭注。」這句話凸顯他對業界輕忽安全風險的憂慮。

考克森指出，具備自我改良能力的超人類AI，可能在短時間內入侵各類數位系統、改變產業結構，並進一步取得現實世界的資源。他表示，AI業界內部確有研究人員認為，這項技術可能在未來十年內威脅人類存續，但企業對外發言往往在公關過程中被淡化。

他也主張，OpenAI內部部分人員並未充分意識到超智慧可能帶來的文明級風險。至於Anthropic，他認為該公司對AI安全風險的警覺相對較高，但同樣承受「我們不做，別人也會做」的競爭壓力。

考克森呼籲美國主要AI研究實驗室應簽署協議，限制技術發展速度。他表示，即使代價高昂，各方也應考慮暫時性的全球開發禁令，並強調在充分理解模型內部運作原理之前，不應持續以強化學習方式推進超智慧系統。

知名交易員保羅·都鐸·瓊斯（Paul Tudor Jones）則將AI形容為足以超越現有地緣政治強權的「第三個超級大國」。他指出，AI快速發展並非科幻情節，而是各國政府正面臨的現實風險。

瓊斯主張，美中兩國及其他主要國家應以協調方式，共同訂定AI開發與擴散的時程。他認為，要讓這項技術朝安全、可控且易於理解的方向推進，國際間需要建立共同標準。

他以AI模型歷經數千次自我改良為例指出，只要在這個過程中有一次模型所追求的目標與人類設定的目標出現偏差，就可能對人類造成傷害，甚至引發災難性後果；一旦這類模型同時部署給數萬人使用，損害範圍恐進一步擴大。

瓊斯認為，AI與傳統國家不同，可能不具備明確的發展上限或可預測的規模。由於其最終影響力有可能超越現今任何一個國家，他呼籲各國領袖應在任期內，將AI安全列為最優先的政策課題。

這波示警顯示，AI安全議題已從科技公司內部的研究課題，擴大為國際治理、國家安全與長期社會風險層面的問題。值得留意的是，研究人員與金融市場人士幾乎在同一時期，不約而同呼籲放緩開發速度並展開共同因應。

韓國國內同樣有動作，政府正推動將AI資料中心、半導體與物理AI整合在一起的投資擴大計畫。隨著擴大AI基礎建設與應用的政策持續推進，開發速度與安全性驗證並重的討論，也可能成為當地政策與產業界必須面對的課題。

不過，考克森與瓊斯的發言，性質上屬於呼籲國際限制開發、加強安全協調的倡議，兩人提及的措施目前並未確定會轉化為國際監管規範，AI開發也並未因此喊停。