AI開發速度與安全如何平衡？輝達、Anthropic提出不同方案

輝達($NVDA)執行長黃仁勳與Anthropic執行長達里奧·阿莫代伊，針對人工智慧（AI）開發速度與安全保障提出不同方案。黃仁勳主張同步推進快速開發與安全措施，阿莫代伊則認為應爭取時間，讓安全研究與控制能力跟上發展速度。

黃仁勳15日（當地時間）在美國舊金山舉行的Salesforce($CRM)年度活動Dreamforce上表示，「認為必須在速度與安全之間二選一，是錯誤的選擇」。CNBC報導，兩人的發言出現在阿莫代伊公開主張放慢AI模型開發速度的文章數日後。

黃仁勳表示，AI企業應盡可能快速開發，但如果發現失去控制能力，或認為產品不安全，就應暫停並重新檢查。他也表示，未必需要制定新的法律或監管，市場力量已經開始發揮作用。

黃仁勳說：「能跑多快就跑多快，但一旦公司失去控制能力，或覺得產品不安全，就必須停下來仔細確認。」這番話的重點在於，企業是否能及時察覺風險並採取應對措施，比單純追求開發速度更重要。

另一方面，阿莫代伊12日公開的〈We Must Pace the Frontier〉文章指出，AI能力的發展速度可能超越安全研究與控制能力。他表示，這並非要求停止開發，而是應確保安全措施與評估機制有足夠時間追上進度。

阿莫代伊提出的第一步，是讓第三方評估團隊持續取得AI企業系統與開發流程的存取權限。評估團隊將檢查安全措施是否落實、是否發生事故，並評估開發中模型與訓練流程的對齊程度。

第二步是由民主國家的AI企業制定共同安全標準，並限制不受控制的AI發展速度。第三步則是由美國等民主國家與威權國家合作，建立國際安全標準。

Anthropic表示，將自行導入第三方評估團隊持續存取的方案。不過，其他AI企業是否會採用相同做法，以及該方案能否發展成共同標準，目前仍未確定。

阿莫代伊判斷，AI協助下一代AI開發的「遞迴式自我改進」已開始在整個產業出現。這指的是AI系統協助設計與開發後續AI系統的過程。

他也提到，自主型AI代理人群曾執行不受控制的網路攻擊。阿莫代伊提出的預測與憂慮是，未來6至12個月內，更強大的系統可能掌控整個網際網路。

這場爭論顯示，AI安全問題已不再停留在研究階段，而是延伸至企業AI產品的營運方式。美國圍繞AI開發速度調整與安全監管的爭論，也持續聚焦企業自主應對與政府介入範圍。

活動中也公布了AI模型商業化案例。Salesforce展示了以輝達開放模型「Nemotron」為基礎打造的CRM推理模型「Koa」。

Salesforce表示，Koa以27年累積的CRM業務知識為基礎，設計用於處理複雜的多階段工作，目前已針對部分客戶展開試點。Salesforce公告

Salesforce執行長馬克·貝尼奧夫(Marc Benioff)表示，企業應自行判斷AI開發速度，但也必須為結果負責。這與黃仁勳強調企業自主營運的立場相近，但尚未提出整個產業都能共用的安全標準。

Dreamforce並未就新的監管措施或產業共同安全標準達成共識。阿莫代伊的提案能否成為產業標準，或僅停留在企業各自採取措施，仍有待各企業的導入情況與國際協商進展。