史丹佛大學人工智慧百年研究(One Hundred Year Study on AI,AI100)指出,單靠投入更多資料與算力來提升AI效能的做法正面臨限制:高品質訓練資料日益難找,最先進模型的開發成本也持續攀升。
這項分析收錄於史丹佛大學公開的第三份AI100報告《AI走入主流:擴展時代與生成式AI崛起》(AI Goes Mainstream: The Scaling Era and the Rise of Generative AI)。AI100於2014年啟動,是一項長期研究,研究團隊每五年評估一次AI技術發展及其對社會的影響。
報告所說的「擴展」,是增加模型訓練所用的資料與運算量。這種做法推動了生成式AI發展,但AI100指出,過去認為規模擴大便能帶來穩定效能提升的經驗法則,未必能充分反映模型的實際應用能力。在部分任務中,經過有效率訓練的小型模型,表現優於更大型的模型。
CryptoBriefing報導,報告作者將最先進AI的開發集中在美國與中國少數業者手中,視為治理問題,並主張建立更明確的治理架構、增加公眾參與。
資料取得也是限制之一。大型模型需要大量訓練資料,但持續取得高品質新資料並不容易。將網路蒐集的內容用於訓練,也引發著作權爭議。報告指出,模型開發使用的資料不只來自公開內容,也包括取得授權的資料,以及企業專有資料。
研究團隊也探討如何篩選資料,而不只是一味增加數量。剔除重複內容、挑選有用資料,即使不按比例擴大資料總量,也可能改善模型效能。AI生成的合成資料也能派上用場,但報告認為,合成資料無法在所有領域取代真實資料。
報告對大規模投資的成效則持保留態度。AI資料中心建設推升電力與用水需求;另一方面,AI投資的成果尚未明確反映在整體經濟指標或企業投資報酬上。報告認為,隨著成本增加,仍須檢視效能提升與實際應用成果。
本刊先前也曾分析,美國資料中心的電網限制與融資成本上升,引發市場重新評估AI企業估值的討論。該分析指出,取得算力的合約本身,無法解決設施的供電條件與營運成本問題。
技術開發集中,也帶出由誰制定AI運作原則的問題。報告摘要指出,AI影響許多人的工作與教育,但大眾參與決定開發及部署方向的機會有限。報告也認為,國際AI治理體系因各國安全與產業政策不同而呈現分歧。
報告也提到,監管方式仍有不同看法。以模型規模或訓練資源設定門檻,可能跟不上技術變化;依醫療、金融等使用領域制定規範,則能針對具體傷害採取措施,但要管理跨領域應用的AI,仍需監管機關彼此協調。報告也收錄了過度嚴格的規範可能削弱競爭力的疑慮。
AI100表示,目前難以斷定擴展階段何時結束,或是否已經開始落幕。報告並非認為AI開發將停滯,而是指出,模型規模與資料量已不足以單獨衡量效能,還需一併考量算力、資料與演算法。
Comment 0