Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

2027年起可能再現大型預訓練進展,OpenAI首席科學家提議共同指標

雅庫布·帕喬基(Jakub Pachocki)是OpenAI首席科學家,他表示:「類似的大規模預訓練進展,最快可能從2027年起再度出現。」他在22日發布的官方文章《Perplexity and Intelligence》中提出這項看法。

這是他將數學問題模型中觀察到的變化對照預訓練研究後提出的判斷,並非已確定的開發時程或模型發布計畫。

帕喬基提議以困惑度與交叉熵損失,作為模型開發商比較預訓練進展的共同指標。即使評測任務有所不同,仍需要一套衡量預訓練變化的基準。

預訓練是透過大量資料學習預測下一個 token 等任務、建立模型基本能力的階段。困惑度用來表示模型預測句子下一個 token 的能力。

如果使用相同資料與評測方式,困惑度越低,代表模型越能準確預測下一個 token。交叉熵損失則衡量預測與實際資料之間的差異。

帕喬基表示,他使用一個在OpenAI自有評測資料上對數困惑度約為0.76的模型後,在公開數學問題上觀察到突出成果。對數困惑度是對困惑度取對數所得的數值,不能以解讀困惑度本身的相同方式理解。

這個數值並非保證特定能力出現的門檻。帕喬基指出,無法事先得知新能力會在哪個分數點出現。

2023年發表於ACL的論文分析了不同規模的語言模型,指出困惑度有助於預測模型在BIG-Bench 74項選擇題任務中的上下文學習表現。該研究檢視的是困惑度在這些任務中的用途。

這不代表困惑度單一指標足以評估模型所有能力,也不能將它視為取代各項實際任務表現的單一分數。

2022年公開於arXiv的論文分析指出,即使預訓練損失相同,後續任務表現仍可能因學習方式而異。這顯示單靠預訓練指標,難以完整說明模型之後的能力。

各研究機構使用的評測資料與訓練資料組成不同,因此分數難以直接比較。預訓練後透過推理流程等後續訓練取得的能力變化,也未必能完整反映在困惑度中。

帕喬基主張,前沿模型開發商應共同制定評測方式、安全紅隊標準與透明度規範,建立業界共同基準,以利理解並監督模型行為。

他也提出,在達到能理解並監督模型行為的程度之前,可依困惑度等主要指標設定開發上限。這項標準目前尚未成為業界共同協議或正式政策。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1