Hugging Face 上一個自稱為 Mythos 級模型的 7.72TB 儲存庫,部分檔案被指出現合成隨機數跡象。分析者表示,檔案封裝格式與詞嵌入帶有模型痕跡,但他抽查的其他權重不像是真實訓練結果。
Reddit 使用者 johnxreturn 在 2 日凌晨 0 時 37 分(台灣時間)發布分析文章,表示自己檢查了部分分片檔案。他以 Qwen2.5-7B 作為比較對象,認為儲存庫的封裝格式、分詞器與詞嵌入呈現真實模型的特徵,但其他權重可能由合成資料生成。
這個 Hugging Face 儲存庫於 10 月 23 日建立。頁面說明稱,檔案是在訓練 Anthropic 下一代 Mythos 級模型時儲存的檢查點,包含 1,224 個專家模組與約 14 兆個參數。
儲存庫聲稱權重檔分成 772 個檔案,總大小為 7.72TB。Hugging Face 頁面顯示參數約 6.85 兆個;johnxreturn 則表示,平台不會統計特定格式的資料,將其納入後估算約為 13.68 兆個。
johnxreturn 指出,詞嵌入中相關詞語的數值彼此接近。分析結果顯示,「cat」與「cats」的相似度為 0.475,「cat」與「Paris」則為 0.0475。
疑點出現在輸出層。儲存庫設定顯示,輸出層與詞嵌入層是分開訓練的,但兩層對應數值在全部 131,072 列中,相似度約為 0.89。
作為比較的 Qwen2.5-7B 平均相似度為 0.0144。johnxreturn 推測,輸出層可能是將嵌入數值乘上固定比例後再加入雜訊生成。
他也檢查了接收相同輸入的模組校準值。分析文章列出的兩個數值約為 0.185 與 0.087;johnxreturn 指出,若兩者是以相同輸入為基準,數值理應一致。
他檢查的 15 個校準值全都不同,分布在 0.05 至 0.40 之間。johnxreturn 認為,這些差異可能支持數值是任意生成的說法。
權重分布也是分析項目之一。johnxreturn 表示,真實模型的輸入通道權重大小可能相差 2 至 5 倍,但該儲存庫三種矩陣的統計數值差異只有 0.4%。
儲存庫稱,權重已轉換為輝達(NVIDIA,NVDA)的 NVFP4 格式,並在亞馬遜(Amazon,AMZN)的 Trainium2 上測試。另一名 Reddit 使用者 Strider96 指出,AWS 文件列出的 Trainium2 支援格式中沒有 NVFP4,因此認為這項說明有矛盾。
檔案中 MMLU 評測題目的數量也因記錄位置不同而有差異。johnxreturn 表示,一處記載 14,042 題,另一處則是 281 題。
其他 Reddit 使用者聲稱,儲存庫的模型架構結合了 DeepSeek-V3、Qwen3-Next、Kimi Linear 等公開設計。也有人指出,訓練記錄中原本應耗時 3 分鐘的儲存步驟,僅花 8 秒就完成;同一項評測還連續 7 次得到相同分數。
根據分析結果,johnxreturn 將檔案實際來自 Anthropic 檢查點的可能性估為 0.5%。這是個人分析得出的估算,並非檢查整個儲存庫檔案後作出的判定。
此次調查只比對了部分檔案的結構與數值,並未執行整個 7.72TB 儲存庫,也未檢查所有權重。儲存庫檔案來自 Anthropic 訓練資料的說法,也尚未獲公司確認。
本報曾報導,Anthropic 的 Claude Mythos 頁面標題顯示 Mythos 5.5,但公告列表與使用指南仍將 5.1 列為最新版本。這次的儲存庫也只稱檔案屬於下一代 Mythos 級模型,沒有提供官方 Mythos 5.5 的發布資料。
Reddit 使用者 Strider96 警告,不要執行儲存庫內的自訂 Python 程式碼。這是針對來源未經驗證程式碼的提醒,不代表已在相關檔案中發現惡意程式。
留言 0