法國AI公司 Mistral 29日公開「Mistral Large 4」的模型權重,公司公布的編碼代理評測分數為48%。
Mistral官方模型卡提供約1兆參數規模的模型檔案及自行部署說明。企業可下載權重,在自有基礎設施上執行模型。
Mistral於10月6日發布API預覽版時,預告將在10月底釋出權重。本站先前報導指出,模型在預覽版各項測試中的成績不一。
Large 4總計約有1兆個參數,每處理一個詞元會啟用約490億個參數;若將嵌入層與輸出層計入,啟用參數為520億個。這並非每次都會同時運作所有參數的架構。
模型可接收文字與圖片輸入,並以文字輸出,最多可處理100萬詞元的上下文。Mistral表示,模型整合了指令遵循、推理與編碼功能。
Mistral在模型卡中表示,Large 4於Artificial Analysis的編碼代理指數獲得48%。公司稱,這項成績與開放權重模型GLM-5.3幾乎相同,每項任務平均使用的詞元則少47%。
編碼代理指數將軟體開發任務、指令執行與技術問答三項評測的分數等權合併。因此,48%反映的是編碼代理評測範圍內的成績。
Mistral在10月6日發布預覽版時公布的編碼代理指數分數為49.8%。由於公布時間與模型版本不同,不能將該數字視為此次公開權重的評測結果。
在獨立綜合評測中,Artificial Analysis對Large 4的高強度推理設定評為26分。評測頁面顯示,同等規模的開放權重模型中位數為23分;該指數納入知識工作、編碼、科學與一般知識等9項評測。
Mistral也在模型卡中表示,中國領先的開放權重模型在綜合指數中的得分更高。編碼代理評測與綜合指數涵蓋的評測範圍不同。
資安分數則是以預覽版模型為準。Mistral在10月6日的公告中公布,模型在CyberGym-E2E獲得82%、在Cybench獲得93%。
Artificial Analysis另行進行的CyberGym-E2E-AA評測涵蓋131項任務,預覽版模型以81.7%排名第二。這項結果應與最終公開模型的獨立評測結果區分。
模型卡列出使用vLLM、SGLang與Transformers執行模型的方法。vLLM範例採用8張GPU的設定,這不代表所有環境都需要8張GPU。
本站先前報導指出,Mistral曾將Large 4列為API示範模型。此次公開權重後,企業除了使用API,也能在自有基礎設施上運行模型。
模型使用條件依據Mistral Ecosystem Open-Weight License。若要將模型本身以服務形式提供,業者須與Mistral另行簽訂商業合約。
留言 0