Cloudflare推出27B決策模型Cleft與9B模型Cleft Flash,並為模型託管服務Workers AI新增企業客製化功能。兩款模型不生成自由文字,而是回傳各選項的機率,協助AI代理分類查詢並選擇後續工作。
Cloudflare於10月1日將兩款模型上架Workers AI,並以Apache 2.0授權公開模型權重。開發者可透過Cloudflare使用模型,也能下載權重,在自有環境中執行。
一般大型語言模型(LLM)會生成句子與回答;Cleft系列則針對輸入情境和問題,回傳預先設定答案的機率,例如判斷客戶詢問是否緊急,或應由哪個團隊處理。由於回應格式受到限制,代理可減少重新解讀結果的步驟;單次請求最多可包含64個是非題、選擇題或評分題。
Cloudflare官方文件指出,Cleft可處理最長6萬5536個token的上下文,並接受文字、JSON、圖片及影片輸入。Cleft Flash則鎖定重視延遲時間的工作。兩款模型都相容於Typesafe的Jev與SystemOne API。
Cleft系列的定位更接近代理工作流程中的分類與路徑選擇工具,而非取代對話式LLM。代理可先從預設選項中選擇下一步,再串接另一個LLM生成說明或執行後續工作。
Cloudflare公布的Decision Index內部評估顯示,Cleft在BANKING77分類測試的macro-F1分數為94.2,Jev為79.7。請求延遲時間中位數方面,Cleft Flash為38.8毫秒、Cleft為209.3毫秒、Jev為524.1毫秒。上述數據為Cloudflare自行評估結果。
Workers AI文件列出的輸入價格為每100萬個token:Cleft為0.24美元(約新台幣325元),Cleft Flash為0.09美元(約新台幣122元)。比較整體營運成本時,還需一併考量使用量、託管條件及各項工作的準確度需求。
Cloudflare也推出強化學習微調服務,協助客戶依業務需求調整Cleft。公司表示,初期將與客戶直接合作,之後計畫打造自助服務平台,支援從資料收集、微調到重新部署的流程。本次發布涵蓋自有模型開放及企業客製化支援。
留言 0