新聞 
幣種資訊 
關於我們 
OpenRouter推出批次 API，將不需即時回應的人工智慧工作集中處理，多數模型的輸入與輸出代幣價格降至約一半，結果最長在24小時內返回。
OpenRouter 22日於官方部落格表示，批次 API目前支援超過70個模型。使用者可一次提交多項請求，待處理完成後取得結果。
折扣適用於各模型的輸入與輸出代幣價格。部分模型的價格可能低於原價一半，最終費用將依模型與請求類型而異。
批次 API針對大量處理設計，與需要立即取得結果的互動式請求有所不同。適用工作包括文件分類、生成嵌入、評分評估資料集，以及摘要客戶詢問等可彈性調整處理時間的任務。
支援的請求類型包括聊天完成、回應式 API、訊息，以及基於API的嵌入請求。使用者無須逐一重複呼叫，可將多項工作整合為單一批次提交。
處理期限最長為24小時，但OpenRouter表示，實際完成時間通常更短。在為期兩週的測試期間，完成的批次工作超過23萬件，完成時間中位數為7分鐘。
整體工作有90%在1小時內完成。不過，各項工作的處理速度並不一致，提交時間與工作規模都可能造成差異。
OpenRouter公布的分析顯示，包含1項請求的批次通常在5至11分鐘內完成。包含1000項以上請求的批次則需時12至21分鐘，較慢的工作可能因提交時段不同，耗時數小時才完成。
對於可以等待結果的工作，批次 API的節省成本效果最為明顯。需要即時回應的服務或互動功能，仍需使用原有方式。
網路搜尋呼叫不適用批次折扣。OpenRouter也提醒，輸入圖片與檔案時必須使用公開網址。
OpenRouter會讓每個批次由單一供應商處理。使用者可依模型、供應商設定與資料政策，對請求進行路由。
使用者可在日誌中查看各批次的模型、供應商、狀態與費用，分別檢查每項工作的處理進度與成本。
處理結果與輸入資料預設保留30天。因此，提交大量工作的使用者除了費用，也需要確認資料保留政策。
批次 API讓使用者透過單一介面使用多種人工智慧模型，並調整大量工作的成本與處理時間。在OpenRouter代幣用量與平均價格變化先前受到關注之際，這項功能則聚焦於降低高用量非同步工作的單價。
不過，適用於「多數模型」的折扣幅度與實際付款金額，仍會依模型單價與請求類型而異。使用者提交批次前，應確認各模型價格與資料處理條件。
留言 0