印度 AI 公司 Sarvam AI 於16日推出推理服務「Token Factory」,在印度 GPU 叢集提供自研及開放權重模型,並透過單一 OpenAI 相容 API 讓開發者與企業呼叫多個模型,其中包括中國模型。
Sarvam AI 在官方部落格表示,Token Factory 面向開發者與企業。發布公告列出 Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro 及 Gemma 4 31B 共7個模型。
目前 API 文件列出12個模型,包括 Sarvam Prism、Qwen 3.8 27B 和 EmbeddingGemma 2。Sarvam 105B、GLM 5.3 等模型可使用一般 API 金鑰;DeepSeek V4 Pro、Kimi K3.1 Pro、Qwen 3.8 27B 等則須取得各組織的 Provisioned Throughput 核准。
服務按每100萬個 token 計價。DeepSeek V4.1 Flash 1017 的上線促銷價為輸入14盧比、輸出55盧比,互動模式則為輸入25盧比、輸出105盧比。Sarvam 105B 的上線促銷價為輸入10盧比、輸出25盧比,另加增值稅。
Sarvam 表示,其營運印度規模最大的輝達(NVIDIA,$NVDA)B200 GPU 叢集。提示詞不會傳送至海外模型開發商 API,而是在印度境內 GPU 處理;企業客戶可按要求啟用不保留資料設定,並獲得99.95%可用性 SLA。
Token Factory 並非重新訓練模型的服務,而是代為執行多個模型的推理基礎設施。使用者無須自行建置 GPU,就能透過單一 API 切換模型。
效能數據由 Sarvam 自行測試。公司表示,Sarvam 105B 的首個 token 回應時間為0.2秒,單一使用者吞吐量為每秒330個 token;Gemma 4 31B 在輸入1萬個 token 時,首個 token 回應時間為0.40秒,吞吐量為每秒308個 token。MarkTechPost 引述 Sarvam 自測數據指出,在相同輸入條件下,DeepSeek V4.1 Flash 1017 的首個 token 回應時間在 Together AI 為0.71秒,在 Sarvam Standard 為0.90秒。
服務同時納入 DeepSeek、Moonshot AI 的 Kimi、Z.ai 的 GLM、阿里巴巴(Alibaba,$BABA)的 Qwen,以及 Google 的 Gemma。《印度快報》(The Indian Express)分析指出,將基礎模型權重與智慧財產留在印度,與在印度控制運算及資料處理環境,是兩種不同的主權概念。
普拉蒂尤什·庫馬爾(Pratyush Kumar),Sarvam AI 共同創辦人,說:「Token Factory 在 Sarvam 私人採購的 GPU 上運行。」他表示,政府提供的折扣 GPU 與目前用於服務的設備是分開的。
Sarvam 說明,印度政府的 IndiaAI Mission 提供的40%折扣 GPU 用於自有模型訓練,而該任務已於2026年3月結束。印度政府選定 Sarvam 為基礎模型開發企業,並將財政與運算支援規模列為246.72 crore 盧比。
維韋克·拉加萬(Vivek Raghavan),Sarvam AI 共同創辦人,說:「必須同時掌握 AI 技術堆疊的五個層次,包括運算、資料與評估、模型、harness 及應用程式。」他的說法指向,若依賴租用外部基礎設施,長期可能承受成本和定價壓力。
Jarvislabs AI 工程師阿塔爾瓦·英格爾(Atharva Ingle)在 X 發文說:「我們的服務與 Sarvam 一樣快或更快,價格也更低。」這番話直接反駁了 Sarvam 的自有基準測試。
Hypergro 創辦人魯圖拉吉·比斯瓦斯(Ruturaj Biswas)評價說:「推理服務產生的現金流,可支援自有模型開發和進一步募資。」他認為,推理服務收入可成為模型研發資金來源。
本報先前報導,Sarvam 曾公開 DeepSeek API,並提出每日4,500億個 token 的處理量。此次服務發布新增資訊包括 API 文件目前列出12個模型,部分模型需經組織審核。
這項服務不是虛擬資產或區塊鏈業務,而是 AI 推理基礎設施。半導體方面,輝達 B200 GPU 與資料中心營運是核心資源;速度和價格數據均為 Sarvam 自行測試,實際可用模型則取決於各組織是否取得 Provisioned Throughput 核准。
Comment 0