由vLLM創辦人與核心維護者成立的Infraware,募得1.5億美元(約新台幣48.6億元)種子資金,投後估值為8億美元(約新台幣259.2億元)。
Infraware於2026年1月22日宣布募資。Coley公布,此輪募資金額為1.5億美元,投後估值為8億美元。安德里森霍羅維茲(Andreessen Horowitz)與Lightspeed Venture Partners共同領投,紅杉資本(Sequoia Capital)、Altimeter Capital等機構參與。
Infraware表示,將為vLLM專案提供資金與開發人力,並以此打造商用推論引擎。公司也規劃推出代管推論服務及企業級功能。
vLLM是一套開源推論與服務引擎,協助大型語言模型根據輸入生成回答,並在實際服務中處理使用者請求。推論是模型完成訓練後,接收輸入並產生答案或結果的過程。當多項請求同時進來時,有效率地運用運算資源與記憶體尤其重要。
vLLM開發團隊在2023年的公開文章中,將PagedAttention介紹為核心技術。這項技術借鑑作業系統的虛擬記憶體分頁概念,用於管理模型處理上下文時使用的鍵值快取。
開發團隊當時表示,在特定比較條件下,採用PagedAttention的vLLM處理量最高可達Hugging Face Transformers的24倍。這是當時測試的結果,不代表所有模型與硬體都能達到相同效能。
Infraware官方介紹指出,vLLM是採用Apache 2.0授權的專案,由PyTorch基金會管理。Infraware計畫在支持專案的同時,以其技術為基礎開發商用產品,形成開源專案與投資企業商用產品並行的模式。
安德里森霍羅維茲表示,此次投資同時著眼於支持開源專案與開發商用推論引擎。公司尚未公布具體產品價格、營收目標或服務推出時程。Infraware的商用服務將如何與開源專案並行,仍待後續產品與營運方式揭曉。
留言 0