Back to top
  • 공유 分享
  • 인쇄 列印
  • 글자크기 字體大小
已複製網址

數千億向量搜尋資料庫上線,Elastic推出無伺服器服務

掃描文件與圖片資料的工作台 / TokenPost.ai

Elastic($ESTC)推出無伺服器向量資料庫,從文件嵌入到向量儲存與搜尋均可在同一平台完成,產品鎖定數千億個向量的搜尋、檢索增強生成(RAG)及人工智慧(AI)代理應用。

Elastic於11日公開「Elasticsearch Vector Database」。產品目前可在Elastic Cloud無伺服器環境中使用,Elastic官方公告表示,使用者只需輸入文件與查詢,平台便可支援嵌入生成、索引調整及相關基礎設施管理。

向量資料庫會儲存將句子或圖片語意轉換成數值後的向量,再找出與問題語意相近的資料。RAG則是在大型語言模型(LLM)生成回答前,先搜尋相關文件作為參考,向量資料庫在其中扮演核心儲存角色。

這項產品預設處理文件切分、嵌入生成、索引設定及搜尋結果重新排序。文字、圖片與多模態向量可在同一索引中搜尋,也支援結合關鍵字搜尋與向量搜尋的混合搜尋。

除了自有模型外,使用者也能在託管GPU環境中使用Jina AI的嵌入與重新排序模型。產品設計讓開發者不必另行建置模型伺服器與嵌入流程,即可配置搜尋功能。

降低記憶體負擔的核心技術是Elastic的「Better Binary Quantization(BBQ)」。「Elastic技術文件」表示,BBQ會以位元為單位壓縮向量,最多可將記憶體使用量降低32倍。

BBQ採用有損壓縮,可能降低搜尋準確度。產品透過過度搜尋與重新排序,彌補壓縮造成的準確度下降。

面對大規模資料,也可採用「DiskBBQ」。這項方式以磁碟為主儲存向量,降低RAM需求,但可能犧牲搜尋速度,因此使用者需依資料規模及對準確度、速度的要求,在BBQ-HNSW、BBQ-Flat與BBQ-Disk之間選擇。

費用將依儲存資料與搜尋容量計算,而非依運算資源用量計算。Elastic表示,背景工作不會另行收費。

實際費率及台灣使用者的成本負擔尚未公開。因此,記憶體節省效果能否轉化為實際營運成本降低,仍需依資料規模與搜尋頻率另行驗證。

阿賈伊·奈爾(Ajay Nair) Elastic Elasticsearch與平台主管表示:「AI應用程式開發者不必為了實作向量搜尋而成為基礎設施工程師。」這番話顯示,Elastic希望將原本分散在不同資料庫與模型伺服器中的搜尋基礎設施,整合至同一平台。

向量搜尋市場過去同時存在分別配置儲存與搜尋層、嵌入模型及重新排序模型的做法。Elastic則將相關流程整合至單一託管環境,重點放在減少初期建置與後續營運工作。

企業資料庫與AI服務在同一雲端環境中連接的趨勢,也可從先前Oracle擴大AI資料庫服務的案例看出。不過,Elastic此次產品較著重簡化向量搜尋本身的建置與營運,而非連接特定雲端資料庫。

產品推出後的市場占有率變化及客戶導入成果尚未公開。BBQ壓縮對準確度與搜尋速度的影響,以及實際營運數千億個向量時的成本,仍需依使用環境驗證。

Elastic目前已在Elastic Cloud無伺服器環境提供這項產品。未來關注焦點將是大規模搜尋環境中,記憶體節省、搜尋品質與處理速度之間如何取得平衡。

<版權所有 ⓒ TokenPost,未經授權禁止轉載與散佈>

最受歡迎

其他相關文章

留言 0

留言小技巧

好文章。 希望有後續報導。 分析得很棒。

0/1000

留言小技巧

好文章。 希望有後續報導。 分析得很棒。
1