延遲降低82%：Perplexity打造CobbleDB資料庫

Perplexity將AI搜尋服務的批次讀取中位數延遲時間從31.4毫秒降至5.60毫秒，並打造自有資料庫CobbleDB。按公司提供的前後比較，延遲時間約降低82%。

Perplexity在14日發布的官方技術文章中表示，將原本以亞馬遜DynamoDB為基礎的架構替換為CobbleDB後，確認了上述結果。CobbleDB是針對AI搜尋的讀取型工作所設計。

即使在較慢的請求區間，延遲時間也有所下降。第90百分位延遲時間從56.7毫秒降至9.77毫秒，第99百分位延遲時間則從123毫秒降至24.2毫秒。

中位數是將所有請求依延遲時間排序後位於中間的數值。第90百分位與第99百分位則反映相對較慢的請求區間，有助於說明僅靠平均值難以掌握的效能變化。

CobbleDB將功能分為三個層級。文件的持久化與更新由「Pillar」負責，批次輸入由「Lorry」處理，查詢時的低延遲讀取則由CobbleDB負責。

實際資料儲存使用RocksDB。Perplexity表示，透過調整分區與快取設定，提升了讀取效能。

這套架構並非以取代所有資料庫工作為目標的通用系統。CobbleDB不支援強一致性與複雜交易，但將功能集中在快速回傳搜尋結果的工作上。

強一致性是指多個資料複本在同一時間確保相同數值的方式。對搜尋結果而言，若回應速度比最新資料的即時一致更重要，便可調整一致性範圍，優先提升讀取效能。

Perplexity在14日的官方技術文章中表示，以大規模運作為前提，CobbleDB的儲存層成本可能比DynamoDB降低20%以上。不過，這項數值是公司內部估算，實際節省金額與適用條件尚未公布。

降低成本的邏輯在於取消DynamoDB按位元組計費的結構，並配合AI搜尋工作最佳化儲存與讀取層。實際成本仍可能因請求量、儲存資料規模與運作環境而異。

Perplexity表示，運用內部AI程式碼代理，開發期縮短至約兩個月。公司計畫在完成每秒處理數十萬次請求規模的運作驗證後，將CobbleDB以開源形式公開。

Perplexity尚未確定開源時間，也未公布大規模運作驗證的完成與否。因此，目前公開的效能數據應視為公司在自有環境中提供的前後比較結果。

若與Perplexity搜尋API在人工智慧搜尋API指數中以80分排名第一的先前案例一併觀察，可以看出該公司除了最佳化生成搜尋結果的層級，也在自行調整儲存與讀取結果的基礎設施。不過，兩項數據的評估條件與測量方式不同，不能合併解讀為單一效能指標。

這起案例顯示，除了模型效能之外，搜尋服務的儲存與查詢路徑也可能影響回應速度。分別測量批次讀取與較慢請求區間，也反映了讀取型服務的運作特性。

Perplexity將在每秒處理數十萬次請求的規模下進行CobbleDB運作驗證，之後再評估開源公開。實際成本降幅，以及能否在外部環境重現效能，將成為後續觀察重點。