Habitat讀取延遲從120毫秒降至10毫秒，OpenAI稱改善12倍

OpenAI表示，旗下內部線上儲存平台Habitat的全球讀取請求p50延遲，已從約120毫秒（ms）降至約10毫秒。公司稱改善幅度為12倍，但這不代表包含ChatGPT生成答案在內的整體回應速度。

OpenAI於23日（當地時間）公布的技術文件指出，改善措施包括調整資料的區域配置、建立快取，以及將部分服務改以Rust重寫。Habitat是ChatGPT、API、Codex與內部服務用來讀寫資料的儲存平台。p50是將請求依延遲時間排序後位於中間的數值。

處理請求的運算資源若與資料位於不同區域，往返時間可能拉長。OpenAI將認證中繼資料等每次請求都需要的部分資料複製到多個區域；公司表示，若以相同方式複製所有資料，會受到儲存容量與資料中心空間限制。

對於其他讀取請求，OpenAI在靠近請求處理基礎設施的位置部署Valkey快取，將常用資料存放在較近處，以減少往返遠端儲存庫的時間。Habitat超過90%的請求都是讀取請求，也是導入快取的原因之一。

為避免快取保留過期資料，OpenAI使用Azure Cosmos DB的變更摘要。原始資料更新時，變更資訊會傳送至各區域並使相應快取失效，讓系統在下次查詢時重新取得最新值。OpenAI表示，快取失效訊息會在數秒內傳播至全球。

OpenAI也將部分Habitat服務從Python改以Rust重寫。公司表示，區域資料配置、快取與Rust改寫等措施共同促成延遲下降，但未公布各項措施的貢獻程度、改善前後的測量期間，以及各區域的延遲分布。

容器運作方式也有所調整。OpenAI曾從多項產品共用資料容器，改為各產品使用專屬容器；考量容量規劃與營運負擔後，則回到以共用容器為主的模式。

為減少共用架構中個別工作過度消耗資源的情況，OpenAI採取限制熱門鍵值請求、降低離線工作的優先順序等措施，以保障互動式請求。公司表示，多租戶支援仍處於初期階段。

OpenAI在9月11日公布的第一部分文件中表示，Habitat每秒處理超過7000萬筆請求，管理超過500拍位元組（PB）的資料，並支援每週有超過10億人使用的產品。這些數據呈現的是平台整體規模，統計範圍與此次讀取延遲數據不同。

未命中快取的資料仍須從遠端儲存庫取得。OpenAI表示，接下來將探討如何在資料首次儲存時，就將資料配置在更接近實際查詢區域的位置。