Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

逾1700起ChatGPT效能調查:OpenAI釐清600多起根因

呈現效能下降與恢復流程的監控畫面 / TokenPost.ai

OpenAI運用Codex代理追蹤逾1700起ChatGPT效能下降調查,釐清超過600起案例的原因;自動調查平均每天17起。

OpenAI於19日公布的工程文章介紹內部系統「效能工廠」(Performance Factory),以及首個應用案例「回歸工作流程」(Regression Workflow)。公司公布的調查與診斷數據均為內部統計。

當設定的效能警報觸發時,回歸工作流程會建立調查任務。Codex代理負責追查效能下降原因、提出修正方案,並在部署後確認效能是否恢復。

過去,工程師必須檢視指標、日誌和追蹤資訊,再閱讀程式碼尋找效能下降的原因。OpenAI表示,這項工作逐漸累積出30多種效能調查工具。

OpenAI將調查方法整理成Codex可重複使用的流程,並連接雲端警報,讓系統自動啟動調查。效能工廠會分別保存任務狀態和調查結果,讓多階段工作能夠接續進行。

系統會在各階段分派所需的Codex工作階段;工程師完成審查或部署後,才會推進下一項工作。調查結果不只留在單一代理的對話中,其他代理或工程師也能查看先前的調查內容。

Codex會先確認哪些指標從何時開始惡化,以及哪些請求受到影響,接著比對部署紀錄、設定變更、相關程式碼和日誌,提出可能原因。

另一個Codex工作階段會重新檢視初步診斷的假設與依據,並確認是否存在其他解釋。OpenAI將這個程序稱為對診斷進行「對抗式審查」。

在一項調查中,代理將ChatGPT對話失敗歸因於圖片下載錯誤。審查代理發現,負責尋找檔案位置的內部服務恢復後,圖片請求仍持續失敗;由於初步診斷無法解釋故障,系統重新啟動調查。

OpenAI人工審查了100項根因提案,認為其中70%準確;其餘30%仍需補強,或因果關係尚未獲充分證實。這項評估僅涵蓋受審查的100項提案,不能代表全部1700多起調查的準確率。

診斷通過審查後,Codex可以撰寫修正程式碼並建立程式碼變更請求。工程師會審查變更內容,再決定是否合併與部署。

修正方案也須經過另一輪審查。OpenAI指出,代理可能提出不必要的複雜變更,或引發新問題。例如加入快取可能加快回應速度,但也可能留下過期資料。

部署後,另一個代理會確認效能是否回到原有水準。如果改善不完整或問題仍持續,任務就會回到後續調查階段。

隨著調查結果累積,工程師需要閱讀和判斷的資訊也會增加。OpenAI也介紹了將相關事件分組、依預期影響排序,以減輕審查負擔的做法。

OpenAI表示,目前正探索在警報觸發前找出效能下降的主動監控方式,以及自動部署部分低風險修正方案。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1