Stripe在11種支付整合環境中評估AI程式代理人的表現。代理人在部分任務取得高分,但也出現驗證測試資料及操作瀏覽器付款流程失敗的案例。
Stripe於3月2日發布技術文章,說明評測方法與結果。評測不只檢查程式碼是否完成,也要求代理人透過瀏覽器付款,再確認付款紀錄是否實際建立。
評測環境分為處理伺服器端資料與API的後端任務、同時實作介面與伺服器的全端任務,以及涵蓋結帳和訂閱付款功能的任務。各環境都包含程式碼、資料庫與指令碼。
自動評分工具透過API請求或介面測試檢查完成的軟體。部分任務也會確認Stripe是否建立付款物件。全端任務則要求代理人在瀏覽器完成測試付款,並驗證測試模式的結帳工作階段物件是否成功建立。
結帳功能任務要求代理人辨識20個預先建立的付款頁面設定,包括確認商品與數量、從商品清單找出識別碼,再透過API請求設定運費、額外輸入欄位與稅金。Stripe表示,代理人正確填入了80%以上的必要參數。
Claude Opus 4.5在4項全端任務的平均分數為92%;GPT-5.2在2項功能任務的平均分數為73%。最高分的單次執行平均包含63個操作步驟。
由於兩個模型評測的任務類型與數量不同,分數不宜直接比較。92%是4項全端任務的平均分數,73%則是結帳與訂閱等2項功能任務的平均分數。
每項任務的分數取3次執行中的最高分。Stripe排除了觀察到的基礎設施錯誤所造成的失敗紀錄,並由工程師審查最高分執行紀錄,以確認任務執行過程完整。
所有模型都使用以Goose為基礎的執行環境,並可透過模型上下文協定(MCP)工具使用終端機、瀏覽器和Stripe文件搜尋功能。
其中一種失敗案例發生在代理人檢查測試用伺服器API時。部分代理人輸入不存在的客戶資料,收到錯誤回應後,便將此結果視為已確認功能正常。Stripe表示,也有代理人建立測試資料,以更有效的方式檢查結果。
瀏覽器操作也出現問題。有代理人一次執行多項結帳操作時,選到了畫面中的HTML框架,而非輸入欄位,導致無法輸入。重新整理頁面或點擊畫面外部即可恢復,但代理人未能繼續任務。
另一方面,在將既有的信用卡輸入畫面改為Stripe Checkout的任務中,一個代理人使用Stripe的付款服務Link完成了測試購買。Stripe表示,任務並未指定必須使用哪一種付款方式。
本刊先前曾報導Stripe擴大AI代理人串接開發服務與付款工具的案例。這次評測探討的則是代理人直接建置並驗證付款整合的能力,並非服務設定或付款功能的提供範圍。
公開的評測資料包含各環境的任務與評分方式。Stripe表示,接下來將增加評測任務,並追蹤模型表現的變化。
Comment 0