總毛利率跌至負50%：AI代理推高哈維推理成本

法律人工智慧（AI）公司哈維（Harvey）的總毛利率從今年初約50%降至6月的負50%，原因是AI代理更新後，客戶使用量與模型推理成本同步大增。

彭博報導，哈維在3月推出AI代理更新後，客戶使用量大幅增加。報導指出，哈維的企業估值為156億美元（約21兆韓元）。

哈維毛利率下滑，源於固定席位費與實際使用量之間的落差。即使客戶數量沒有增加，只要單一使用者處理的工作更複雜，模型呼叫成本也會同步上升。

AI代理比單純問答使用更多代幣。當律師輸入數百頁訴訟資料或大型合約時，代理會搜尋文件、多次進行推理、呼叫外部工具，再反覆修改結果。

席位固定費用制在使用量穩定時較容易預測成本。然而，當代理長時間自主運作，即使席位數相同，不同客戶的運算量與成本差異也可能擴大。

隨著AI代理使用量增加，僅以席位數量已難以說明服務成本。不同工作的文件篇幅與處理複雜度，會造成實際代幣消耗量與推理成本差異。

若要縮小固定費用與實際運算量之間的落差，便需要選擇適合的模型並管理各類工作的使用量。在代理反覆搜尋、推理與修改的架構下，客戶使用量增加也可能推高成本負擔。

哈維也開始開發自有模型，以調整成本結構。哈維於8月20日公開的哈維泰納特（Harvey Tenet），是以月之暗面（Moonshot AI）的開放權重模型Kimi K3為基礎，與Fireworks Research共同開發的模型。

哈維表示，泰納特經過針對法律工作的後處理設計，可執行長時間持續運作的代理任務。哈維開發基於Kimi K3的法律AI模型一事先前已獲報導。

哈維在泰納特研究資料中說明，開放權重模型不僅能降低每個代幣的價格，也可能減少推理過程中使用的代幣數量。其方式是減少不必要的工具呼叫與推理步驟，以較少運算取得相同水準的結果。

不過，哈維公開的資料只提出成本效率可能改善的研究結果，尚未公開泰納特導入後使整體業務獲利能力實際恢復的數據。

哈維官方資料指出，泰納特在法律工作評測中完成的任務數量高於Kimi K3。這項結果來自哈維自行設計的評測環境，與實際客戶工作中的成本節省幅度仍需區分。

哈維也將依工作選擇模型列為成本管理方式。簡單文件撰寫可使用相對輕量的模型，高難度法律分析則配置高效能模型，管理者也能預先指定各類工作的模型。

這起案例顯示，專業工作AI服務的計費單位可能從使用者數量轉向實際工作量。文件審查與併購盡職調查等工作的長度和複雜度不同，即使由同一客戶委託，代幣消耗量也可能大幅不同。

法律AI市場對品質、成本與資料控制權的要求日益提高。哈維開發基於Kimi K3的模型，是降低對外部模型供應商依賴的嘗試，但實際營運成本與商業化應用結果仍有待進一步驗證。