騰訊(Tencent,0700.HK)的工作型 AI 代理 WorkBuddy 20日推出「電腦操作功能」Beta 版,可辨識螢幕並執行點擊、輸入與捲動;即使目標軟體未提供獨立 API,也能讀取畫面後直接操作。
MarsBit 20日報導,WorkBuddy 支援 macOS 與 Windows。使用者需將桌面客戶端更新至 5.11.0 以上,開啟功能並核准相關權限;畫面辨識結果可能因軟體而異。
這項電腦操作功能會分析目前螢幕、定位目標視窗,再連續執行滑鼠點擊、文字輸入與捲動。無須另行設定連線,WorkBuddy 可在多個應用程式間切換,依照畫面完成工作。
IT時代網 10日介紹 Beta 畫面時指出,WorkBuddy 透過螢幕截圖理解畫面,模擬人類「看」與「按」的 GUI 代理。畫面提示顯示,使用期間可能擷取螢幕或讀取視窗內容,使用者可隨時停止功能。
WorkBuddy 官方產品指南將服務定位為桌面 AI 工作台,可用自然語言處理檔案、製作文件、試算表與簡報並分析資料。使用者不必逐步指定操作,系統即可規劃並執行多項工作。
此次電腦操作功能進一步讓 WorkBuddy 直接處理既有應用程式中的按鈕與輸入欄位。使用者不必另接特定程式 API,也能在同一流程中操作介面各異的文件、通訊軟體與工作工具。
這與透過手機查看電腦畫面並下達指令的遠端控制用途不同。遠端控制由使用者透過手機查看並操作畫面;電腦操作則由 WorkBuddy 依使用者指示,在電腦螢幕上執行工作。IT之家 10月28日報導,WorkBuddy 的遠端控制功能可讓使用者以手機查看並操作電腦畫面。
騰訊先前也將視覺理解與電腦操作功能導入大型語言模型 Hy4 正式版。
使用這項功能前,需核准螢幕擷取與輔助使用等作業系統權限。若未授權,WorkBuddy 將無法讀取螢幕,也無法代為執行滑鼠或鍵盤輸入。
騰訊雲(Tencent Cloud)企業文件說明,管理員可全面開放電腦操作功能,也可只允許特定成員或部門使用,必要時則可全面封鎖;預設政策為封鎖所有成員。
WorkBuddy 官方版本紀錄顯示,截至15日,macOS 與 Windows 安裝檔已列至 5.11.3 版。實際工作範圍仍取決於支援的作業系統、權限核准情況,以及使用軟體的畫面辨識程度。
Comment 0