Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

騰訊 WorkBuddy 推出 Beta 版:可讀取螢幕並執行點擊、輸入

螢幕中點擊按鈕的電腦操作場景/TokenPost.ai

騰訊(Tencent,0700.HK)的工作型 AI 代理 WorkBuddy 20日推出「電腦操作功能」Beta 版,可辨識螢幕並執行點擊、輸入與捲動;即使目標軟體未提供獨立 API,也能讀取畫面後直接操作。

MarsBit 20日報導,WorkBuddy 支援 macOS 與 Windows。使用者需將桌面客戶端更新至 5.11.0 以上,開啟功能並核准相關權限;畫面辨識結果可能因軟體而異。

這項電腦操作功能會分析目前螢幕、定位目標視窗,再連續執行滑鼠點擊、文字輸入與捲動。無須另行設定連線,WorkBuddy 可在多個應用程式間切換,依照畫面完成工作。

IT時代網 10日介紹 Beta 畫面時指出,WorkBuddy 透過螢幕截圖理解畫面,模擬人類「看」與「按」的 GUI 代理。畫面提示顯示,使用期間可能擷取螢幕或讀取視窗內容,使用者可隨時停止功能。

WorkBuddy 官方產品指南將服務定位為桌面 AI 工作台,可用自然語言處理檔案、製作文件、試算表與簡報並分析資料。使用者不必逐步指定操作,系統即可規劃並執行多項工作。

此次電腦操作功能進一步讓 WorkBuddy 直接處理既有應用程式中的按鈕與輸入欄位。使用者不必另接特定程式 API,也能在同一流程中操作介面各異的文件、通訊軟體與工作工具。

這與透過手機查看電腦畫面並下達指令的遠端控制用途不同。遠端控制由使用者透過手機查看並操作畫面;電腦操作則由 WorkBuddy 依使用者指示,在電腦螢幕上執行工作。IT之家 10月28日報導,WorkBuddy 的遠端控制功能可讓使用者以手機查看並操作電腦畫面。

騰訊先前也將視覺理解與電腦操作功能導入大型語言模型 Hy4 正式版。

使用這項功能前,需核准螢幕擷取與輔助使用等作業系統權限。若未授權,WorkBuddy 將無法讀取螢幕,也無法代為執行滑鼠或鍵盤輸入。

騰訊雲(Tencent Cloud)企業文件說明,管理員可全面開放電腦操作功能,也可只允許特定成員或部門使用,必要時則可全面封鎖;預設政策為封鎖所有成員。

WorkBuddy 官方版本紀錄顯示,截至15日,macOS 與 Windows 安裝檔已列至 5.11.3 版。實際工作範圍仍取決於支援的作業系統、權限核准情況,以及使用軟體的畫面辨識程度。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1