Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Gemini Mac 版新增電腦操作功能,先開放美國英語使用者

在 Mac 虛擬桌面畫面中填寫表單的游標 / TokenPost.ai

Google 開始在 Mac 版 Gemini App 推出新功能,讓 Gemini 直接操作使用者授權的應用程式,並在本機檔案、桌面 App 與網頁之間執行多步驟工作。

Google 19 日在官方公告中將這項功能稱為「電腦操作」。Gemini 會透過瀏覽選單、填寫表單等方式與應用程式互動。

Google 提供的使用情境包括:從本機 PDF 讀取寄送資訊並填入報價表、彙整儀表板數據製作 Google 簡報,以及批次修整照片。另一個例子是分析照片,整理二手商品的資訊。這些是 Google 提出的示例,並非經過驗證的任務成功率結果。

工作會在獨立的虛擬畫面中進行。使用者可以在 Gemini 對話視窗即時查看操作過程,也能中止工作。

首次存取某個 App 時,使用者可以選擇拒絕、允許一次或一律允許。選擇「一律允許」後,Gemini 不會再次詢問,除非使用者在設定中變更 App 清單;遇到敏感操作時,Gemini 仍會先徵求確認。Google 說明中心也列出依 App 授予或封鎖存取權限的設定方式。

要在 Mac 上使用這項功能,必須開啟輔助使用權限,以及螢幕與系統音訊錄製權限。使用者可以設定各 App 的允許或封鎖清單。

初期開放對象為人在美國、以英文使用 Mac 版 Gemini,且年滿 18 歲的個人 Google 帳戶使用者。目前不適用於工作或學校帳戶。

使用者需要配備 Apple 晶片的 Mac,並安裝 macOS Sequoia 15.0 以上版本。Google 尚未公布台灣的開放時程。

Google 官方文件對訂閱資格的說明不一致。官方公告將 Google AI Plus、Pro、Ultra 列為使用條件,但目前說明中心的「What you need」欄位只列出 Pro 與 Ultra。僅憑這兩份文件,尚難判定 Google AI Plus 訂閱者是否能使用。

Google 警告,Gemini 可能出錯或出現預期之外的操作,也提醒使用者,Gemini 可能存取已登入桌面 App 的帳戶與工作階段。

獲准存取的 App 畫面中若出現不可信內容,也可能引導 Gemini 在其他 App 中採取操作。Google 表示,這類風險可能跨 App 發生。

若使用者允許 Gemini 存取程式碼編輯器或開發者工具,操作可能涉及執行 Shell 指令或修改檔案;Gemini 也可能與畫面上可見的多重驗證碼互動。

Google 表示,修改檔案前會嘗試建立暫存備份。不過,部分 App 可能無法備份,也可能發生無法復原的操作。

Apple 10 月 2 日在完整磁碟存取權限說明中指出,這項權限可能讓 App 存取檔案、電子郵件、訊息與瀏覽器記錄等大量資訊。Apple 也提到,AI 代理的自主性愈高,相關風險可能愈大。Google 說明中心未提及這項功能是否需要完整磁碟存取權限。

Apple 10 月 16 日在 macOS 27.3 Beta 2 中公布新選項,讓使用者選擇各 App 或資料夾的存取範圍,並在每次需要權限時重新確認。新選項也會在 App 控制其他 App 時顯示提示。Apple 表示,先前已核准的 App 權限會保留。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1