Google 希望 Gemini 能做的不仅仅是在 Mac 上回答问题。

该公司周四推出了一项计算机使用功能,允许其人工智能助手代表用户打开应用程序、导航菜单、填写表格以及在本地文件和网站之间移动信息。

谷歌宣布:“从今天开始,Mac 版 Gemini 应用程序中的计算机使用可帮助您跨本地文件、桌面应用程序和网络完成多步骤任务。” “只需描述您的需求,Gemini 就会为您处理点击、打字、菜单和表单。”

AMZN 十一月低点

这项新功能在谷歌所谓的隔离背景窗口中运行,让计算机的主显示屏和光标可供所有者使用。用户可以通过 Gemini 聊天中的实时预览来观看代理的操作,并在任务偏离路线时中断任务。

Google 的示例包括从 PDF 文档中提取运输详细信息并将其输入在线表单、编辑批量照片以及根据仪表板数据构建演示文稿。该公司还建议根据 Mac 上存储的图片研究价格并准备转售清单。

这些工作涉及与要求聊天机器人编写指令不同类型的人工智能交互。 Gemini 应该自己操作软件,执行原本由用户承担的点击和按键操作。

有权访问您的应用程序的后台工作人员

该功能正在美国以英语向拥有个人付费谷歌帐户的成年用户推出。它需要运行 macOS Sequoia 15.0 或更高版本的 Apple Silicon Mac;发布时不支持工作和学校帐户。

要激活它,用户在Mac应用程序中启用计算机使用,打开任务模式,并通过@Computer use提示Gemini。根据谷歌的支持文档,助手在控制新应用程序之前会请求许可,并提供拒绝访问、允许一次或持续允许的选项。

用户可以创建允许和阻止的应用程序列表、监控虚拟屏幕以及停止任务。谷歌表示,敏感操作需要在代理继续之前进行确认,尽管标记为“始终允许”的应用程序可以在没有其他应用程序级提示的情况下再次访问。

计算机的使用为谷歌的代理策略增添了本地维度。 Decrypt 此前涵盖了该公司基于云的任务代理 Gemini Spark,而竞争对手则开发了桌面控制工具,包括 OpenAI 的 Codex、Anthropic 的 Claude 和 Kimi Work。

单独的窗口也是一个实际的区别:霸占可见光标的代理可能会使计算机在长时间任务中难以使用。谷歌的方法让人们继续工作,而双子座处理另一个工作流程。

当代理人犯错时会发生什么?

背景窗口不应与文件或帐户免受风险的保证相混淆。谷歌自己的文档警告说,代理可以访问桌面应用程序中的活动会话,遇到屏幕上显示的身份验证代码,并采取某些应用程序无法逆转的操作。

在这种情况下,任何错误都是用户的错,而不是谷歌的错。

它还对即时注入发出警告,这是一种隐藏在文档或网站中的恶意指令诱使人工智能系统执行用户从未要求的操作的攻击。获得操作多个应用程序的权限后,Gemini 可能会在一个程序中遇到恶意内容,并在另一个程序中对其采取行动。

谷歌提供可选的按需文件备份,但表示它们并不总是可以创建。在它们工作的地方,临时副本在 24 小时内保持可用,或者直到下一个提示为止,并且某些应用程序可能根本无法备份其内容。

此次发布的三天前,苹果在 macOS 27.3 beta 中引入了更严格的访问控制。这些更改为用户提供了更多方法来限制对特定应用程序或文件夹的强大权限,并在每次请求访问时都需要重新批准。

它还要求用户放弃很多隐私来换取便利。其帮助中心表示,用户还必须启用 macOS 辅助功能以及屏幕和系统音频录制权限,Gemini 才能控制桌面应用程序。