找回密码
立即注册
搜索
发回帖 发新帖

6657

积分

0

好友

839

主题
发表于 昨天 20:25 | 查看: 5| 回复: 0

关于 Computer Use

Copilot 现在可以代你操作桌面应用程序,包括读取应用中可访问的内容和视觉上下文、点击控件、输入和编辑文本、按键、滚动、拖动,甚至跨应用程序执行完整的工作流程。

这项能力对没有提供 API、命令行界面或 MCP 集成的旧版软件特别有用——那些只能通过图形用户界面操作的软件,如今也能被 AI 接管了。它适用于 macOS 和 Windows 上的本地会话。

Computer Use 本质上是一种典型的 AI Agent 落地场景:模型不再只是生成文本,而是真正“动手”操作你的电脑。这与当前 Agent开发 领域常见的 Function Calling、多智能体协作等思路一脉相承——只不过这里的“工具”变成了完整的桌面环境。

接下来分别介绍如何在 GitHub Copilot CLI 和 Visual Studio Code 的 GitHub Copilot 中使用 Computer Use。

在 GitHub Copilot CLI 中启用 Computer Use

在交互式 Copilot CLI 会话中,先查看当前状态:

/computer show

启用 Computer Use:

/computer on

Copilot CLI 会保存你的偏好设置,并自动启用内置的 Computer Use 插件。如果你的组织在托管策略中禁用了该功能,CLI 会报告功能已被阻止,本地偏好设置无法覆盖策略。

在 macOS 上,Computer Use 会引导你授予“辅助功能”和“屏幕录制”权限,这是它获取屏幕内容和模拟输入的前提条件。

GitHub Copilot CLI 中开启 computer use 的状态截图,显示 computer on 命令补全、MCP Servers 已连接及权限提示

使用 Computer Use 操作

当你把期望结果、涉及的应用程序以及重要约束描述清楚时,Computer Use 的效果最佳。比如:

打开 APP_NAME,并总结主窗口中显示的状态信息。
不要修改任何值,也不要提交任何表单。

将 APP_NAME 替换为计算机上已安装的应用程序名称即可。

Computer Use 遵循当前生效的 Copilot CLI 权限模式,该模式决定 Copilot 在控制应用程序之前是否需要请求批准。输入 /permissions show 可查看当前生效的模式。当需要批准时:

  • 选择 Allow(允许):为当前 Computer Use 会话授予访问权限;
  • 选择 Always allow(始终允许):保存批准,后续会话可复用;
  • 也可以直接拒绝或取消请求。

如果你为某个应用程序选择了 Always allow,当你在同一台计算机上的 GitHub Copilot 应用中再次使用 Computer Use 时,这份保存的批准同样适用于 VS Code 端。出现提示时,请务必确认应用程序和操作与你的请求一致——已配置的拒绝规则始终具有优先权。

要中断正在执行的操作,连按两次 Esc。

禁用 Computer Use

在交互式会话中执行:

/computer off

随后可用 /computer show 确认插件和 MCP 服务器已禁用。

在 VS Code 的 GitHub Copilot 中启用 Computer Use

在 Visual Studio Code 中打开 Chat 对话框,输入:

/computer on

VS Code 中输入 /computer 触发自动补全,显示 computer off 与 computer on 选项,底部状态栏显示正在下载 Codex Agent

VS Code 中的体验与 CLI 侧保持一致,同一套权限批准机制也会在三端共享。这意味着你在 CLI 里对某个应用选择了“始终允许”,切换到 VS Code 后同样生效。

总结

有了 Computer Use,即使传统软件没有任何 API,也可以让 AI 辅助完成重复的数据录入,减少人工复制、粘贴和填写表单的工作量。对于界面稳定、录入规则明确的流程,这项能力有望节省不少时间。




上一篇:Windows 11 启动项延迟:改两个注册表参数,自启动从150秒降到30秒
下一篇:BackgroundAgentsProvider 后台任务委派:父 Agent 并行调度多个子 Agent 实战
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-17 17:58 , Processed in 0.065561 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表