关于 Computer Use
Copilot 现在可以代你操作桌面应用程序,包括读取应用中可访问的内容和视觉上下文、点击控件、输入和编辑文本、按键、滚动、拖动,甚至跨应用程序执行完整的工作流程。
这项能力对没有提供 API、命令行界面或 MCP 集成的旧版软件特别有用——那些只能通过图形用户界面操作的软件,如今也能被 AI 接管了。它适用于 macOS 和 Windows 上的本地会话。
Computer Use 本质上是一种典型的 AI Agent 落地场景:模型不再只是生成文本,而是真正“动手”操作你的电脑。这与当前 Agent开发 领域常见的 Function Calling、多智能体协作等思路一脉相承——只不过这里的“工具”变成了完整的桌面环境。
接下来分别介绍如何在 GitHub Copilot CLI 和 Visual Studio Code 的 GitHub Copilot 中使用 Computer Use。
在 GitHub Copilot CLI 中启用 Computer Use
在交互式 Copilot CLI 会话中,先查看当前状态:
/computer show
启用 Computer Use:
/computer on
Copilot CLI 会保存你的偏好设置,并自动启用内置的 Computer Use 插件。如果你的组织在托管策略中禁用了该功能,CLI 会报告功能已被阻止,本地偏好设置无法覆盖策略。
在 macOS 上,Computer Use 会引导你授予“辅助功能”和“屏幕录制”权限,这是它获取屏幕内容和模拟输入的前提条件。

使用 Computer Use 操作
当你把期望结果、涉及的应用程序以及重要约束描述清楚时,Computer Use 的效果最佳。比如:
打开 APP_NAME,并总结主窗口中显示的状态信息。
不要修改任何值,也不要提交任何表单。
将 APP_NAME 替换为计算机上已安装的应用程序名称即可。
Computer Use 遵循当前生效的 Copilot CLI 权限模式,该模式决定 Copilot 在控制应用程序之前是否需要请求批准。输入 /permissions show 可查看当前生效的模式。当需要批准时:
- 选择 Allow(允许):为当前 Computer Use 会话授予访问权限;
- 选择 Always allow(始终允许):保存批准,后续会话可复用;
- 也可以直接拒绝或取消请求。
如果你为某个应用程序选择了 Always allow,当你在同一台计算机上的 GitHub Copilot 应用中再次使用 Computer Use 时,这份保存的批准同样适用于 VS Code 端。出现提示时,请务必确认应用程序和操作与你的请求一致——已配置的拒绝规则始终具有优先权。
要中断正在执行的操作,连按两次 Esc。
禁用 Computer Use
在交互式会话中执行:
/computer off
随后可用 /computer show 确认插件和 MCP 服务器已禁用。
在 VS Code 的 GitHub Copilot 中启用 Computer Use
在 Visual Studio Code 中打开 Chat 对话框,输入:
/computer on

VS Code 中的体验与 CLI 侧保持一致,同一套权限批准机制也会在三端共享。这意味着你在 CLI 里对某个应用选择了“始终允许”,切换到 VS Code 后同样生效。
总结
有了 Computer Use,即使传统软件没有任何 API,也可以让 AI 辅助完成重复的数据录入,减少人工复制、粘贴和填写表单的工作量。对于界面稳定、录入规则明确的流程,这项能力有望节省不少时间。
|