找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

4303

积分

0

好友

559

主题
发表于 1 小时前 | 查看: 3| 回复: 0

如果你有过编写 Agent Skill 的经历,一定深有体会。
为了写出一份 SKILL.md,你得把整个操作流程从头捋一遍,记住每个步骤、每个工具,还要清晰地定义边界条件和输入参数——实在是折磨人。

最近,我在 GitHub 上发现了一个微软的开源项目——skill-recorder,已经收获了 2.1k Star。
它是用来把操作录下来、自动生成 AI 能执行的 Skill 文档的桌面工具,彻底解放你的双手。

上手演示:录制报销单操作

假设我要在 OA 系统里填写一张报销单。
装好 skill-recorder 之后,按住 Ctrl+Shift+R 开始录制屏幕。

接着就像平常一样操作:打开 OA 页面,填写金额、上传发票、点击提交。
工具会默默记录你完成任务的整个过程,不关心你点了哪个像素,而是聚焦你做了什么——打开报销页面、填入金额、上传发票、点击提交。

录制结束,点击 Analyze,Copilot 就开始工作。
它会把这些操作信号串联起来,重构出“总的意图 + 有序步骤”,然后自动生成一份 SKILL.md。

这份文档既能让人看懂,也能让 AI 直接执行。
下次再遇到报销流程,直接把 SKILL.md 交给 Agent,它就能按照步骤自动完成整个过程。
你不需要写复杂的提示词,也不用学习 RPA 脚本,剩下的整理、描述和转换全由 Copilot 包办。
而且这个技能不只你一个人使用,放入团队仓库后,同事也能直接调用。

它是怎么做到的?

01 后台录制,但记录的不是视频

Skill Recorder 捕获的是操作信号,而不是屏幕像素。
窗口切换、浏览器 URL、剪贴板内容、可选的语音旁白……这些信息都会在本地结构保存。
屏幕视频只起辅助定位的作用,并非主要数据来源。录制一小时,硬盘也不会被巨大视频撑爆。

旁白不是必需的。如果开启麦克风,Whisper 会在本地完成语音转文字,支持 99 种语言。
录制时还有一个置顶的浮动小窗口,随时可以静音、切换麦克风或结束录制,非常方便。

02 Copilot 分析,帮你重建操作流程

录制过程中的所有数据都保存在本地,不会上传。
只有你点击 Analyze 时,才会把事件时间线、抽帧截图以及旁白文字传到 GitHub 云端。
Copilot 把这些信号连起来,理解出你正在“填写报销单”,而不是“点击了第三个按钮”。
这是基于语义的执行方式,绝非简单的坐标回放。

录制一次,就能复用到 N 个相同结构的任务中去。
遇到类似的报销流程,Agent 不需要重新学习,直接用这个 Skill 就好。
这也是它与传统 RPA 最大的区别——RPA 录制的是固定路径,一个流程只配一个页面,一旦界面按钮位置调整,脚本就失效了。

03 输出 SKILL.md,人能看,AI 也能跑

生成的 SKILL.md 本质上就是 Markdown + YAML frontmatter,不是伪代码,也不是某种特定 DSL。
执行时,它会调用原生工具,比如 gh CLI、web_fetchgit 等,而非硬记页面上按钮的位置。
界面改版了没关系,流程逻辑没变,SKILL.md 就依然能用。
官方原话很直白:prefer the agent's native tools over replaying UI clicks。

04 一次录制,所有 Agent 重复使用

生成的 SKILL.md 不只给 Copilot 用。
Microsoft Scout、Copilot Cowork、Copilot Studio 都能直接调用。
甚至 Claude Code、Codex、Cursor 等第三方 Agent,只要支持 SKILL.md 格式,也能运行。

此外,Skill Recorder 还加入了敏感信息检测。
在发送之前,用本地 OCR 扫描并自动屏蔽密码和 Token。
录制时不小心露出的敏感内容,它会帮你遮住再发出去。

迫不及待想试试?

Skill Recorder 是 source-only 发布,一行命令就能装好。

Windows PowerShell:

$commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

macOS、Ubuntu:

commit="7b0efa9534d59efb4e488a9fe855862ecba45844"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

不需要管理员权限,也不需要全局安装 Node.js,但必须订阅 Copilot。
安装好后,按下 Ctrl+Shift+R 开始录制,录完点分析,一份 SKILL.md 就到手了。

边界说明

Analyze 阶段必须走云端,暂时不支持离线分析。所以官方反复提醒:别录密码、Token、API Key。
终端命令录制尚未实现,不过已经在路线图中。
另外,它目前只支持 macOS、Windows 11 和 Ubuntu,其他 Linux 发行版暂未覆盖。

写在最后

作为一个经常与自动化打交道的开发者,我也常写 SKILL.md。
每次都要重新梳理流程、定义工具、补齐边界条件,再反复调整,才能让 AI 准确执行。
Skill Recorder 就是为了解决这个环节——你只需像平常一样操作一次,它就会自动整理步骤,生成可直接使用的 SKILL.md。
不用写代码,不用手动整理流程,录一次,直接得到一个可运行的 Skill。

有需要的朋友可以试试。项目基于 MIT 协议开放,感兴趣的同学可以去 GitHub 仓库查看源码和文档。
如果你也在 云栈社区 交流类似的开源经验,欢迎分享你的心得。
开源地址:https://github.com/microsoft/skill-recorder




上一篇:LLM不会跳跃?Jeff Dean为何押注贝叶斯AI新时代
下一篇:Agent Skills开发实战新书首发:AI智能体模块化工程落地全解
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-8-9 01:30 , Processed in 1.163400 second(s), 41 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表