MediaCrawler 实测：不逆向签名，一条命令采集小红书抖音公开数据

想在小红书上看看某个品类最近都在聊什么？或者把抖音某个赛道的高赞视频拉下来做竞品分析？网页上数据明明都是公开的，可真要把它变成一张能用的表，大概率会卡在第一关：请求发出去，接口直接回一个签名校验失败。

国内内容平台的接口几乎都带签名参数，小红书的 X-s、抖音的 a_bogus，算法全藏在混淆过的 JS 里。常规做法是逆向——把那段 JS 抠出来、还原加密逻辑、用 Node 跑起来给每个请求算签名。熟练工程师也得花上几天，普通人基本上一上来就被劝退了。

MediaCrawler 解决的就是这个「数据明明公开，你却拿不到」的问题。它的解法只有一句话：不逆向，直接用你登录后的浏览器去取签名。

它把最难的那关绕过去了

平台校验签名，本质是想确认「这是个正常浏览器里的正常用户」。MediaCrawler 不跟它斗算法，而是基于 Playwright 浏览器自动化，先把你的登录态保存在一个真实的浏览器上下文里，需要签名时，直接在这个上下文里执行一段 JS 表达式，让平台自己的代码把签名算出来。

签名是平台亲手算的，自然能通过校验。你完全不用碰任何加密算法。

我第一遍读技术原理时愣了一下：逆向工程师抠算法、补环境、跟平台斗好几天的活，它借浏览器的手就绕开了。同类仓库要么逼你逆向，要么把签名做成付费接口，它直接把整件事降成「装环境 → 跑命令 → 扫码登录」。

5.9 万 Star 不是因为它爬的平台多，是因为它把门槛砍到了普通人够得着的位置。

项目卡片

• 项目：MediaCrawler[1]
• 状态：59,519 Stars / 11,724 Forks / 活跃维护（2026-07 仍有提交）
• 一句话判断：想低成本拿国内内容平台公开数据做研究/分析，它是目前门槛最低的开源选择；但只适合学习和小规模使用，碰商用就是越线。

左：常规爬虫要先逆向签名算法，门槛高、易失效；右：借登录态浏览器让平台亲手算签名，绕开逆向。

一个入口，七个平台

绕过签名只是第一关。我本来以为到这里就够了，真要做点东西才发现第二个麻烦：平台是碎的。

小红书的字段和抖音不一样，B 站和微博的接口结构又是另一套。自己写，等于把「登录、取签名、解析、存数据」这套流程重复造七遍。

MediaCrawler 把这七个平台——小红书、抖音、快手、B 站、微博、贴吧、知乎——收进了同一套命令。换平台只是改一个参数：

# 爬小红书的搜索结果
uv run main.py --platform xhs --lt qrcode --type search

# 同样的命令，换个平台代号就能爬抖音
uv run main.py --platform dy --lt qrcode --type search

--platform 选平台，--lt 选登录方式（二维码 / 手机号 / Cookie），--type 选爬法：按关键词搜索、按指定 ID 精确抓、或者顺着某个创作者主页往下拉。七种平台、三种登录、三种爬法，排列组合都在同一条命令里完成。

对使用者的意义很直接：你学一次就会用全部平台，不用每换一个平台重读一遍文档。

拿到的不是网页，是能用的表

解决了「能爬到」，下一个冒出来的问题是：爬下来的东西能不能直接用？

很多爬虫项目把数据往控制台一打印就完事，剩下的清洗、去重、入库全是你自己的活。MediaCrawler 默认就把结果落成结构化文件。它支持八种存储方式——CSV、JSON、JSONL、Excel、SQLite、MySQL、MongoDB、PostgreSQL——默认用 JSONL，一行一条记录，标题、正文、点赞收藏数、评论内容都在里面。

做选题的导 Excel 直接看，做分析的灌进 SQLite 接着跑，数据从「爬下来」到「能用」基本不用再加工。

它甚至顺手做了个评论词云图——爬完评论自动生成一张词云，看用户都在说什么，一眼就有数。

一条命令作为统一入口，换平台只改一个参数；七个平台的数据最终都落成可直接使用的结构化文件。

默认参数在替你保号

能拿到数据之后，最怕的反而不是拿不到，是拿得太猛把账号搭进去。

国内平台的风控很敏感，短时间高频请求很容易触发验证甚至封号。我翻 config/base_config.py 时注意到一组数字：单轮最多爬 15 条，并发数默认 1，请求之间至少睡 2 秒。这几个值完全可以调高，但作者把它们设成了这么保守的默认。

一个想让你「多爬快爬」的项目不会这么写默认值。它是在替没经验的人兜底。

它默认开启的 CDP 模式也是同一个思路：不启动「干净」的新浏览器，而是连你电脑上正在用的 Chrome，复用已有的 Cookie 和浏览历史。在平台眼里这更接近真人操作，被当成恶意爬虫的概率低很多。

需要说清的是，这不等于「绝对不被封」。小红书的风控尤其严格，README 和常见问题里都反复提醒：不要大规模爬取。项目的态度从默认值就能看出来——它帮你降低被误伤的概率，但不替你的滥用兜底。

它适合谁，不适合谁

值得花时间的场景很具体：

做内容选题，批量看某话题下的热门笔记和高赞评论；做竞品研究，把某赛道公开内容拉下来横向对比；做用户洞察，从评论里提炼真实反馈；或者想学爬虫，找个架构清晰、文档齐全的成熟项目读源码。

这些场景的共同点是：数据是公开的、量不大、目的是研究或学习。

不适合的也很明确：想拿它做商业数据服务、批量倒卖数据、或者大规模采集去影响平台运营的——别碰。这不是技术问题，是红线问题。

适合与不适合之间是一道红线：公开数据、量不大、非商用就放心用；碰商用或大规模采集，即越过非商业学习许可。

用之前要知道的几条边界

它的能力有清晰的范围，提前知道能少走弯路。

只能拿公开数据，且需要登录态。你得有一个能正常登录对应平台的账号，扫码或填 Cookie 把登录态交给它，程序才能跑。

环境上：Python 包管理推荐用 uv；爬抖音和知乎还得装 Node.js（16 以上），签名要在 Node 里跑，其他平台不需要。

命令行之外还有个 WebUI，不想碰终端也能在网页里配参数、导数据；断点续爬、多账号这类进阶能力在企业版 MediaCrawlerPro 里，开源版只给了一部分。

最重要的一条写在它的许可证里：MediaCrawler 用的是非商业学习许可，明确限定只能用于学习和研究，不得大规模爬取，未经书面同意不得商用。README 开头甚至直接挂了一份爬虫违法违规的案件合集链接——很少有项目把警告放得这么靠前。

回到最开始那个问题：它值不值得用？如果你的需求是小规模拿点公开数据做研究、做选题、做竞品，它几乎是当下门槛最低的开源选择，值得花时间。如果你打算拿它赚钱或者大规模采集，那别碰。这条线项目和法律都不站在你这边，而它从默认参数到许可证，也一直在劝你止步于此。

引用链接

[1] MediaCrawler: https://github.com/NanmiCoder/MediaCrawler