novel-plus 是一套功能完善的原创文学 CMS 系统,支持 PC 网站、WAP、H5、Android、iOS 和微信小程序等多个终端,可以一站式搭建从内容管理到用户运营的小说平台。
项目包含前台门户、作家后台、平台管理后台和爬虫管理系统等多个子系统,提供小说推荐、作品检索、排行榜、在线阅读、书评、段落评论、书单、会员中心、作家专区等功能。
此外,它还支持多模板自定义、数据库分表和 TXT 文本等多种小说内容存储方式,以及阅读主题切换、测试数据自动采集与更新、AI 写作、会员充值、章节订阅、新闻发布和实时统计报表。




从正则到多种解析方式
此前,novel-plus 爬虫引擎在原有正则表达式解析的基础上,陆续增加了 CSS、XPath、JSONPath 等解析方式,并支持第三方规则导入,进一步降低了爬虫规则的编写和维护成本。

规则编写接入 AI
现在,规则编写正式接入 AI。
不需要了解正则表达式,也不需要手动分析网页结构,只需输入一个小说网站的 URL,AI 就能自动分析页面并生成对应的爬虫规则。
使用时,在“AI 辅助生成规则”面板中填入原站各类页面的真实示例 URL,包括列表页、详情页、目录页和正文页。其中列表页必填,提供的页面越全,生成的规则越完整。AI 固定使用 CSS 选择器解析方式,生成后会自动把解析方式切换为 CSS。

生成的规则会自动回填到列表页规则、详情页规则等表单项中,并以黄色标记。下图中,列表页小说 ID、详情页 URL、小说名、作者和图片路径等规则都已自动填好。

实测:两个模型的对比
为了验证实际效果,目前已经选取飘天文学网和书趣阁做了测试,并使用以下两个模型对比:
deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
tencent/Hy4-preview
两个模型都能完成规则生成任务,但实际效果有一定差异:
- Tencent Hy4-preview: 本次测试中生成的规则均能正常使用,正确率达到
100%,从规则生成到实际使用,全程无需人工干预。
- DeepSeek R1: 能生成大部分规则,但偶尔会出现错误,需要人工检查和修正。

从目前的测试结果看,AI 自动生成规则已经具备实际应用价值。不过不同模型的生成质量仍有差异,建议在正式采集前先用“规则测试”验证规则。如果想横向对比更多模型的生成效果,可以借助 RouteFast.ai 这类模型 API 中转服务统一调用。
发布进度
目前,相关代码已经推送到 GitHub 仓库的 6.4.x 分支,暂未正式发布,将随后续版本更新上线。
想了解更多爬虫与 AI 方面的开发资料,也可以到云栈社区交流。
|