找回密码
立即注册
搜索
发回帖 发新帖

6663

积分

0

好友

845

主题
发表于 昨天 04:24 | 查看: 12| 回复: 0

novel-plus 是一套功能完善的原创文学 CMS 系统,支持 PC 网站、WAP、H5、Android、iOS 和微信小程序等多个终端,可以一站式搭建从内容管理到用户运营的小说平台。

项目包含前台门户、作家后台、平台管理后台和爬虫管理系统等多个子系统,提供小说推荐、作品检索、排行榜、在线阅读、书评、段落评论、书单、会员中心、作家专区等功能。

此外,它还支持多模板自定义、数据库分表和 TXT 文本等多种小说内容存储方式,以及阅读主题切换、测试数据自动采集与更新、AI 写作、会员充值、章节订阅、新闻发布和实时统计报表。

novel-plus 移动端界面拼图:首页、书城、书籍详情、阅读页、书架、用户中心与充值页

小说精品屋 PC 端首页:榜单、热门推荐与新闻公告

novel-plus 作家后台:创作数据看板、订阅数据、章节列表与内容检测

novel-plus 平台管理后台:小说、会员、订单统计与增长趋势图

从正则到多种解析方式

此前,novel-plus 爬虫引擎在原有正则表达式解析的基础上,陆续增加了 CSS、XPath、JSONPath 等解析方式,并支持第三方规则导入,进一步降低了爬虫规则的编写和维护成本。

导入第三方规则弹窗:支持阅读 3.0 书源,可解析预览并映射分类

规则编写接入 AI

现在,规则编写正式接入 AI。

不需要了解正则表达式,也不需要手动分析网页结构,只需输入一个小说网站的 URL,AI 就能自动分析页面并生成对应的爬虫规则。

使用时,在“AI 辅助生成规则”面板中填入原站各类页面的真实示例 URL,包括列表页、详情页、目录页和正文页。其中列表页必填,提供的页面越全,生成的规则越完整。AI 固定使用 CSS 选择器解析方式,生成后会自动把解析方式切换为 CSS。

AI 辅助生成规则表单:填写列表页、详情页、目录页、正文页示例 URL,提示已回填 21 项规则

生成的规则会自动回填到列表页规则、详情页规则等表单项中,并以黄色标记。下图中,列表页小说 ID、详情页 URL、小说名、作者和图片路径等规则都已自动填好。

爬虫源规则表单:AI 回填的列表页规则与详情页规则,CSS 选择器写法

实测:两个模型的对比

为了验证实际效果,目前已经选取飘天文学网和书趣阁做了测试,并使用以下两个模型对比:

  • deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
  • tencent/Hy4-preview

两个模型都能完成规则生成任务,但实际效果有一定差异:

  • Tencent Hy4-preview: 本次测试中生成的规则均能正常使用,正确率达到 100%,从规则生成到实际使用,全程无需人工干预。
  • DeepSeek R1: 能生成大部分规则,但偶尔会出现错误,需要人工检查和修正。

爬虫源列表:书趣阁(AI 生成)已正常运行,采集 1030 章

从目前的测试结果看,AI 自动生成规则已经具备实际应用价值。不过不同模型的生成质量仍有差异,建议在正式采集前先用“规则测试”验证规则。如果想横向对比更多模型的生成效果,可以借助 RouteFast.ai 这类模型 API 中转服务统一调用。

发布进度

目前,相关代码已经推送到 GitHub 仓库的 6.4.x 分支,暂未正式发布,将随后续版本更新上线。

想了解更多爬虫与 AI 方面的开发资料,也可以到云栈社区交流。




上一篇:Rust 从零实现消息队列:ACK、超时重投与死信
下一篇:币安攻击事件复盘:从假面试到钱包签名权限
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-20 04:41 , Processed in 0.069254 second(s), 43 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表