dede小说采集规则如何配置？

什么是 DedeCMS 小说采集？

DedeCMS 的小说采集功能，允许你通过设置一系列规则，从其他网站上自动抓取小说的章节内容，并将其格式化后，发布到你自己的 DedeCMS 网站上，这个过程就像是一个“机器人”帮你复制粘贴，但速度更快，且能自动处理章节名、内容、分页等。

核心流程：

1. 分析目标网站：找到你要采集的小说列表页和章节内容页。
2. 编写采集规则：在 DedeCMS 后台，创建一个采集任务，并填写规则。
3. 执行采集：运行任务，DedeCMS 根据规则抓取数据并存入数据库。
4. 自动生成：系统自动为你生成小说首页、章节列表页和章节内容页。

采集规则的构成要素

一个完整的小说采集规则通常由以下几个部分组成,缺一不可：

1. 任务名称：给你的采集任务起个名字，方便管理。
2. 目标网址：
   • 列表页网址：存放所有章节链接的页面。https://www.example.com/book/123/
   • 内容页网址：存放单个章节正文内容的页面，列表页中的每一个链接都指向一个内容页。
3. 列表页规则：用于从列表页中提取出所有章节的链接。
   • 章节链接采集：使用 list 标签，配合 XPath 选择器，定位到所有章节 <a> 标签的 href 属性。
4. 内容页规则：用于从每一个章节的内容页中提取标题和正文。
   • 采集：使用 title 标签，配合 XPath 选择器，提取章节标题。
   • 采集：使用 text 标签，配合 XPath 选择器，提取章节正文。
5. 发布栏目：采集到的小说内容需要发布到哪个 DedeCMS 的栏目下。
6. 作者与来源：
   • 作者：可以手动指定，也可以尝试从页面中抓取。
   • 来源：通常设置为采集任务本身的名称，或者抓取网站名。
7. 分页规则：如果章节正文有多页，需要设置规则来抓取所有分页的内容并合并。
8. 过滤与替换：用于清理抓取到的内容，比如删除广告、版权信息、修改图片链接等。

如何编写具体的采集规则（实战演练）

我们以一个假设的小说网站为例,一步步编写规则。

假设目标网站结构：

• 列表页：https://www.example.com/novel/abc/
• 章节链接：在 <div class="chapter-list"> 下的 <a> 标签里。
• 页的 <h1 class="chapter-title"> 标签里。
• ：在 <div class="chapter-content"> 标签里。

第一步：分析并编写“列表页规则”

1. 打开列表页：https://www.example.com/novel/abc/
2. 使用浏览器开发者工具 (F12)：
   • 切换到“元素” (Elements) 标签。
   • 按下 Ctrl+F 搜索 chapter-list，找到包含所有章节列表的 <div>。
   • 观察其结构,你会发现里面有很多 <a> 标签，每个 <a> 就是一个章节链接。
3. 确定 XPath：
   • 定位到 <div class="chapter-list">。
   • 然后定位到它内部所有的 <a>
   • 完整的 XPath 可能是：//div[@class='chapter-list']//a
4. 在 DedeCMS 后台填写规则：
   • 进入“采集” -> “采集管理” -> “增加新采集任务”。
   • 任务名称：示例小说采集
   • 目标网址：https://www.example.com/novel/abc/
   • 列表页规则：
     • 采集网址：留空，因为这是起始页。
     • 链接：选择 list。
     • 填写我们找到的 XPath：//div[@class='chapter-list']//a
     • 链接网址：选择 list。
     • 填写 XPath 提取 href 的方式：@href。
     • 网址过滤：可以留空，或者写上网站的域名，如 www.example.com，防止抓取到外部链接。