dede如何采集视频站？

这是一个非常经典的需求,但同时也伴随着版权和合法性的风险，在开始之前，请务必了解：

⚠️ 重要声明：版权与合法性警告

1. 版权问题：绝大多数视频网站（如腾讯视频、爱奇艺、Bilibili、优酷等）对其视频内容拥有版权，未经授权，擅自采集并用于自己的网站，是严重的侵犯版权行为。
2. 法律风险：版权所有方有权向你的主机服务商或你本人发送 DMCA 下架通知，严重时可能导致网站被关闭、收到律师函甚至被起诉。
3. 技术风险：视频网站有反爬虫机制，你的采集行为可能会导致你的 IP 被封禁，网站被 K 掉（搜索引擎惩罚），甚至服务器被攻击。
4. 内容质量：采集来的内容通常质量不高，带有大量冗余信息（如其他网站的广告、水印），且同质化严重，不利于网站的长期发展。

本教程仅作为技术学习和研究之用。强烈建议你仅用于采集版权明确允许或属于公共领域的视频内容，对于商业运营，请务必获得授权或自行创作原创内容。

DedeCMS 采集视频的原理

DedeCMS 的采集功能是通过“远程采集”模块实现的，其基本流程如下：

1. 分析目标网页：手动打开一个目标视频的网页（https://v.qq.com/x/cover/...），分析其 HTML 结构，找到视频标题、封面图、播放地址、简介等信息在 HTML 代码中的位置。
2. 创建采集规则：在 DedeCMS 后台，根据分析出的 HTML 结构，创建一个“采集规则”，这个规则就像一个“说明书”，告诉 DedeCMS 如何从目标网页中提取你想要的信息。
3. 设置栏目：指定采集到的视频内容要发布到网站的哪个“栏目”下。
4. 执行采集：运行采集任务，DedeCMS 会根据你设定的规则，批量访问目标网页，抓取内容，并自动整理成文章，发布到你指定的栏目中。

详细操作步骤

假设我们要采集一个虚构的视频网站 example-video.com 上的视频。

第一步：分析目标网页源码

1. 在浏览器中打开一个你想采集的视频页面,https://example-video.com/play/12345。
2. 在页面上右键,选择“查看网页源代码”（View Page Source）。
3. 打开源码后,使用 Ctrl+F 搜索关键词，定位关键信息的位置。

你需要找到以下信息的标签：

• ：通常在 <title> 标签里，或者某个 <h1>、<h2> 标签中。
• 视频封面图：通常是一个 <img> 标签，其 src 属性包含了图片地址。
• 视频播放地址 (最重要)：这是最关键也最复杂的一步，播放地址可能直接是 .mp4、.flv 链接，也可能是一个需要二次解析的 .m3u8 或 .f4m 文件，甚至是一个 JavaScript 变量，你需要耐心分析。
• 视频简介/描述：通常在某个 <p> 或 <div> 标签内。
• 视频标签/关键词：可能以 <meta name="keywords"> 或标签云的形式存在。

示例分析结果： 假设我们分析后发现：在 <h1 class="video-title"> 和 </h1> 之间。

• 封面图在 <img id="poster" src="https://.../cover.jpg"> 的 src 属性里。
• 播放地址在 <script type="text/javascript"> 里的 var playUrl = 'https://.../video.mp4'; 这个变量里。

第二步：创建采集规则

1. 登录 DedeCMS 后台。

2. 进入 “采集” -> “采集管理” -> “增加新采集”。

3. 填写基本信息：

   
   （图片来源网络，侵删）
   • 任务名称：给你的采集任务起个名字，如“示例视频采集”。
   • 目标网站：填写 example-video.com。
   • 目标列表网址：填写包含多个视频链接的列表页 URL，https://example-video.com/list/，DedeCMS 会从这个页面里找出所有视频的详情页链接。
   • 列表链接采集：点击“选择列表链接”，在弹出的页面中，用鼠标选择列表页中每个视频链接的 HTML 结构（<a href="/play/12345">），然后保存。
   • 起始页：从第几页开始采集，默认为 1。
   • 采集间隔：为了防止被封，建议设置一个间隔，如 5-10 秒。
   • 目标栏目：选择一个已经创建好的视频栏目，电影”。
   • 作者：可以设置为固定的“佚名”或“管理员”。
   • 来源：可以设置为固定的“网络”或“示例视频站”。
   • 发布时间：选择“自动发布时间”，这样采集时间就是文章的发布时间。

4. 采集规则 (核心步骤)：

   • 采集规则”区域，点击“”。
   • 会弹出一个新的窗口,显示你刚才设置的列表页中的第一个视频详情页。
   • 你需要在这个页面上,像之前分析源码一样，用鼠标拖动选择内容，然后点击对应的按钮：
     • 用鼠标拖动选择视频标题,然后点击“”按钮，DedeCMS 会自动填充规则。
     • 用鼠标拖动选择视频简介、介绍等正文部分，然后点击“”按钮。
     • 图片里有图片，可以点击“选择图片”来提取。
     • 发布时间：如果页面有时间显示，可以选择它。
     • TAG标签：如果页面有关键词，可以选择它。
     • 自定义字段：这是采集视频的关键！
       • 在下方找到“自定义字段”或“附加字段”。
       • 点击“增加新字段”。
       • 字段名：填写一个英文名，如 video_url。
       • ：填写一个中文名，如“视频播放地址”。
       • 在视频详情页,用鼠标右键点击视频播放器，选择“检查元素”，找到 <video> 标签或 <script> 标签里的播放地址。
       • 用鼠标拖动选择这个地址,然后点击“选择自定义字段”，并选择你刚刚创建的 video_url 字段。

5. 保存规则：所有规则设置完毕后，点击“保存”按钮。

第三步：测试与执行采集

1. 测试规则：

   • 在“增加新采集”页面保存后，会进入任务列表。
   • 找到你刚创建的任务,点击“测试”。
   • DedeCMS 会抓取一条数据，并在页面上显示抓取到的标题、内容、视频地址等信息，请仔细检查是否准确无误。
   • 如果视频地址抓取失败，99% 的情况是自定义字段的规则设置错了，你需要返回上一步重新分析并设置。

2. 执行采集：

   • 测试无误后,点击任务列表中的“开始采集”。
   • 系统会开始按照你设定的列表页,逐页抓取视频内容并发布到指定栏目，这个过程可能需要很长时间，请耐心等待。

视频播放的实现

采集完成后,你会发现文章内容里有你自定义的 video_url 字段，但前台页面并不能直接播放，你需要修改模板文件。

1. 找到模板文件：

   • 进入 “模板” -> “默认模板管理”。
   • 找到你发布视频的那个栏目（如“电影”），点击其“列表模板”和“内容页模板”。

2. 页模板 (article_article.htm)：

   • 在模板中找到 {dede:field.body/} 这个标签，它代表文章正文。
   • 你需要用 {dede:field.name/} 来调用自定义字段，你的字段名是 video_url，那么调用方式就是 {dede:field.video_url/}。
   • 将原来的正文部分替换为视频播放器代码,最简单的是使用 HTML5 的 <video>

   修改示例：

   <!-- 找到 {dede:field.body/} 这一行，删除或注释掉它 -->
   <!-- 在这里添加视频播放器代码 -->
   <video controls width="100%" height="400" poster="{dede:field.litpic/}">
       <source src="{dede:field.video_url/}" type="video/mp4">
       您的浏览器不支持 HTML5 视频。
   </video>
   <!-- 视频简介等正文内容可以放在下面 -->
   <div class="content">
       {dede:field.body/}
   </div>

3. 更新缓存：

   • 修改完模板后,进入 “系统” -> “一键更新网站”，选择“更新所有HTML”或“更新栏目HTML”，然后点击“开始更新”。