Question

论坛采集器的简介

Answer 1

论坛采集器核心技术
论坛采集器核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为物体前人积累的经验的抽象和升华。简单地说，就是从不断重复出现的事件中发现和抽象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。
所以要让论坛采集器能够运行，目标论坛必须具备重复出现的特征。大多论坛都是动态生成的，这样就会让同一模板的页面包含相同的内容，论坛采集器正是利用这些相同的内容来定位采集数据的。
论坛采集器中的模式大多不是程序自动发现的，几乎所有的论坛采集器产品都需要通过人工来定义。但模式本身是个很复杂，很抽象的内容，所以所有的开发者精力都花在怎样让模式定义更简单，更准确，这也是论坛采集器竞争力的衡量标准。
但我们怎样来描述模式呢，技术主要有两种方式：正则表达式定义和文档结构定义。
正则表达式定义
正则表达式定义是主流应用的技术，主要代表为火车头采集器。此技术简单，灵活性高。但用户操作复杂。由于此模式作用于网页的源代码上，因此匹配的结果受代码版面格式影响比较大，并且也不够直观，对比较复杂的页面结构几乎无能为力。 已经有几款产品使用辅助工具来减低用户的操作难度。
文档结构定义
文档结构定义应该说它是目前最先进的技术，已经具备一定的模式学习能力。主要代表为视采采集器。此模式作用于文档这一层，不同于正则表达式作用于页面源代码。所谓文档这一层，指的是源代码运行后所生成的实际对象，即用户在浏览器所看到的内容。所以操作可视化是此技术天生就具备的能力。
由于它是对文档结构进行匹配，所以它不受页面源代码的影响，用户定义比较直观，并且程序能够根据文档对象获取更多的逻辑上的特征信息，匹配更准确，通用性更强。
此技术在学术研究论文上已经呈现过，也在几家实验室开发出此类产品。但真正在商业上应用很少。
常用论坛采集器介绍
视采论坛采集器
视采论坛采集器支持定时抓取，同步跟帖，附件下载，突破防盗链等。系统内置操作向导,手把手教你操作。很好的支持Discuz,PHPWind,动网(Dvbbs)等论坛采集。