Question

网站采集器的需求概述

Answer 1

网站采集
网站管理员希望将别人的整站数据下载到自己的网站里或者将别人网站的一些内容保存到自己的服务器上。从内容中抽取相关的字段，发布到自己的网站系统中。有时需要将网页相关的文件也保存到本地，如图片、附件等。
网站管理员会定时从同一网站上抓取内容，希望已经抓取的内容不要再发布到网站系统中。对于一些网站，需要登陆才能获取页面。网站管理员希望通能够通过一个内容列表页面获取所有的相关内容，包括内容列表的其它分页。当第二次抓取相同网站时，希望不要再重复第一次的设定。
信息采集
网站管理员从互联网中收集各类图片、笑话、新闻、技术等各类信息，然后分类、编辑，发布到自己的网站系统中。网站管理员一般通过搜索引擎搜索各类关键字获取目标网址，然后再提取网页中的内容。关键字的组织决定获取内容的准确性和数量。由于内容来自不同的网站，所以提取内容的方法也各不相同。对于某一类的信息，发布到网站系统的数据结构是相同的。
网站管理员对站内进行搜索，将相关的内容在首页上进行编排和索引。
企业从互联网上搜索email和电话号码，并且能够查看该信息的相关信息，以便了解该对象的基本情况。企业希望能够搜索某一类别的客户信息，如这个客户属于女性，年龄为20到30岁等。并且能够将采集到的对象信息保存到企业内部的客户管理系统中。
企业需要了解某一产品的信息，希望得到该类产品的报价、厂商等，以及这些信息的对比情况。并且能够得到报价、厂商的近一步信息。这些信息希望能够保存到企业的内部的ERP系统或其它系统中。
数据结构化
企业办公产生的电子文档，客户提交的客户资料等这些数据，一般需要大量的人力手工输入到企业的ERP系统或信息系统中，企业希望能够通过软件从这些文档中抽取相关的数据自动导入到系统中。这些数据一般都有固定的模板格式，并且同一类文档的模板格式是相同的。如客户的家庭信息，客户1和客户2的模板格式是一样的，只是内容不一样。