Question

网站采集器的系统需求

Answer 1

(1)多样化的采集目标
信息分布在各种信息存储系统中，各种存储系统有着各自的交互机制，需要采集系统提供多种并可扩展的连接模块。
(2)多样化的数据格式
信息以多种形式存在，如网页、word文档、pdf等。这些不同的格式数据需要采用不同的采集机制。
(3)分布式海量数据
由于网络通信的延时和网络带宽的限制，并发多线程通信能够有效地减低延时和抢夺资源。
(4)数据横向和纵向采集
需要系统自动采集数据的下一页；自动采集数据的关联附件；自动根据当前采集结果采集下一数据。
(5)用户操作简单、快捷
多样且复杂的数据格式增加用户的作业难度，用户希望所见及所得，及时提供相应的操作提示信息。