Question

异构数据采集和普通的网页采集有什么区别

Answer 1

网页采集就是普通的爬虫，而101 异构数据采集则很多方面都先进很多。
1、适配范围的区别：传统爬虫，只能从B/S结构的简单Web页面抓取数据，对于复杂B/S系统、C/S系统，以及App等就无能为力，101异构数据采集技术则能很好地适配这些类型的系统。
2、读写能力的区别：101 异构数据采集技术不仅可以生成给定系统的“读”接口，还可以根据用户的授权生成“写”接口。而爬虫通常只能读取数据。
3、时效性区别：爬虫技术通常是定期爬取数据，而101 异构数据采集技术则可以实时程序化地获取给定系统提供的数据。
4、内容格式区别：爬虫爬取的都是原始数据，通常要二次加工才能使用。而10 1异构数据采集技术可以按照客户需求进行规整化，且内容可直接过滤清洗而得到最终呈现。
5、架构区别：101 异构数据采集技术以微服务的方式独立运行于业务应用之外，且不会像爬虫一样对所有页面都去爬取，因而对原始系统服务器的压力也会小很多。

Answer 2

异构数据采集的原理是通过获取软件系统的底层数据交换和网络流量包，进行包流量分析和使用仿真技术采集到应用数据，并且输出结构化数据。