Question

数据抓取技术如何保证数据的准确性？

Answer 1

要做到准确，必然要对数据流过程的中的每个环节的元数据有所掌控，比如，正常传输了多少数据，由于格式错误而不能继续流向下一个环节的数据又有多少等等这样的元数据。
要自己做到这些，需要付出不少的努力，也就是每个环节你都需要去收集统计信息，或者转储错误数据，而一旦有一个这样的框架工具帮你完成这些工作，那这一切就没有那么复杂了。
最后，推荐一个框架性质的工具－Apache NIFI，帮你以可视化的形式设计、组织数据流，并提供了多种的数据的输入、处理、输出接口，并且提供了可靠性的保证。