Question

在大数据采集时需要深入思考和设计这些数据库之间进行

Answer 1

问：在大数据采集时需要深入思考和设计这些数据库之间进行

答：亲亲，您好！在大数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

问：你怕是睡醒了

答：亲亲，大数据的常见处理流程具体的大数据处理方法其实有很多，但是根据长时间的实践，我们总结了一个基本的大数据处理流程，并且这个流程应该能够对您理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。采集大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作。

答：比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。导入/预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简述。