Question

hadoop mr 36亿的数据量和3亿多的数据量如何关联处理才能更快

Answer 1

这个一定要看场景，每种方法都有适用的阶段和瓶颈。我经历过的分析方法： awk等脚本，优点：开发快，通用。缺点：单CPU。 MySQL，优点：简单，性能好。缺点：单服务器IO瓶颈。 Java/Python/C++等高级语言，优点：性能好，灵活。缺点：修改不够敏捷。 Hadoop，优点：性能随机器数扩展。缺点：重写分析逻辑。 我们大概是在每天处理1PB左右数据的时候，开始使用H