Question

能不能解释一下hadoop中的mapreduce

Answer 1

　　您好，我来为您解答：
　　MapReduce是一种数据处理思想，最早由Google的Jeff Dean等人发明，论文公开后，由Yahoo!的Doug Cutting实现了开源版本的MapReduce实现，发展为后来的Hadoop
　　Hadoop包含一个开源的MapReduce计算框架，和一个分布式文件系统：HDFS
　　MapReduce的精髓是并行处理、移动程序比移动数据更划算
　　你如果只是做一些简单的统计（如SQL中的count, group by, order by, avg, max, min等），Hive会更适合你，当你把500G都导入hive后，就可以直接在hive的命令行输入SQL（严格的讲，它不是SQL，但真的跟SQL很像很像）来执行你要的查询了
　　Hive和Pig都是基于Hadoop的数据分析工具，它们都依赖Hadoop，但Hadoop不一定用来做数据分析和统计，比如Google拿它来做Index Building。
　　如果我的回答没能帮助您，请继续追问。