Question

hadoop能处理实时数据吗

比如我服务器每秒钟会受到很多很多上报来的日志文件，每个文件都不大，我要对它进行一些处理，这种情况适合用Hadoop吗？

Answer 1

如果你的软硬件配置较高，当然可以满足这种实时日志分析。
如果你要求在很短时间内返回你要的结果，可以采用大量并行Mapreduce计算来实现类似于推荐引擎的在操作。
但是你要控制好，对文件在HDFS上的操作。比如几个文件，或者多大的文件为一个处理包。不能每过来一个就处理，一直占用资源。
如果对实时要求没有那么高，可以采用离线分析的方法。

追问

就是说攒一定时间的日志文件~然后再进行处理是吗？

追答

嗯嗯，对的。 当然要看你主要对数据实时的要求了。
对于大多数反馈时间要求不是那么严苛的应用，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。