Question

如何 获取 datanode 上 有没有任务在运行

Answer 1

hadoop运维无外乎，监控整个集群的健康状态，了解磁盘的剩余空间，及时处理死掉的datanode，对磁盘碎片进行处理，以便提高集群的运行效率。当集群中存在运行任务时，需要对任务的参数进行控制，保证整个集群能够正常的高效的完成任务。如果出现异常，需要分析异常，调整参数。一般的hadoop运维都是程序员出生，不然很难弄。你对hadoop一知半解，那整个hadoop集群出现问题，你都不知道从何入手。还有对linux要非常了解，对linux内核进行优化。对JVM虚拟机也要非常了解，知道如何调节堆栈，以及GC垃圾回收。