
如何查看Hadoop运行过程中产生日志
2017-06-06
展开全部
其实网借鉴董西博客面内容:
Hadoop HDFS服务志与Hadoop MapReduce服务志类似;
Hadoop MapReduce志两部部服务志部作业志具体介绍:
1. Hadoop 1.x版本
Hadoop 1.xMapReduce服务志包括JobTracker志各TaskTracker志志位置(Web界面查看其志址http://主节点IP:50030):
JobTracker:JobTracker安装节点默认位置
${hadoop.log.dir}/logs/*-jobtracker-*.log该文件每旧志缀期志文件缀.log其${hadoop.log.dir}默认值hadoop安装目录即${HADOOP_HOME}
TaskTracker:各TaskTracker安装节点默认位置
$HADOOP_HOME/logs/*-tasktracker-*.log该文件每旧志面跟志志文件缀.log
作业志包括jobhistory志task志两部其jobhistory志作业运行志包括作业启间、结束间每任务启间、结束间各种counter信息等用户志解析作业运行各种信息非价值信息默认存放位置JobTracker所节点${hadoop.log.dir}/history目录通参数hadoop.job.history.location配置每task志存放task运行节点存放位置${hadoop.log.dir}/userlogs/<jobid>/<attempt-id>目录每task包含三志文件别stdout、stderrsyslog其stdout通标准输打印志比System.out.println注意程序通标准输打印志并直接显示终端保存文件syslog通log4j打印志通志包含用信息错误调试关键参考志
Hadoop HDFS服务志与Hadoop MapReduce服务志类似;
Hadoop MapReduce志两部部服务志部作业志具体介绍:
1. Hadoop 1.x版本
Hadoop 1.xMapReduce服务志包括JobTracker志各TaskTracker志志位置(Web界面查看其志址http://主节点IP:50030):
JobTracker:JobTracker安装节点默认位置
${hadoop.log.dir}/logs/*-jobtracker-*.log该文件每旧志缀期志文件缀.log其${hadoop.log.dir}默认值hadoop安装目录即${HADOOP_HOME}
TaskTracker:各TaskTracker安装节点默认位置
$HADOOP_HOME/logs/*-tasktracker-*.log该文件每旧志面跟志志文件缀.log
作业志包括jobhistory志task志两部其jobhistory志作业运行志包括作业启间、结束间每任务启间、结束间各种counter信息等用户志解析作业运行各种信息非价值信息默认存放位置JobTracker所节点${hadoop.log.dir}/history目录通参数hadoop.job.history.location配置每task志存放task运行节点存放位置${hadoop.log.dir}/userlogs/<jobid>/<attempt-id>目录每task包含三志文件别stdout、stderrsyslog其stdout通标准输打印志比System.out.println注意程序通标准输打印志并直接显示终端保存文件syslog通log4j打印志通志包含用信息错误调试关键参考志
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
web 50070那里可以看 集群上有个logs文件夹找到你的application的文件夹也可以看
本回答被网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询