Ubuntu下Hadoop日志如何查看

Ubuntu下查看Hadoop日志的方法

1. 日志文件位置

Hadoop的日志默认存储在$HADOOP_HOME/logs目录下（$HADOOP_HOME为Hadoop安装根目录，如/usr/local/hadoop）。不同组件的日志文件命名规则如下：

• HDFS组件：hadoop--namenode-.log（NameNode）、hadoop--datanode-.log（DataNode）；
• YARN组件：yarn--resourcemanager-.log（ResourceManager）、yarn--nodemanager-.log（NodeManager）。
  其中，是当前系统用户，是主机名（可通过hostname命令查看）。

2. 常用日志查看命令

Ubuntu下可通过以下Linux命令查看Hadoop日志：

• 实时查看日志更新：使用tail -f命令，例如查看NameNode实时日志：

  tail -f $HADOOP_HOME/logs/hadoop--namenode-.log
  

  该命令会持续输出日志文件的新增内容，适合监控实时运行状态。
• 查看日志文件开头：使用head命令，例如查看HDFS日志前10行：

  head -n 10 $HADOOP_HOME/logs/hadoop--datanode-.log
  

• 搜索特定错误信息：使用grep命令过滤关键字（如“ERROR”“Segmentation fault”），例如查找NameNode日志中的错误信息：

  grep "ERROR" $HADOOP_HOME/logs/hadoop--namenode-.log
  

• 分页查看大日志文件：使用less命令，例如查看ResourceManager日志：

  less $HADOOP_HOME/logs/yarn--resourcemanager-.log
  

  按/键可搜索关键字，按q键退出。

3. 通过Hadoop命令查看作业日志

对于MapReduce作业的日志，可使用yarn logs命令直接获取：

• 查看作业日志：替换为实际作业ID（可通过yarn application -list获取），例如：

  yarn logs -applicationId 
  

  该命令会输出作业的stdout、stderr和syslog等日志内容，包含任务执行详情（如Map/Reduce任务的耗时、错误堆栈）。

4. 通过Web界面查看日志

Hadoop提供了Web界面方便查看日志：

• ResourceManager日志：访问http://:8088，点击“Application”列表中的作业，进入作业详情页后可查看日志；
• NameNode日志：访问http://:50070（Hadoop 2.x版本），点击“Logs”链接查看NameNode服务日志。

注意事项

• 若日志文件较大，建议使用less或tail -f命令，避免cat命令导致终端卡顿；
• 关键错误信息通常包含“ERROR”“Exception”“FAILED”等关键字，可通过grep快速定位；
• 定期清理旧日志（如通过logrotate工具），避免占用过多磁盘空间。

以上就是关于“Ubuntu下Hadoop日志如何查看”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm