阅读量:5
在Ubuntu上查看Hadoop日志可通过以下方式:
-
定位日志文件
- 默认路径:
/var/log/hadoop-*(如/var/log/hadoop-hdfs、/var/log/hadoop-yarn) - 或通过
$HADOOP_HOME/logs目录查看(需先确认HADOOP_HOME环境变量)。
- 默认路径:
-
命令行查看
- 实时查看:
tail -f <日志文件路径>(如tail -f /var/log/hadoop-hdfs/hadoop-namenode-*.log)。 - 查看前N行:
head -n 100 <日志文件路径>。 - 搜索关键词:
grep "ERROR" <日志文件路径>。
- 实时查看:
-
图形化工具查看
- 使用文本编辑器(如
nano、vim)直接打开日志文件。 - 通过Hadoop Web界面(如ResourceManager/NameNode的HTTP接口)查看。
- 使用文本编辑器(如
-
日志分析工具
- 基础分析:用
awk统计IP请求量,sort/uniq去重统计。 - 高级分析:使用ELK Stack(Elasticsearch+Logstash+Kibana)进行可视化。
- 基础分析:用
注意:若日志路径非默认,需通过core-site.xml、hdfs-site.xml等配置文件确认。
以上就是关于“Hadoop日志在Ubuntu如何查看”的相关介绍,筋斗云是国内较早的云主机应用的服务商,拥有10余年行业经验,提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩,主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复;电子化备案,提交快速,专业团队7×24小时服务支持!
简单好用、高性价比云服务器租用链接:https://www.jindouyun.cn/product/cvm