阅读量:5
Hadoop日志管理在Ubuntu上的操作如下：
-
查看日志路径
- 默认路径：
$HADOOP_HOME/logs（如/usr/local/hadoop/logs）。 - 自定义路径：需在
hadoop-env.sh中设置HADOOP_LOG_DIR，或在log4j.properties中配置具体组件日志路径。
- 默认路径：
-
查看日志内容
- 实时查看：
tail -f hadoop-<组件>-<主机名>.log（如hadoop-hdfs-namenode-hadoop01.log）。 - 搜索特定信息：
grep "错误关键词" hadoop-<组件>.log。
- 实时查看：
-
配置日志级别
- 编辑
log4j.properties文件（位于$HADOOP_HOME/etc/hadoop），修改log4j.rootLogger或特定包的日志级别（如DEBUG、ERROR）。 - 保存后重启Hadoop服务生效：
$HADOOP_HOME/sbin/stop-all.sh&&$HADOOP_HOME/sbin/start-all.sh。
- 编辑
-
日志归档与清理
- 使用Hadoop Archive工具归档小文件：
hadoop archive -archiveName test.har -p /input /outputdir。 - 通过设置日志保留时间（如
yarn-site.xml中配置yarn.log-aggregation.retain-seconds）自动清理旧日志。
- 使用Hadoop Archive工具归档小文件：
-
集中管理与分析
- 配置日志聚合（YARN）：在
yarn-site.xml中启用yarn.log-aggregation-enable=true，并指定聚合服务器。 - 使用ELK Stack（Elasticsearch+Logstash+Kibana）或Splunk等工具集中分析日志。
- 配置日志聚合（YARN）：在
参考来源：
以上就是关于“Hadoop 日志管理在 Ubuntu 上如何进行”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！
简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm