阅读量:1
在Ubuntu上运行Hadoop作业，首先要安装Hadoop，可参考以下步骤：
- 安装Java环境：使用
sudo apt update和sudo apt install openjdk-11-jdk命令安装OpenJDK。 - 下载并解压Hadoop：从Apache官网下载，用
tar -xzvf命令解压到指定目录，如/usr/local。 - 配置环境变量：编辑
~/.bashrc文件，添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后执行source ~/.bashrc。 - 配置Hadoop集群：在
HADOOP_HOME/etc/hadoop目录下，根据需求编辑core-site.xml、hdfs-site.xml等配置文件。 - 格式化HDFS：在HDFS的NameNode所在目录下执行
hdfs namenode -format命令。 - 启动Hadoop集群：使用
start-dfs.sh和start-yarn.sh命令启动。
运行Hadoop作业的命令为yarn jar /path/to/your/mapreduce-job.jar YourMainClass input_path output_path。其中，/path/to/your/mapreduce-job.jar是作业的JAR包路径，YourMainClass是作业的主类名，input_path是输入文件路径，output_path是输出文件路径。
以上就是关于“如何在 Ubuntu 上运行 Hadoop 作业”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！
简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm