Debian如何部署Hadoop应用

1. 系统准备
确保Debian系统已更新至最新版本，安装必要工具包：

sudo apt update && sudo apt upgrade -y
sudo apt install -y net-tools vim ssh

关闭防火墙（若需开启，需配置Hadoop相关端口放行）：

sudo ufw disable

2. 安装Java环境
Hadoop依赖Java 8及以上版本，推荐使用OpenJDK（Debian默认仓库提供）：

sudo apt install -y openjdk-11-jdk

验证Java安装：

java -version

设置JAVA_HOME环境变量（全局生效）：

echo 'JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"' | sudo tee -a /etc/environment
source /etc/environment

3. 下载并解压Hadoop
从Apache官网下载最新稳定版Hadoop（如3.3.6），解压至/usr/local目录：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
sudo tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop  # 重命名为hadoop方便管理

4. 配置Hadoop环境变量
编辑~/.bashrc（当前用户）或/etc/profile（全局），添加Hadoop路径：

echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc  # 使配置生效

5. 配置Hadoop核心文件
Hadoop配置文件位于$HADOOP_HOME/etc/hadoop目录，需修改以下关键文件：

• core-site.xml（Hadoop核心设置）：

  <configuration>
      <property>
          <name>fs.defaultFSname>
          <value>hdfs://localhost:9000value>  
      property>
  configuration>
  

• hdfs-site.xml（HDFS设置）：

  <configuration>
      <property>
          <name>dfs.replicationname>
          <value>1value>  
      property>
      <property>
          <name>dfs.namenode.name.dirname>
          <value>/usr/local/hadoop/data/namenodevalue>  
      property>
      <property>
          <name>dfs.datanode.data.dirname>
          <value>/usr/local/hadoop/data/datanodevalue>  
      property>
  configuration>
  

• mapred-site.xml（MapReduce设置）：
  若文件不存在，先复制模板：

  cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
  

  添加以下内容：

  <configuration>
      <property>
          <name>mapreduce.framework.namename>
          <value>yarnvalue>  
      property>
  configuration>
  

• yarn-site.xml（YARN设置）：

  <configuration>
      <property>
          <name>yarn.nodemanager.aux-servicesname>
          <value>mapreduce_shufflevalue>  
      property>
      <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
          <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
      property>
  configuration>
  

6. 格式化HDFS
首次启动前需格式化NameNode（仅第一次执行，会清除原有数据）：

hdfs namenode -format

7. 启动Hadoop服务
启动HDFS（NameNode和DataNode）：

$HADOOP_HOME/sbin/start-dfs.sh

启动YARN（ResourceManager和NodeManager）：

$HADOOP_HOME/sbin/start-yarn.sh

8. 验证安装

• 检查Hadoop进程是否运行：

  jps
  

  正常应看到NameNode、DataNode、ResourceManager、NodeManager等进程。

• 查看HDFS文件系统：

  hdfs dfs -ls /
  

• 访问Web界面：

  • HDFS Web UI：http://localhost:9870（Hadoop 3.x版本）
  • YARN ResourceManager Web UI：http://localhost:8088

9. 运行Hadoop示例程序（可选）
Hadoop自带WordCount示例，用于验证MapReduce功能：

# 创建输入目录并上传测试文件
hdfs dfs -mkdir -p /input
echo "hello world hello hadoop" > file.txt
hdfs dfs -put file.txt /input

# 运行WordCount程序
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /input/file.txt /output

# 查看输出结果
hdfs dfs -cat /output/part-r-00000

输出应显示单词统计结果（如hello 2、world 1、hadoop 1）。

以上就是关于“Debian如何部署Hadoop应用”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm