如何配置 Ubuntu Hadoop 网络参数

Ubuntu Hadoop 网络参数配置

一 基础网络与主机名解析

• 固定节点 IP（示例以 Ubuntu 18.04/20.04 的 Netplan 为例）
  • 查看网卡名：ip link；编辑配置文件：sudo nano /etc/netplan/00-installer-config.yaml
  • 示例（将 eth0 替换为你的实际网卡名，如 ens33/enp0s3）：

    network:
      version: 2
      ethernets:
        eth0:
          dhcp4: no
          addresses: [192.168.1.100/24]
          gateway4: 192.168.1.1
          nameservers:
            addresses: [8.8.8.8, 1.1.1.1]
    

  • 应用：sudo netplan apply；验证：ip addr、ping 网关、ping 外网域名
• 主机名与解析
  • 设置主机名：sudo hostnamectl set-hostname master（各节点分别设为 master/slave1/slave2）
  • 统一解析：编辑 /etc/hosts

    192.168.1.100 master
    192.168.1.101 slave1
    192.168.1.102 slave2
    

• 免密 SSH（集群内互通）
  • 生成密钥：ssh-keygen -t rsa -b 4096
  • 分发公钥：ssh-copy-id master；ssh-copy-id slave1；ssh-copy-id slave2
• 防火墙（测试环境可先放行，生产按需开放）
  • Ubuntu：sudo ufw allow from 192.168.1.0/24；或 sudo ufw disable（仅测试）

二 Hadoop 关键网络参数配置

• 建议优先使用主机名（已在 /etc/hosts 或 DNS 中可解析），便于节点迁移与扩容
• 配置文件路径：$HADOOP_HOME/etc/hadoop/

core-site.xml

  
  
    fs.defaultFS
    hdfs://master:8020
  

hdfs-site.xml

  
  
    dfs.replication
    3
  
  
  
    dfs.namenode.rpc-address
    master:8020
  
  
  
    dfs.namenode.http-address
    master:50070
  
  
  
    dfs.datanode.address
    0.0.0.0:50010
  
  
  
    dfs.datanode.ipc.address
    0.0.0.0:50020
  
  
  

yarn-site.xml

  
  
    yarn.resourcemanager.hostname
    master
  
  
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.aux-services.mapreduce_shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  

mapred-site.xml

  
  
    mapreduce.framework.name
    yarn
  

• 说明
  • 端口如 8020/50070/50010/50020 为常用默认值，若端口冲突或被占用，可调整为未被占用的端口并在防火墙放行对应端口。

三 系统级网络优化（可选）

• 编辑 /etc/sysctl.conf，提升并发与连接能力（按硬件与业务调优）

  net.ipv4.ip_local_port_range = 1024 65535
  net.core.somaxconn = 1024
  net.core.netdev_max_backlog = 1024
  net.ipv4.tcp_max_syn_backlog = 1024
  net.ipv4.tcp_syncookies = 1
  net.ipv4.tcp_tw_reuse = 1
  net.ipv4.tcp_fin_timeout = 30
  

• 应用：sudo sysctl -p
• 说明：上述为通用起点，生产环境请结合监控与压测逐步调优。

四 启动与验证

• 首次启动前格式化 NameNode（仅一次）：hdfs namenode -format
• 启动集群：start-dfs.sh；start-yarn.sh
• 基本验证
  • HDFS：hdfs dfsadmin -report（查看 Live datanodes 数量与容量）
  • YARN：yarn node -list（查看 Active Nodes）
  • Web UI：http://master:50070（NameNode）；http://master:8088（ResourceManager）
• 连通性自检
  • 节点互通：ping master/slave1/slave2
  • 端口连通：nc -vz master 8020；nc -vz master 50070；nc -vz slave1 50010
• 变更生效
  • Hadoop 配置修改后需重启相应进程（如 stop-dfs.sh/start-dfs.sh；stop-yarn.sh/start-yarn.sh）。

以上就是关于“如何配置 Ubuntu Hadoop 网络参数”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm