阅读量:3
在Debian系统上部署Hadoop虚拟机的过程涉及多个步骤，包括系统初始化、Java环境安装、Hadoop集群搭建等。以下是一个详细的部署方案：
系统初始化
- 安装网络工具包：
sudo apt install net-tools vim
- 关闭防火墙：
sudo ufw disable
- 设置主机名称：
hostnamectl set-hostname master
- 配置hosts文件：
cat >> /etc/hosts << eof
192.168.52.28 master
eof
安装Java环境
- 上传并解压Java安装包：
tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/
cd /usr/local/
mv jdk1.8.0_201 java
- 启用Java环境变量：
vi /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
source /etc/profile
java -version
Hadoop分布式环境搭建
- 下载Hadoop安装包：
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz
- 解压Hadoop安装包：
tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/
cd /usr/local/hadoop-2.7.6/etc/hadoop/
mkdir /data/hadoop/hdfs/tmp
mkdir /data/hadoop/hdfs/name
mkdir /data/hadoop/hdfs/data
- 配置
hadoop-env.sh文件：
vim hadoop-env.sh
export JAVA_HOME=/usr/local/java
cd /usr/local/hadoop-2.7.6/sbin/
vim start-dfs.sh
vim stop-dfs.sh
vim start-yarn.sh
vim stop-yarn.sh
- 配置
core-site.xml文件：
<configuration>
<property>
<name>hadoop.tmp.dirname>
<value>/data/hadoop/hdfs/tmpvalue>
property>
<property>
<name>fs.defaultfsname>
<value>hdfs://master:9000value>
property>
configuration>
- 配置
hdfs-site.xml文件：
<configuration>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>/data/hadoop/hdfs/namevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>/data/hadoop/hdfs/datavalue>
property>
configuration>
- 配置
mapred-site.xml文件：
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
启动Hadoop服务
在主节点上启动Hadoop服务：
/usr/local/hadoop-2.7.6/sbin/start-dfs.sh
/usr/local/hadoop-2.7.6/sbin/start-yarn.sh
验证安装
使用以下命令检查Hadoop进程是否启动成功：
jps
访问Hadoop的Web UI进行验证：
- NameNode: http://master:9000
- ResourceManager: http://master:8088
以上就是关于“Debian Hadoop 虚拟机部署方案”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！
简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm