600字范文 > 虚拟机安装配置Hadoop（图文教程）

虚拟机安装配置Hadoop（图文教程）

时间：2023-03-28 06:49:24

相关推荐

虚拟机安装配置Hadoop（图文教程）

1. 前提准备

启动镜像 Init1.0

检查是否安装 Hdoop 和 jdk

[niit@niit-master ~]$ java -version

[niit@niit-master ~]$ hadoop version

2. 安装hadoop和jdk

将 jdk、hadoop 上传到 /home/nitt

直接将压缩文件拖到左侧目录栏即可

解压 hadoop、jdk

[niit@niit-master ~]$ tar -zxvf hadoop-2.9.2.tar.gz

解压完毕

[niit@niit-master ~]$ tar -zxvf jdk-8u231-linux-x64.tar.gz

切换到 root

[niit@niit-master ~]$ su root密码：

将解压的 hadoop 和 jdk 移动到 /usr/local/

[root@niit-master niit]# mv jdk1.8.0_231/ /usr/local/

[root@niit-master niit]# mv hadoop-2.9.2 /usr/local/

进入 /usr/local 查看

[root@niit-master niit]# cd /usr/local/

[root@niit-master local]# ll

配置 hadoop 和 jdk 的环境配置

进入/etc/profile文件

[root@niit-master local]# vi /etc/profile

在文件最下面输入下述内容

export JAVA_HOME=/usr/local/jdk1.8.0_231export PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.9.2export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新配置文件到系统中

[root@niit-master jdk1.8.0_231]# source /etc/profile

检查 jdk 和 hadoop 是否安装成功

[root@niit-master jdk1.8.0_231]# java -version

[root@niit-master jdk1.8.0_231]# hadoop version

3. 创建相关文件

[root@niit-master hadoop]# cd /opt[root@niit-master opt]# ll总用量 0[root@niit-master opt]# mkdir hadoop[root@niit-master opt]# cd hadoop/[root@niit-master hadoop]# mkdir tmp[root@niit-master hadoop]# mkdir namenode[root@niit-master hadoop]# mkdir datanode

4. hadoop配置

[root@niit-master hadoop]# pwd/usr/local/hadoop-2.9.2/etc/hadoop

配置hadoop-env.sh文件

[root@niit-master hadoop]# vi hadoop-env.sh

将export JAVA_HOME={JAVA_HOME}更改为

export JAVA_HOME=/usr/local/jdk1.8.0_231

配置core-site.xml文件

[root@niit-master hadoop]# vi core-site.xml

在<configuration></configuration>中间加入下面代码

<property><name>hadoop.tmp.dir</name><value>/opt/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://192.168.56.104:9000</value></property>

配置hdfs-site.xml文件

[root@niit-master hadoop]# vi hdfs-site.xml

在<configuration></configuration>中间加入下面代码

<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop/namenode</value><description>指定namenode文件夹位置位置 </description></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop/datanode</value><description>datanode文件夹位置位置</description></property>

配置mapred-site.xml文件

没有mapred-site.xml文件，需要mapred-site.xml.template重命名为mapred-site.xml

[root@niit-master hadoop]# mv mapred-site.xml.template mapred-site.xml

[root@niit-master hadoop]# vi mapred-site.xml

在<configuration></configuration>中间加入下面代码

<property><name>maperduce.framework.name</name><value>yarn</value></property>

配置yarn-site.xml文件

[root@niit-master hadoop]# vi yarn-site.xml

在<configuration></configuration>中间加入下面代码

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>