请稍侯

centos 7 上安装配置 hadoop

03 September 2024

centos 7 上安装配置 hadoop 集群

  1. 配置网络，编辑 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 ，如下： ```ini TYPE=”Ethernet” PROXY_METHOD=”none” BROWSER_ONLY=”no”

    BOOTPROTO=”dhcp”

    BOOTPROTO=”static” # 设置为静态IP DEFROUTE=”yes” IPV4_FAILURE_FATAL=”no” IPV6INIT=”yes” IPV6_AUTOCONF=”yes” IPV6_DEFROUTE=”yes” IPV6_FAILURE_FATAL=”no” IPV6_ADDR_GEN_MODE=”stable-privacy” NAME=”eth0” UUID=”ffd97daf-cc95-47b2-9c2f-3bd707017c8e” DEVICE=”eth0” ONBOOT=”yes”

设置IP地址、网关及DNS

IPADDR=192.168.11.100 GATEWAY=192.168.11.1 DNS1=192.168.11.1

注意：在不同的机器上把 UUID 改成不同的值

2. 修改主机名称 `sudo vim /etc/hostname`：
```shell
hadoop100
  1. 在centos和client机器上修改hosts主机名称映射 sudo vim /etc/hosts, 添加如下内容: 
    192.168.11.100 hadoop100
192.168.11.101 hadoop101
192.168.11.102 hadoop102
192.168.11.103 hadoop103
192.168.11.104 hadoop104
192.168.11.105 hadoop105

Tips: 以下操作都切换到 root 用户操作

  1. 将镜像源设置成国内，参考：Linux.CentOS 7 镜像源配置 
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  2. shell终端设置Proxy 
    export https_proxy=http://192.168.11.90:15246 http_proxy=http://192.168.11.90:15246 all_proxy=socks5://192.168.11.90:15246
  3. 安装centos必要的软件包与工具 ```shell

    安装 eple-release

    yum install -y epel-release

net-tool 包含 ifconfig等命令

yum install -y net-tools

关闭防火墙

systemctl stop firewalld systemctl disable firewalld.service


7. 添加用户并设置sudo权限   
```sh
# 添加用户 luowei , 并修改 luowei 用户的密码
useradd luowei
passwd luowei

编辑 vim /etc/sudoers, 修改 权限，并设置不需要输入密码

# 把这个注释去掉
%wheel  ALL=(ALL)       NOPASSWD: ALL
  1. 删除已有的java环境 
    sudo rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  2. 从此centos克隆3个vm出来,分别叫 hadoop102,hadoop103,hadoop104，并修改以下文件中的 hostname 与 ip: 
    vim /etc/sysconfig/network-scripts/ifcfg-eth0
vim /etc/hostname
  3. 安装 java jdk
    将java jdk安装包解压到 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 目录下，并在 /etc/profile.d/ 目录下创建 my_env.sh 配置环境变量，添加以下内容： 
    # JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

    执行 source /etc/profile 让环境变量生效，再执行java命令验证 java 环境。

  4. 安装 hadoop 将hadoop安装包解压到 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 目录下，并继续在 /etc/profile.d/my_env.sh 中添加hadoop环境变量，如下： 
    # HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    本地运行示例：使用 hadoop 的 hadoop-mapreduce-examples-3.1.3.jar 统计文件中单词数，新建目录 $HADOOP_HOME/mytest/wcinput 并添加一些文本文件，执行以下命令统计此目录下所有文件中的单词数，并将结果写入到 $HADOOP_HOME/mytest/wcoutput 目录下：

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount $HADOOP_HOME/mytest/wcinput $HADOOP_HOME/mytest/wcoutput
  5. 创建 xsync 添加目录/home/luowei/bin, 并在此目录下创建xsync文件, 添加如下内容： ```sh #!/bin/bash

#1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi

#2. 遍历集群所有机器 for host in hadoop102 hadoop103 hadoop104 do echo ==================== $host ==================== #3. 遍历所有目录，挨个发送

for file in $@
do
    #4. 判断文件是否存在
    if [ -e $file ]
        then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)

            #6. 获取当前文件的名称
            fname=$(basename $file)
            ssh $host "mkdir -p $pdir"
            rsync -av $pdir/$fname $host:$pdir
        else
            echo $file does not exists!
    fi
done done ``` 并给`xsync`文件添加执行权限：`chmod +x /home/luowei/bin/xsync`。 然后，编辑 `/etc/profile.d/my_env.sh`，添加如下内容： ```sh # My bin export PATH=$PATH:/home/luowei/bin ``` 然后设置密码登录，首先执行 `ssh-keygen -t rsa` 生成公钥和私钥，然后将公钥拷贝到要免密登录的目标机器上： ```sh ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104 ```

  1. 分发集群脚本
    分发集群脚本目录(已包含xsync)：xsync /home/luowei/bin
    分发 my_env.sh 环境变量配置脚本：xsync /etc/profile.d/my_env.sh
    分发 java jdk 与 hadoop : xsync /opt/module/

  2. 配置集群
    主要修改这4个自定义配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml，其路径是：$HADOOP_HOME/etc/hadoop

按上图配置脚本如下：

  • vim $HADOOP_HOME/etc/hadoop/core-site.xml 配置如下：
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为luowei -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>luowei</value>
    </property>
</configuration>
  • vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml 配置如下：
<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>
  • vim $HADOOP_HOME/etc/hadoop/yarn-site.xml 配置如下：
<configuration>

    <!-- Site specific YARN configuration properties -->
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>
  • vim $HADOOP_HOME/etc/hadoop/mapred-site.xml 配置如下：
<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
</configuration>

配置好后，然后再配置 workers， vim $HADOOP_HOME/etc/hadoop/workers内容如下：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

然后同步所有节点配置文件： xsync $HADOOP_HOME/etc

  1. 启动集群

如果集群是第一次启动，需要在hadoop102节点格式化NameNode：执行hdfs namenode -format（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

启动HDFS：sbin/start-dfs.sh

在配置了ResourceManager的节点（hadoop103）启动YARN：sbin/start-yarn.sh

Web端查看HDFS的NameNode （a）浏览器中输入：http://hadoop102:9870 （b）查看HDFS上存储的数据信息 Web端查看YARN的ResourceManager （a）浏览器中输入：http://hadoop103:8088 （b）查看YARN上运行的Job信息

集群测试： 创建文件目录：hadoop fs -mkdir /input

上传文件：hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

下载文件：hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

执行wordcount程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

删除目录：hadoop fs -rm -r /output

移动目录或文件：hadoop fs -mv /input /wcinput

集群启动/停止方式总结

整体启动/停止HDFS：start-dfs.sh/stop-dfs.sh

整体启动/停止YARN：start-yarn.sh/stop-yarn.sh

分别启动/停止HDFS组件：hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止YARN：yarn --daemon start/stop resourcemanager/nodemanager

  1. Hadoop集群常用脚本
  • 常用启停脚本：vim myhadoop后，chmod +x myhadoop 赋 x 权
#!/bin/bash

hadoop_path="${HADOOP_HOME:=/opt/module/hadoop-3.1.3}"

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "$hadoop_path/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "$hadoop_path/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "$hadoop_path/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "$hadoop_path/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "$hadoop_path/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "$hadoop_path/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
  • 查看三台服务器Java进程脚本：vim jpsall后，赋权：chmod +x jpsall
#!/bin/bash

javahome_path="${JAVA_HOME:=/opt/module/jdk1.8.0_212}"

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host "$javahome_path/bin/jps" 
done

脚本目录如下：

~ tree ~/bin
/home/luowei/bin
├── jpsall
├── myhadoop
└── xsync

# 启动
myhadoop start
# 停止
myhadoop stop

# 查看状态
jspall

常用端口