HDFS完全分布式配置

ldp19960310

HDFS完全分布式配置
        操作系统 Centos 6.5 64位  
        jdk jdk-8u121-linux-x64.tar.gz
        hadoop hadoop-2.7.5.tar.gz
        前提条件  linux系统已配置静态ip 防火墙已关闭
        ip 将四个系统的ip分别更改为,以及相对应的主机名  vi /etc/sysconfig/network
        并在  vi /etc/hosts文件下加上以下主机名对应的ip;
        192.168.228.11 node01
        192.168.228.12 node02
        192.168.228.13 node03
        192.168.228.14 node04
       
1.四台虚拟机时间已同步,配置时间的同步,运行yum命令下载时间ntp
         yum install ntp -y
   同步时间
   运行时间服务器ntp1.aliyun.com实现时间同步
         ntpdate ntp1.aliyun.com
2.实现免秘钥,node01 ->node01,node01 ->node02,node01->node03,node01 ->node04,实现node01到其他各节点不需要密码登录验证
       
        所有节点需要执行如下命令生成密钥
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
       
        -t参数就是指定要生成的密钥类型，这里指定的是rsa
        -P就是你提供的旧密码, ‘’ 表示没有
        -f是密钥的生成后的保存文件位置
       
        在node01节点下分别执行下面语句,实现node01到其他节点免秘钥登录
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
        ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

2.安裝jdk与hadoop,安装到/opt/hpe目录下

        在opt目录下创建hpe文件 作为存放解压的文件目录
        [root@node01 var]# cd opt/
        [root@node01 opt]# mkdir hpe
  [root@node01 opt]# pwd
   /var/opt
       
        解压jdk,将文件解压到指定的目录下        /opt/hpe

        [root@node01 ~]#  tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/hpe

        将jdk的包名重新命名

        [root@node01 hpe]# ls
        jdk1.8.0_121
        [root@node01 hpe]# mv jdk1.8.0_121/ jdk1.8.0
        [root@node01 hpe]# ls
        jdk1.8.0
       
        解压hadoop,将文件解压到指定的目录下        /opt/hpe

        tar -zxvf hadoop-2.7.5.tar.gz -C /opt/hpe

        配置jdk与hadoop环境,打开vi /etc/profile文件在最后加上以下语句,最后还要运行source /etc/profile
        export JAVA_HOME=/opt/hpe/jdk1.8.0
  export HADOOP_HOME=/opt/hpe/hadoop-2.7.5
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.修改配置文件

        在/opt/hpe/hadoop-2.7.5/etc/hadoop  打开 vi hadoop-env.sh文件,配置jdk的路径
        在控制台输入 set nu命令可显示横数,将25横JAVA_HOME路径改成绝对路径/opt/hpe/jdk1.8.0
         
         24 # The java implementation to use.
   25 export JAVA_HOME=/opt/hpe/jdk1.8.0
       
         打开vi mapred-env.sh 文件,将16横的路径改成绝对路径
         16 export JAVA_HOME=/opt/hpe/jdk1.8.0

        打开vi yarn-env.sh 文件,修改23横的绝对路径
         22 # some Java parameters
   23 export JAVA_HOME=/opt/hpe/jdk1.8.0
5.修改core-site.xml配置文件
    需要在/hadoop-2.6.5/etc/hadoop目录下的core-site.xml文件中粘贴如下内容并修改成自己需要的配置
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
  </property>
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hpe/hadoop/full</value>
        </property>

        第一个配置用来描述集群中NameNode结点的URI
        第二个配置用来设置元数据存储的目录,注意目录是空的目录,不存在的

6.修改datenode 打开文件vi hdfs-site.xml,加入以下语句
         <property>
        <name>dfs.replication</name>
        <value>2</value>
        </property>
        <property>   
<name>dfs.namenode.secondary.http-address</name>
     <value>node02:50090</value>
        </property>

第一个配置为设置属性需要几个副本
第二个设置SecnderNameNode的网络访问地址
       
7.修改slaves配置文件 打来vi slaves文本
        修改里面的内容为 node02 node03 node04  要竖着写  不要加空格  

8.将配置好的文件发到其他的节点上  
        其他三个节点没有创建hpe文件,执行2里面的步骤,创建hpe目录

9.将配置好的文件分发到其他的节点,jdk与hadoop文件目录
打开opt/hpe目录,将里面的两个解压目录hadoop与jdk的解压目录分发到其他的三个节点
        分发的话需要将文件分发到与node01(现在的目录)一致的目录上
        分别执行下面的三个目录,进行分发文件
       
        scp -r hadoop-2.7.5/ node02:`pwd`
        scp -r hadoop-2.7.5/ node03:`pwd`
        scp -r hadoop-2.7.5/ node04:`pwd`
       
        scp -r jdk1.8.0/ node02:`pwd`
        scp -r jdk1.8.0/ node03:`pwd`
        scp -r jdk1.8.0/ node04:`pwd`
        pwd是当前的目录一致,(注意pwd的标点为esc键下的那个键)
       
        最后将配配置文件profile文件分发过去,就是直接覆盖了
       
        scp /etc/profile node02:/etc
        scp /etc/profile node03:/etc       
        scp /etc/profile node04:/etc
       
        在分发的节点需要运行source /etc/profile命令

10.格式化NameNode
       
        格式化用来创建目录结构以及文件。此操作在在node1节点执行
        hdfs namenode -format

11.启动HDFS
        start-dfs.sh