运维开发网

hadoop及hbase集群增加节点

运维开发网 https://www.qedev.com 2020-03-18 17:49 出处:51CTO 作者:断臂人
hadoop及hbase集群增加节点

一、hadoop扩容

1、配置各节点hosts文件,加入新加入的两个节点的IP和主机名

新添加的节点添加下面内容

192.168.11.131    master1

192.168.11.132    master2

192.168.11.133    slave1

192.168.11.134    slave2

192.168.11.135    slave3

新节点互相加入对方的主机名解析

老的节点添加下面内容

192.168.11.136    slave4

192.168.11.137    slave5

2、准备工作

参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作:

配置主机名

关闭防火墙和seLinux

配置yum源

配置时间同步(作为ntp服务客户端)

创建组和用户

创建目录

无密码登陆

配置java环境

3、修改hadoop配置文件并拷贝hadoop文件

登录master1节点

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的节点信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷贝hadoop文件到新节点

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr

4、清空日志

登录到新添加的服务器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

删除其他项目和文件

对比datanode老的节点,把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。

5、启动服务

分别登陆新节点,启动datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陆master1节点,刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、对hdfs负载均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

如果你的集群有单独的balance节点,带宽又足够大的话,可以考虑做balance优化,因为按照默认配置的话,balance的过程会持续很长一段时间。具体的优化方法可以参考我转载的另一篇博客:优化Hadoop Balancer平衡的速度。

启动yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

   

查看集群情况

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

9、如有添加journalnode节点的需要还需要添加journalnode服务,不过本次变更没有添加,添加步骤如下

修改JournalNode地址,必须保证奇数个

vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster</value>

</property>

二、hbase扩容

1、登陆master1,修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers 

添加新节点主机

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陆新节点,创建目录,修改权限

2、拷贝hbase文件到新节点

登陆master1节点

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陆新节点,启动服务

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status 

0

精彩评论

暂无评论...
验证码 换一张
取 消