hadoop安装部署的三种模式: 单机模式(本地模式):hadoop的默认配置模式,此时: 1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。 2)不会启动任何hadoop守护进程,map任务和reduce任务作为同一个进程的不同部分来执行。 3)仅用于开发或调试MapReduce应用程序。 4)当首次解压hadoop的源码包时,默认选择了最低的配置。这时,三个xml文件均为空,当配置文件为空时,hadoop会完全运行在本地。 伪分布式模式: 1)所有的进程都运行在同一台机器上。 2)使用分布式文件系统,每个hadoop守护进程都是一个独立的进程。 3)每个job都是由JobTracker服务管理的独立的进程。 4)集群中只有一个节点,故HDFS的块复制将限制为单个副本。 5)secondary-master和slaves也都将运行于本地主机。 6)程序的执行逻辑和分布式模式下的执行逻辑一样,因此,常用于测试。 7)该模式在本地模式的基础上添加了代码的调试功能,允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。 8)伪分布式模式也需要配置SSH无密码本机连接本机 分布式模式:运行于多台机器上的真实环境。 hadoop的安装步骤: 1)添加新用户 添加新用户(hadoop): useradd hadoop 修改用户的密码: passwd hadoop 2)配置静态IP地址和修改主机名 说明:由于hadoop集群在启动时需要通过固定的主机名或ip地址启动,故必须对虚拟机配置静态ip地址。 3)配置SSH免密码连接 说明:hadoop仅仅是在启动和停止的时候需要主节点通过SSH协议将从节点上面的进程启动或停止。 4)安装JDK 5)配置hadoop 伪分布式模式: # 1.下载 将安装包hadoop-2.2.0.tar.gz放到/data/software/hadoop/下: 下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/ # 2.解压安装 cd /data/software/hadoop/ mkdir /data/cloud/hadoop/ tar -xvf hadoop-2.2.0.tar.gz -C /data/cloud/hadoop/ # 3.修改配置文件 cd /data/cloud/hadoop/hadoop-2.2.0/etc/hadoop/ vim hadoop-env.sh # The java implementation to use. export JAVA_HOME=/usr/local/java/jdk1.7.0_75 vim core-site.xml <configuration> <!-- 设置提供HDFS服务的主机名和端口号,即NameNode运行的节点 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/data/cloud/hadoop/hadoop-2.2.0/tmp</value> </property> </configuration> vim hdfs-site.xml <configuration> <!-- 设置hdfs中文件保存的份数,伪分布式设为1 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <configuration> <!-- 指定MapReduce是运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> vim yarn-site.xml <configuration> <!-- 设置reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> # 4.配置环境变量 vim /etc/profile export JAVA_HOME=/usr/local/java/jdk1.7.0_75 export HADOOP_HOME=/data/cloud/hadoop/hadoop-2.2.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile # 5.格式化hdfs hdfs namenode -format # 出现以下信息证明格式化成功:INFO common.Storage: Storage directory /data/cloud/hadoop/hadoop-2.2.0/tmp/dfs/name has been successfully formatted # 6.启动hdfs和yarn /data/cloud/hadoop/hadoop-2.2.0/sbin # 6.1先启动hdfs sbin/start-dfs.sh # 查看hdfs是否启动成功:jps 3371 Jps 2796 NameNode 2900 DataNode 3275 SecondaryNameNode # 6.2再启动yarn sbin/start-yarn.sh # 查看yarn是否启动成功:jps 3421 ResourceManager 2796 NameNode 2900 DataNode 3785 Jps 3514 NodeManager 3275 SecondaryNameNode # 7.访问hadoop的管理界面: HDFS管理界面:http://192.168.1.110:50070 MR管理界面:http://192.168.1.110:8088
hadoop的伪分布式安装
hadoop安装部署的三种模式:
单机模式(本地模式):hadoop的默认配置模式,此时:
1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。
2)不会启动任何hadoop守护进程,map任务和reduce任务作为同一个进程的不同部分来执行。
3)仅用于开发或调试MapReduce应用程序。
4)当首次解压hadoop的源码包时,默认选择了最低的配置。这时,三个xm
0
0
0
上一篇:NoSQL 中的 CAP 原理
马哥运维学习作业(五):下一篇
精彩评论