设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 139|回复: 0

大数据平台​ Hadoop ​的分布式集群环境搭建

[复制链接]

171

主题

0

帖子

6

积分

吃土小白

Rank: 1

积分
6
发表于 4 天前 | 显示全部楼层 |阅读模式
1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图,将NameNode部署在master1,SecondaryNameNode部署在master2,slave1、slave2、slave3中分别部署一个DataNode节点

NN=NameNode(名称节点)
SND=SecondaryNameNode(NameNode的辅助节点)
DN=DataNode(数据节点)
2前期准备(1)准备五台服务器
如:master1、master2、slave1、slave2、slave3
(2)关闭所有服务器的防火墙

(3)分别修改各服务器的/etc/hosts文件,内容如下:

注:对应修改个服务器的/etc/hostname文件,分别为 master1、master2、slave1、slave2、slave3
(4)分别在各台服务器创建一个普通用户与组

切换至hadoop用户:su hadoop
(5)各服务器间的免密码登录配置,分别在各自服务中执行一次

注:以上操作需要登录到hadoop用户操作
(6)下载hadoop包,hadoop-2.7.5.tar.gz
官网地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
3开始安装部署(1)创建hadoop安装目录

(2)将安装包解压至/home/hadoop/app/hadoop下

(3)配置hadoop的环境变量,修改/etc/profile

(4)刷新环境变量

4配置Hadoop(1)配置core-site.xml

默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml
(2)配置hdfs-site.xml


默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
(3)配置mapred-site.xml
$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml

默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
(4)配置yarn-site.xml


默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
(5)配置slaves

slaves文件中配置的是DataNode的所在节点服务
(6)配置hadoop-env
修改hadoop-env.sh文件的JAVA_HOME环境变量,操作如下:

(7)配置yarn-env
修改yarn-env.sh文件的JAVA_HOME环境变量,操作如下

(8)配置mapred-env
修改mapred-env.sh文件的JAVA_HOME环境变量,操作如下:

(9)将master1中配置好的hadoop分别远程拷贝至maser2、slave1 、slave2、slave3服务器中

5启动测试(1)在master1节点中初始化Hadoop集群

(2)启动Hadoop集群

(3)验证集群是否成功
浏览器中访问50070的端口,如下证明集群部署成功

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表