设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 184|回复: 0

大数据全栈工程师-hadoop-06

[复制链接]

145

主题

0

帖子

23

积分

吃土小白

Rank: 1

积分
23
发表于 2018-1-27 20:00:45 | 显示全部楼层 |阅读模式
请点击右上角“关注“我们,您的关注就是对我们的最大支持,我们会定期发表最前沿的技术文章,我们发技术文章的顺序是“由浅入深”,希望你能按照顺序来阅读。您可以把我们的文章分享给您的好朋友,让您和您的好朋友共同学习。我们的目标只有一个:“人人都是大数据全栈工程师”。
今天我将带领大家搭建Hadoop的伪分布式集群。想要学习大数据必须有一个大数据的平台供我们测试:

首先,需要准备两个工具包 jdk 和Hadoop :

1、首先安装Java
解压 :

重名为为jdk:

在环境变量文件/etc/profile 里面配置Java的环境变量:

执行source /etc/profile 使我们配置的jdk生效

运行Java -version会看到jdk的版本信息:

至此,我们的jdk安装完成,
现在我们配置ssh免密码登录:

一直回车即可,直到结束
最后输入命令:cat id_rsa.pub >> authorized_keys 即可。
至此,我们的ssh免密码登录设置完成。
现在我们要安装Hadoop 解压并重名为hadoop


在/etc/profile 里面配置Hadoop的环境变量如图:


之后执行source /etc/profile 使环境变量生效即可。
接下来我们需要配置Hadoop的配置文件:
Hadoop的配置文件在Hadoop目录里面的/etc/hadoop 在我这显示的目录/usr/local/hadoop/etc/hadoop

首先我们需要配置hadoop-env.sh
把我们的jdk的安装目录配置到里面即可如图:

我们配置core-site.xml 文件 如图:

注意: hdfs://hadoop:9000(Hadoop是你的主机名,9000是默认端口)
hadoop.tmp.dir是Hadoop在进行各种操作产生的一些临时文件目录:
接下来配置hdfs-site.xml:

选项分别是复本数量(伪分布下只能设为1),namenode的数据路径和DataNode的数据路径:
接下来是mapred-site.xml (默认是没有这个文件的,可以把 mapred-site.xml.template 重命名即可。

接着是yarn-site.xml

最后在slaves中添加当前主机名 如图:

至此所有配置已经完成,现在我们需要格式化Hadoop系统,如下:
执行命令 hadoop namenode -format

当看见 has been successfully formatted. 这几个单词的时候,证明我们的Hadoop安装成功了。
我们需要启动我们的Hadoop服务:
切换到hadoop安装目录下,执行sbin/start-all.sh

通过jps命令可以看到hadoop的5个守护进程,接下来我们用我们以前说的上传命令,往hdfs上传一个文件:

最后可以看出我们的hadoop平台已经搭建完成。希望各位朋友在学习的时候,按照教程自己搭一下,如果在搭建过程中遇到任何问题,欢迎给我留言,我看到后一定会回复。
请点击右上角“关注“我们,您的关注就是对我们的最大支持,我们会定期发表最前沿的技术文章,我们发技术文章的顺序是“由浅入深”,希望你能按照顺序来阅读。您可以把我们的文章分享给您的好朋友,让您和您的好朋友共同学习。我们的目标只有一个:“人人都是大数据全栈工程师”。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表