设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 26|回复: 0

hadoop安装指南

[复制链接]

79

主题

0

帖子

16

积分

吃土小白

Rank: 1

积分
16
发表于 2017-12-7 10:04:14 | 显示全部楼层 |阅读模式
1、到hadoop官网下载最新的二进制版本。


2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9,你也可以用别的linux,譬如ubuntu。

解压缩命令: tar -zxvf hadoop-2.9.0.tar.gz
文件夹重命名:mv hadoop-2.9.0 hadoop
配置环境变量:vim /etc/profile
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
alias cdha='cd /home/hadoop'
export HADOOP_HOME=/home/hadoop
让更改生效:
source /etc/profile
这里我们设置了一个别名 cdha,可以快速转到hadoop 的目录。
(注意你需要事先已经安装好了java8哦!)
3、 修改hadoop配置文件
需要修改的配置文件都位于 $HADOOP_HOME/etc/hadoop 目录下。
1) vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
注意这里一定要是java的绝对路径,不可以用$JAVA_HOME代替。

2)vim core-site.xml

3)vim hdfs-site.xml

4、配置文件修改说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
5、配置完成后,执行以下语句格式化NameNode:
./bin/hdfs namenode –format
成功会看到如下提示:

6、接着执行以下命令开启 NameNode 和 DataNode 守护进程:
./sbin/start-dfs.sh
若ssh提示连接,输入yes即可
启动完成后,输入命令jps来判断是否启动成功

若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
若有如下页面,恭喜安装成功 !

本头条号,会长期发布最新的 java、大数据、人工智能相关文章,敬请转发和关注,感谢支持!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表