设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 107|回复: 0

CDH安装hadoop集群之安装前环境准备

[复制链接]

166

主题

0

帖子

24

积分

吃土小白

Rank: 1

积分
24
发表于 2018-1-27 19:57:22 | 显示全部楼层 |阅读模式

1. 使用CDH部署hadoop环境
1.1. 什么是hadoop?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

1.2. 什么是CDH(Cloudera's Distribution, including Apache Hadoop)?
现如今,企业和大型机构在寻求解决棘手的大数据问题时,往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。
1. CDH的优点  
  版本划分清晰  版本更新速度快  支持Kerberos安全认证  文档清晰  支持多种安装方式(Cloudera Manager方式)
2. CDH安装方式
  Cloudera Manager   Yum   Rpm   Tarball
3. 本次安装使用的是5.4.3版本,CDH下载地址
  CDH5.4     http://archive.cloudera.com/cdh5/  Cloudera Manager5.4.3:     http://www.cloudera.com/downloads/manager/5-4-3.html
下载cdh parcel,三个文件如下图:

下载CDH管理包cloudera-manager-el6-cm5.4.3_x86_64.tar.gz如下图:

1.3. 环境准备

1) 首先创建四台虚拟机,要求硬盘15G,hadoop001内存3G以上,其他的1G以内。

2) 系统设置:配置ip,dns,主机名,hosts,swappiness,关闭 SELINUX,关闭防火墙,调整时区,开启ntp服务,安装jdk,配置环境变量reboot重启机器。
修改/etc/hosts:
192.168.153.171 hadoop001
192.168.153.172 hadoop002
192.168.153.173 hadoop003
192.168.153.174 hadoop004
修改/proc/sys/vm/swappiness
echo 10 >/proc/sys/vm/swappiness

关闭防火墙


设置时区

开启ntp并校正时间。

安装配置jdk

修改/etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
说明:swappiness,Linux内核参数,控制换出运行时内存的相对权重。swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换,更高参数值会使内核更多的去使用交换空间。默认值为60(参考网络资料:当剩余物理内存低于40%(40=100-60)时,开始使用交换空间)。对于大多数操作系统,设置为100可能会影响整体性能,而设置为更低值(甚至为0)则可能减少响应延迟。

vi /etc/sysconfig/network

vi /etc/sysconfig/network-scripts/ifcfg-eth0
删除网卡配置文件
rm -rf /etc/udev/rules.d/70-persistent-net.rules
重启服务器

3) 配置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp /root/.ssh/id_dsa.pub root@192.168.153.172:/root/.ssh/
scp /root/.ssh/id_dsa.pub root@192.168.153.173:/root/.ssh/
scp /root/.ssh/id_dsa.pub root@192.168.153.174:/root/.ssh/
三台机器分别
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试

4) 在hadoop001上安装mysql,并启动,配置开机自启,配置用户名密码。
设置root用户的密码为chenjian
必须在mysql数据库下
use mysql;
update user set password=passworD("chenjian") where user='root';
让所有hadoop001能访问mysql使用密码chenjian
grant all privileges on *.* to 'root'@'hadoop001' identified by 'chenjian' with grant option;
让所有的机器能访问mysql使用密码chenjian
grant all privileges on *.* to 'root'@'%' identified by 'chenjian' with grant option;
flush privileges;
5) 下载安装依赖包(hadoop001)
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
至此,我们的CDH安装的第一步,安装环境算是配置成功了,下一步就是开始安装,敬请期待!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表