设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 189|回复: 0

hadoop高级工程师通过三年的努力编写的大数据开发快速核心点 ...

[复制链接]

75

主题

0

帖子

24

积分

吃土小白

Rank: 1

积分
24
发表于 2017-11-16 10:03:29 | 显示全部楼层 |阅读模式

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。
Hadoop 多节点集群

由 johnnyhung 创建,youj 最后一次修改 2016-12-09
本章介绍了分布式环境中Hadoop多节点集群的设置。
由于整个集群无法演示,我们将使用三个系统(一个主节点和两个从节点)解释Hadoop集群环境;下面给出他们的IP地址。

  • Hadoop Master:192.168.1.15(hadoop-master)
  • Hadoop Slave:192.168.1.16(hadoop-slave-1)
  • Hadoop Slave:192.168.1.17(hadoop-slave-2)
按照以下步骤进行Hadoop多节点群集设置。
安装Java
Java是Hadoop的主要先决条件。首先,您应该使用“java -version”验证系统中是否存在java。 java版本命令的语法如下。
$ java -version如果一切正常,它会给你以下输出。
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)如果系统中没有安装java,请按照给定的步骤安装java。
步骤1
通过访问以下链接下载java(JDK - X64.tar.gz)http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
然后 jdk-7u71-linux-x64.tar.gz 将下载到您的系统。
第2步
通常你会在下载文件夹中找到下载的java文件。使用以下命令验证它并解压缩jdk-7u71-linux-x64.gz文件。
$ cd Downloads/$ lsjdk-7u71-Linux-x64.gz$ tar zxf jdk-7u71-Linux-x64.gz$ lsjdk1.7.0_71 jdk-7u71-Linux-x64.gz第3步
要使java可用于所有用户,您必须将其移动到位置“/ usr / local /”。打开根目录,然后键入以下命令。
$ supassword:# mv jdk1.7.0_71 /usr/local/# exit第4步
要设置PATH和JAVA_HOME变量,请将以下命令添加到〜/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71export PATH=PATH:$JAVA_HOME/bin现在如上所述从终端验证java -version命令。按照上述过程并在所有集群节点中安装java。
创建用户帐户
在主系统和从系统上创建系统用户帐户以使用Hadoop安装。
# useradd hadoop # passwd hadoop映射节点
您必须在所有节点上的/ etc / folder中编辑hosts文件,指定每个系统的IP地址,后跟其主机名。
# vi /etc/hostsenter the following lines in the /etc/hosts file.192.168.1.109 hadoop-master 192.168.1.145 hadoop-slave-1 192.168.56.1 hadoop-slave-2配置基于Key的登录

在每个节点中设置ssh,以便它们可以彼此通信,而不需要提示输入密码。
# su hadoop $ ssh-keygen -t rsa $ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 $ chmod 0600 ~/.ssh/authorized_keys $ exitHadoop安装
在主服务器中,使用以下命令下载并安装Hadoop。
# mkdir /opt/hadoop # cd /opt/hadoop/ # wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz # tar -xzf hadoop-1.2.0.tar.gz # mv hadoop-1.2.0 hadoop# chown -R hadoop /opt/hadoop # cd /opt/hadoop/hadoop/Hadoop配置
您必须通过进行以下更改来配置Hadoop服务器。
core-site.xml
打开core-site.xml文件并进行编辑,如下所示。
fs.default.name hdfs://hadoop-master:9000/   dfs.permissions false  hdfs-site.xml

打开hdfs-site.xml文件并进行编辑,如下所示。
dfs.data.dir /opt/hadoop/hadoop/dfs/name/data true   dfs.name.dir /opt/hadoop/hadoop/dfs/name true   dfs.replication 1  mapred-site.xml中
打开mapred-site.xml文件并进行编辑,如下所示。
mapred.job.tracker hadoop-master:9001  hadoop-env.sh
打开hadoop-env.sh文件并编辑JAVA_HOME,HADOOP_CONF_DIR和HADOOP_OPTS,如下所示。
注意:根据系统配置设置JAVA_HOME。
export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf在从属服务器 Slave上安装Hadoop
按照给定的命令在所有从属服务器 Slave上安装Hadoop。
# su hadoop $ cd /opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop hadoop-slave-2:/opt/hadoop在主服务器上配置Hadoop
打开主服务器并按照给定的命令配置它。
# su hadoop $ cd /opt/hadoop/hadoop配置主节点
$ vi etc/hadoop/mastershadoop-master配置从节点
$ vi etc/hadoop/slaveshadoop-slave-1 hadoop-slave-2格式命名Hadoop Master上的节点
# su hadoop $ cd /opt/hadoop/hadoop $ bin/hadoop namenode –format11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hadoop-master/192.168.1.109 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.0 STARTUP_MSG: build = http://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits………………………………………………….………………………………………………….…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/启动Hadoop服务
以下命令用于启动Hadoop-Master上的所有Hadoop服务。
$ cd $HADOOP_HOME/sbin$ start-all.sh在Hadoop集群中添加新的DataNode
下面给出了将新节点添加到Hadoop集群时需要遵循的步骤。
网络配置
通过一些适当的网络配置向现有Hadoop集群添加新节点。假设以下网络配置。
对于新节点配置:
IP address : 192.168.1.103 netmask : 255.255.255.0hostname : slave3.in添加用户和SSH访问
添加用户
在新节点上,通过使用以下命令将“hadoop”用户和Hadoop用户的密码添加到“hadoop123”或任何您想要的密码。
useradd hadooppasswd hadoop设置从主机到新从属机的密码关联性低。
在主站上执行以下操作
mkdir -p $HOME/.ssh chmod 700 $HOME/.ssh ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keysCopy the public key to new slave node in hadoop user $HOME directoryscp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/在从站上执行以下操作
登录到hadoop。如果没有,登录到hadoop用户。
su hadoop ssh -X hadoop@192.168.1.103将公共密钥的内容复制到文件“$ HOME / .ssh / authorized_keys”中,然后通过执行以下命令更改其权限。
cd $HOMEmkdir -p $HOME/.ssh chmod 700 $HOME/.sshcat id_rsa.pub >>$HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keys检查主机的ssh登录。现在检查是否可以ssh到新节点没有主密码。
ssh hadoop@192.168.1.103 or hadoop@slave3设置新节点的主机名
您可以在文件/etc /sysconfig /network中设置主机名
On new slave3 machineNETWORKING=yes HOSTNAME=slave3.in要使更改生效,请重新启动计算机或运行hostname命令到具有相应主机名的新计算机(重新启动是一个好的选项)。
在slave3节点机器上:
主机名 slave3.in
使用以下行在集群的所有计算机上更新/etc/hosts:
192.168.1.102 slave3.in slave3现在尝试用主机名ping机器,以检查它是否正在解析到IP。
在新节点机器上:
ping master.in在新节点上启动DataNode
使用$HADOOP_HOME / bin / hadoop-daemon.sh script手动启动datanode守护程序。它将自动联系主节点(NameNode)并加入集群。我们还应该将新节点添加到主服务器中的conf / slaves文件。基于脚本的命令将识别新节点。
登录新节点
su hadoop or ssh -X hadoop@192.168.1.103使用以下命令在新添加的从属节点上启动HDFS
./bin/hadoop-daemon.sh start datanode在新节点上检查jps命令的输出。它看起来如下。
$ jps7141 DataNode10312 Jps从Hadoop集群中删除DataNode
我们可以在运行时从群集中删除节点,而不会有任何数据丢失。 HDFS提供了一个停用功能,确保安全地执行删除节点。要使用它,请按照下面的步骤:
第1步:登录master
登录到安装了Hadoop的主机用户。
$ su hadoop第2步:更改集群配置
必须在启动集群之前配置排除文件。将名为dfs.hosts.exclude的键添加到我们的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中。与此键相关的值提供了NameNode本地文件系统上文件的完整路径,该文件包含不允许连接到HDFS的计算机列表。
例如,将这些行添加到etc/hadoop/hdfs-site.xml文件。
dfs.hosts.exclude /home/hadoop/hadoop-1.2.1/hdfs_exclude.txt DFS exclude 第3步:确定要停用的主机
要停用的每台计算机都应添加到由hdfs_exclude.txt标识的文件中,每行一个域名。这将阻止他们连接到NameNode。如果要删除DataNode2,“/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容如下所示。
slave2.in第4步:步骤4:强制配置重新加载
运行命令“$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”,不带引号。
$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes这将强制NameNode重新读取其配置,包括新更新的“excludes”文件。它将在一段时间内停止节点,从而允许将每个节点的块的时间复制到被调度为保持活动的机器上。
在slave2.in上,检查jps命令输出。一段时间后,您将看到DataNode进程被自动关闭。
第5步:关闭节点
在停用过程完成后,停用的硬件可以安全关闭进行维护。运行report命令dfsadmin以检查停用的状态。以下命令将描述退役节点和连接到集群的节点的状态。
$ $HADOOP_HOME/bin/hadoop dfsadmin -report第6步:编辑再次排除文件
一旦计算机已停用,它们可以从“excludees”文件中删除。再次运行“$ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes”会将excludees文件读回NameNode;允许DataNodes在维护完成后重新加入群集,或者在群集中再次需要额外的容量等。
特别注意:如果遵循上述过程,并且tasktracker进程仍在节点上运行,则需要关闭它。一种方法是断开机器,就像我们在上面的步骤。
tasktracker可以在任何时间点通过以下命令即时运行/关闭。Master将自动识别过程,并宣布为死亡。没有必要遵循相同的过程来删除tasktracker,因为它与DataNode相比并不重要。DataNode包含要安全删除的数据,而不会有任何数据丢失。
tasktracker可以在任何时间点通过以下命令即时运行/关闭。
$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表