设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1173|回复: 0

Centos搭建mysql/Hadoop/Hive/Hbase/Sqoop/Pig

[复制链接]

3203

主题

3533

帖子

1万

积分

管理员

Rank: 18Rank: 18Rank: 18Rank: 18Rank: 18

积分
14297
发表于 2016-6-4 23:33:10 | 显示全部楼层 |阅读模式
目录:

准备工作

Centos安装 mysql

Centos安装Hadoop

Centos安装hive

JDBC远程连接Hive

Hbase和hive整合

Centos安装Hbase


准备工作:

配置/etc/hosts
  1. 127.0.0.1   localhost localhost.localdomain192.168.0.120 centos
复制代码
集中修改/etc/profile
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  
复制代码
其他确认信息:

  1.同步集群时间:集群之间的时间按差距不要超过30秒,因为如果不同步的话,后面hbase的regionServer的时候会报错的。
  2.在hadoop用户下,确认环境变量。hostname。service iptables status等。  
Centos安装 mysql

下载地址::http://dev.mysql.com/downloads/
http://mysql.mirror.kangaroot.net/Downloads/MySQL-5.7/
创建目用户及用户组权限
[root@localhost] groupadd mysql
[root@localhost]        useradd -r -g mysql mysql
yum安装,如果需要更高版本可以自行下载
yum -y install  mysql-server 安装版本较低
设置字符集和远程登录
vim /etc/my.cnf
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf8
复制代码
设置开机启动
chkconfig mysqld on
chkconfig --list mysqld
/etc/rc.d/init.d/mysqld start
为root设置密码
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 
复制代码
打开远程连接
  1. mysql> use mysql;mysql> desc user;mysql> GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "root";        //为root添加远程连接的能力mysql> update user set Password = password('123456') where User='root';        //设置root用户密码mysql> select Host,User,Password from user where User='root';mysql> flush privileges;mysql> exit
复制代码
若还不能进行远程连接,关闭防火墙
/etc/rc.d/init.d/iptables stop
手动安装更高版本,可参考:
http://www.cnblogs.com/zhoulf/archive/2013/01/25/zhoulf.html
http://www.cnblogs.com/xiongpq/p/3384681.html

Centos安装Hadoop

要远程访问Hadoop,首先得关闭防火墙:
查看状态:/etc/init.d/iptables status
关闭:/etc/init.d/iptables stop
永久性关闭:
chkconfig --level 35 iptables off 再重启
选择性开放:重启后生效 或修改/etc/sysconfig/iptables
/sbin/iptables -l INPUT -p tcp -dport 80 -j ACCEPT
/sbin/iptables -l INPUT -p tcp -dport 22 -j ACCEPT
安装Hadoop
cd /usr/local
tar -zxvf hadoop-2.2.0.tar.gz  
ln -s hadoop-2.2.0 hadoop
设置ssh无密码登陆
  1. ssh-keygen -t  rsa 直接回车cat ~/.ssh/id_rsa.pub >>  ~/.ssh/authorized_keyschmod 700 ~/.sshchmod 644 ~/.ssh/authorized_keys
复制代码
  1. 这样就可以了,再者修改/etc/hosts,将ip和hostname对应起来修改文件:hadoop-env.sh
复制代码
  1. export HADOOP_IDENT_STRING=$USERexport  JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25export HADOOP_HOME=/usr/local/hadoop-2.2.0export PATH=$PATH:/usr/local/hadoop-2.2.0/bin
复制代码
 hdfs-site.xml
  1. <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.name.dir</name><value>/usr/local/hadoop-2.2.0/hdfs/name</value></property><property><name>dfs.data.dir</name><value>/usr/local/hadoop-2.2.0/hdfs/data</value></property><property>    <name>dfs.permissions</name>    <value>false</value>    </property> <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property></configuration>
复制代码
注意:dfs.replication是系统重启之后,新加入文件就会按照这个备份系数来存放文件。要改变现有的文件的备份,可以在命令行下去设置。
记得要创建文件目录:
  1. mkdir   /usr/local/hadoop-2.2.0/hdfs/mkdir   /usr/local/hadoop-2.2.0/hdfs/datamkdir   /usr/local/hadoop-2.2.0/hdfs/name
复制代码
 core-site.xml
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  0
复制代码
注意:fs.defaultFS指定了HDFS的地址和端口,Hbase就能直接用此地址作为数据文件的根目录,如果不配置,默认的是在/tmp下,系统启动之后酒会没有了
mapred-site.xml
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  1
复制代码
yarn-site.xml
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  2
复制代码
 slaves
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  3
复制代码
start-all.sh jps
namenode datanode ResourceManager NodeManager SecondaryNameNode 必须有
注意:
如果是集群配置,则将目录拷贝到每一个datanode上。scp -r...
第一次启动记得要在Master hadoop上格式化文件爱你系统:hdfs namenode -format    hdfs dfsadmin -report

远程myeclipse和eclipse连接hadoop,参考:
HDP2.0.6+hadoop2.2.0+eclipse(windows和linux下)调试环境搭建

Centos安装hive

cd /usr/local
tar -zxvf hive-0.12.0.tar.gz  
ln -s hive-0.12.0 hive 建立软连接
修改文件:
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  4
复制代码
  在官方0.12.0的发布版本中的 hive-default.xml.template 中有 bug,在 2000行:
    <value>auth</auth>  修改为:<value>auth</value>
hive-env.sh,在最后加:
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  5
复制代码
hive-site.xml:以下是需要修改的键值对,其余的默认
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  6
复制代码
  
建立mysql元数据库:
hive需要用到关系型数据库来存储元信息,目前只支持mysql,创建mysql 的是记得设置字符集为latin1,否则后期建表会出问题
默认meta数据库为derby ,为了避免使用默认的Derby数据库(有并发访问和性能的问题),通常还需要配置元数据库为MySQL
mysql  -uroot -p123456
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  7
复制代码
出现错误:Specified key was too long:max key is 767 bytes
解决办法:在hive数据库中执行:alter database hive character set latin1.hive元数据库的字符集为latin1.
配置HDFS中的目录和权限:
    hive.metastore.warehouse.dir:(HDFS上的)数据目录
    hive.exec.scratchdir:(HDFS上的)临时文件目录
    hive.metastore.warehouse.dir默认值是/user/hive/warehouse
    hive.exec.scratchdir默认值是/tmp/hive-${user.name}
在hive-site.xml中这些都是默认值,暂时不改。在hdfs上创建相应文件夹
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  8
复制代码
用mysql当元数据库,别忘了找一个mysql的jdbcjar包mysql-connector-java-3.1.12-bin.jar也拷贝到hive-0.12.0/lib下。
在CLI命令行下运行Hive,并进行测试。
出现问题:ermission denied: user=root, access=EXECUTE, inode="/tmp":hadoop:supergroup:drwx-w----
解决办法:hdfs dfs -chmod 777 /tmp

JDBC远程连接Hive

  如果需要通过jdbc/odbc的方式来连接hive,需要启动metastore shfift,因此必须配置hive.metastore.uris。
而hive.aux.jars.path是与hbase整合的时候需要用到的jar包,必须加上。
  如果不加端口默认启动:hive --service metastore,则默认监听端口是:9083 ,注意客户端中的端口配置需要和启动监听的端口一致。
  服务端启动正常后,客户端就可以执行hive操作了。
  hive --service metastore -p <port_num>   也可以自定义监听端口。
debug 模式启动hive服务:
  hive --service metastore --hiveconf  hive.root.logger=DEBUG,console
  hive --service hiveserver --hiveconf  hive.root.logger=DEBUG,console
启动服务,这样jdbc:hive就能连上,默认10000端口,后面的部分一定要带上,否则用eclipse连接不上的。
起来后我们在eclipse就可以使用jdbc:hive来连接了。如
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_25/export JRE_HOME=/usr/lib/jvm/jdk1.7.0_25/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/local/hadoop-2.2.0export HBASE_HOME=/usr/local/hbaseexport HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HADOOP_HOME/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin  9
复制代码
其实使用上和普通的数据库已经很相似了,除了建表的语句有一些差别。
注意:如果是hiveserver2的话,启动是相似的,接口:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf80
复制代码
  

Hbase和hive整合

而hive.aux.jars.path是与hbase整合的时候需要用到的jar包,必须加上。
将hbase的包拷贝到hive/lib下
[root@HADOOP7 hive]# cd /usr/lib/hbase/lib/
[root@HADOOP7 lib]# cp ./hbase-*.jar ./protobuf-*.jar ./zookeeper.*jar ./htrace-core-2.04.jar  ../hive/lib
注意,如果hive/lib中存在zookeeper.jar,protobuf.jar,以hbase中的为准,移除到hive的备份目录去
修改hive配置文件
  加载hive连接hbase需要的jar 包
  在Ambari上直接修改 hive ——>configs——》

  内容为:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf81
复制代码
  如果在hive-site.xml中,对应加一项property.
将hbase-site.xml拷贝到hive/conf下
测试:
  首先先启动hadoop和hbase,再启动hive元数据库:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf82
复制代码
  启动之后会一直卡住不动,放着不管,打开另外一个窗口即可。
  如果直接hive会出现以下的错误:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf83
复制代码
  例子:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf84
复制代码
  修改hdfs上hbase文件夹的权限
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf85
复制代码


Centos安装Hbase

tar zxvf hbase-0.92.0.tar.gz
ln -s hbase-0.92.0 hbase  建立软链接的好处就是,在进行更新时,只需要重新建立软连接即可,而不用修改配置
修改文件:
(伪分布式)
hbase-env.sh:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf86
复制代码
hbase-site.xml:
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf87
复制代码
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf88
复制代码
  hbase.rootdir中的地址要跟hadoop2.2.0中配置fs.defaultFS的目录相同,然后加上自己要新建的目录hbase
在命令行下启动hbase
  start-hbase.sh
  stop-hbase.h
  web界面:http://master:60010/
  jps:增加了3个进程,HRegionServer,HQnorumPeer,HMaster
注意:如果是由hbase自己管理zookeeper,需要设置export HBASE_MANAGES-ZK=true,如果不是,则需要再下载zookeeper进行配置
测试 hbase
1).登录hbase客户端
  1. [client]port=3306socket=/var/lib/mysql/mysql.sockdefault-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-character-set = utf8character-set-server=utf8collation-server=utf8_general_ciinit_connect='SET collation_connection=utf8_general_ci'init_connect='SET NAMES utf8'[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.piddefault-charater-set=utf89
复制代码
2).新建数据表,并插入3条记录
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 0
复制代码

3).查看插入的数据
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 1
复制代码
4).读取单条记录
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 2
复制代码
5).停用并删除数据表
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 3
复制代码
6).退出
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 4
复制代码


Centos安装sqoop

摘抄(Hbase分布式配置修改)

1.修改conf/hbase-env.sh,添加jdk支持
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 5
复制代码
2. 修改conf/hbase-site.xml,
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 6
复制代码
[url=http://www.bdtbus.com/][/url]

hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机
hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群
hbase.master设置hbase的master主机名和端口
hbase.zookeeper.quorum设置zookeeper的主机,建议使用单数

3.修改hadoop的目录下的conf/hdfs-site.xml
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 7
复制代码
4.修改conf/regionservers
将所有的datanode添加到这个文件,类似与hadoop中slaves文件
5.拷贝hbase到所有的节点
其他配置:
hbase-env.sh 如果想使用HBase自带的zookeeper,设置:
export HBASE_MANAGES_ZK=true(启用hbase管理zookeeper的形式)

Centos安装Sqoop

非常简单,五分钟搞定。
[root@centos local]# cp /home/kang/Desktop/temp/sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz ./
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 8
复制代码

sqoop无需启动即可使用,如链接mysql数据库验证:
  1. mysql -urootselect user,host,password  from mysql.user;set password for root@localhost = password('123456');exit;重新登录看有没有生效。 9
复制代码

Centos安装Pig
  1. mysql> use mysql;mysql> desc user;mysql> GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "root";        //为root添加远程连接的能力mysql> update user set Password = password('123456') where User='root';        //设置root用户密码mysql> select Host,User,Password from user where User='root';mysql> flush privileges;mysql> exit0
复制代码




 

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表