设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1397|回复: 0

Hbase Java API程序设计步骤

[复制链接]

3203

主题

3533

帖子

1万

积分

管理员

Rank: 18Rank: 18Rank: 18Rank: 18Rank: 18

积分
14297
发表于 2016-6-4 23:33:10 | 显示全部楼层 |阅读模式
  1. http://www.it165.net/admin/html/201407/3390.html步骤1:创建一个Configuration对象   包含了客户端链接Hbase服务所需的全部信息:    zookeeper位置(我们只有链接到zookeeper才能与hbase通信,master仅负责负载均衡等) ,     zookeeper链接超时时间     包含各种配置信息,hbase server zookeeper 访问地址和端口号等。     Configutation conf = HbaseConfiguration.create();     create()函数的内部逻辑:     从classpath中加载hbase-default.xml和hbase-site.xml两个文件     hbase-defaut.xml已经打包到Hbase jar包中     hbase-site.xml需要添加到class path中     hbase-site.xml将覆盖hbase-default.xml中的同名属性。       hbase如何找到并从classpath中获取hbase-site.xml信息 ====》如何检查hbase-site.xml已经在hadoop classpath中了呢?   运行  hadoop classpath | grep hbase     1 修改hadoop脚本,将Hbase classpath加入     2 在<hadoop_install>/conf/hadoop-env.sh中设置:       export HADOOP_CLASSPATH=$HBASE_HOME/*:$HBASE_HOME/conf:$HADOOP_CLASSPATH     两个目录放到hadoop的conf的hadoop.env.sh中          如果已经有了一个Configuration文件,可进行如下操作:     Configuration newconf = Configuration.create(existingConf);     用户自定义的配置文件将在已有配置文件之后加载,将覆盖hbase-default.xml hbase-site.xml中的配置
复制代码
  1.     createpublic static org.apache.hadoop.conf.Configuration create()Creates a Configuration with HBase resourcesReturns:a Configuration with HBase resourcescreatepublic static org.apache.hadoop.conf.Configuration create(org.apache.hadoop.conf.Configuration that)Parameters:that - Configuration to clone.Returns:a Configuration created with the hbase-*.xml files plus the given configuration.没有直接从路径添加的构造函数,但是可以构造一个 org.apache.hadoop.conf.Configuration  /**   * Add a configuration resource.    *    * The properties of this resource will override properties of previously    * added resources, unless they were marked <a href="#Final">final</a>.    *    * @param file file-path of resource to be added, the local filesystem is   *             examined directly to find the resource, without referring to    *             the classpath.   */  public void addResource(Path file) {    addResourceObject(new Resource(file));  }
复制代码
   可单独覆盖某一个或多个参数值
   Configuration conf = HbaseConfiguration.create();
   conf.set("hbase.zookeeper.quorum", "node1, node2"); 但通常不推荐这么做。 因为需要重新打包,不方便,不如放到配置文件中。
  1.   步骤2:创建一个HTable句柄   提供Configuration对象     提供待访问Table名称     HTable table = new HTable(conf, tabName);》一个table对应一个Htable句柄  这个句柄在org.apache.hadoop.hbase.client.HTable》提供了CRUD操作 create read update del》提供行级事务,  不支持多行事务或者表级别事务  严格的行一致性  并发读,顺序写。创建HTable句柄代价很大1 扫描.META.表2 创建一次,以后尽可能复用3 如果需要创建多个HTable句柄,使用HTableToolHTable并非线程安全的,一个线程创建一个即可。Htable支持CRUD批处理,非线程安全,仅是为了提高性能。步骤3:执行相应的操作     put,get,delete,scan等     table.getTableName();步骤4:关闭Htable句柄 【句柄不关,会发生内存泄露】    将内存数据刷新到磁盘上。    释放各种资源。    table.close()
复制代码
  1. package com.jlc.hadoop.hbase.example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.util.Bytes;public class PutTest {public static void main(String[] args) throws IOException {Configuration conf = HBaseConfiguration.create();HTable hTable = new HTable(conf, "tab1");System.out.println(Bytes.toString(hTable.getTableName()));//步骤一,创建一个put对象Put put = new Put(Bytes.toBytes("row1"));//设置cell值//Put.add(family, column, value)//Put.add(family, column, timestamp, value)//Put.add(KeyValue kv)  KeyValue 事实上就是封装了 上面四个,看起来简单byte[] family = Bytes.toBytes("fam1");byte[] qualifier = Bytes.toBytes("col1");byte[] value = Bytes.toBytes("val2");;put.add(family, qualifier, value);hTable.put(put);    hTable.close();//        hbase(main):003:0> scan 'tab1'//        ROW                   COLUMN+CELL                                               //         row1                 column=fam1:col1, timestamp=1395796780021, value=val1     //         row2                 column=fam1:col1, timestamp=1398305517331, value=val2     //        2 row(s) in 0.0090 seconds//      若row1 fam1 col1 已经存在,则   scan的时候 显示最新时间戳的那个值,其他的如何获取呢???//        hbase(main):004:0> scan 'tab1'//        ROW                   COLUMN+CELL                                               //         row1                 column=fam1:col1, timestamp=1398305623182, value=val2     //         row2                 column=fam1:col1, timestamp=1398305517331, value=val2          }}
复制代码
  1. package com.jlc.hadoop.hbase.example;import java.io.IOException;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.conf.Configuration;public class ConstructHTable {public static void main(String[] args) throws IOException {Configuration conf = HBaseConfiguration.create();HTable hTable = new HTable(conf, "tab1");System.out.println(Bytes.toString(hTable.getTableName()));hTable.close();}}
复制代码
  1. package com.jlc.hadoop.hbase.example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Delete;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.HTable;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.client.ResultScanner;import org.apache.hadoop.hbase.client.Scan;import org.apache.hadoop.hbase.util.Bytes;public class ReadTest {public static void print(Result result){System.out.println("-----------------------------");System.out.println("RowId:" + Bytes.toString(result.getRow()));byte[] val1 = result.getValue(Bytes.toBytes("fam1"), Bytes.toBytes("col1"));System.out.println("fam1:col1=" + Bytes.toString(val1));byte[] val2 = result.getValue(Bytes.toBytes("fam1"), Bytes.toBytes("col1"));System.out.println("fam1:col1=" + Bytes.toString(val2));}public static void scan(HTable hTable, String startrow,String stoprow) throws IOException{System.out.println("scaning from " + startrow + " to " + stoprow);Scan scan = new Scan(Bytes.toBytes(startrow), Bytes.toBytes(stoprow));  // 这个限定了row 但怎么限定列呢//scan.addColumn(family, qualifier)scan.addColumn(Bytes.toBytes("fam1"), Bytes.toBytes("col1"));   // 这个就指明我们仅仅取某个列就行了ResultScanner scanner = hTable.getScanner(scan);    //获取scanner句柄for (Result result : scanner) {//            byte[] value = result.getValue(family, qualifier)byte[] value = result.getValue(Bytes.toBytes("fam1"), Bytes.toBytes("col1"));System.out.println(Bytes.toString(result.getRow()) + "=>" + Bytes.toString(value));}scanner.close();//  这个不要忘记哦    }public static void main(String[] args) throws IOException {/** 支持的API类型 通过rowkey获取一行数据 通过rowkey集合获取多条记录 扫描整个表或者表的一部分* * 扫描表:可指定扫描的范围,[startkey, endkey] 表中数据是按照rowkey排序的* * 读取时的注意事项: 1 只读取需要的数据* [比方我只读取某个columnfamliy里某一个column的数据,指定这一列就行了,不要都读取出来,浪费io] 2* 尽可能的增加数据约束条件 3 可增加family, column(s) time range 和 max* versions【我要返回多少个版本号】等约束条件* * 接口实例:get.setTimeRange(minStamp, maxStamp) 这个就是增加时间范围, time range* get.setMaxVersions(maxVersions)get.addFamily(family) 只后去众多familys* 中的一个familyget.addColumn(family, column)* 只获取某个family的众多columen中的一个column的数据*/Configuration conf = HBaseConfiguration.create();HTable hTable = new HTable(conf, "tab1");System.out.println(Bytes.toString(hTable.getTableName()));//        byte[] family = Bytes.toBytes("fam1");//        byte[] qualifier = Bytes.toBytes("col1");//        byte[] value = Bytes.toBytes("val2");;// get example//        Get get = new Get(Bytes.toBytes("row1"));//        Result result = hTable.get(get);//        print(result);//有时候我们不需要整个row里的所有数据,我们可以加以限制 [推荐使用这种限制的]//        get.addColumn(Bytes.toBytes("fam1"), Bytes.toBytes("col1"));//        result = hTable.get(get);//        print(result);//        keyvalues={row1/fam1:col1/1398305623182/Put/vlen=4/mvcc=0}//        keyvalues={row1/fam1:col1/1398305623182/Put/vlen=4/mvcc=0}//delete example//Delete delete = new Delete(Bytes.toBytes("rowtodel"));//hTable.delete(delete);//Delete delete1 = new Delete(Bytes.toBytes("another row"));//delete1.deleteColumn(family, qualifier)//hTable.delete(delete1);//scan examplescan(hTable, "row1", "row3"); //前闭 后开的  要得道前两行,需要指定到第三行hTable.close();}}
复制代码
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表