HBase源码分析2—client和region定位原理

by yiz96 22. 12 月 2017 hbase, 数据库 0

在上一篇文章HBase源码分析1—初试中简要介绍了HBase的整体组成。从这一篇开始逐渐从源码入手看下HBase内部究竟是如何工作的。

我们主要使用的代码是1.4.0版本的，同样的，Java使用的lib版本也是1.4.0，可以通过maven仓库下载到。

Java操作HBase的例子

假设我们已经创建了一个test表，并且有列族cf1, cf2

create 'test', {NAME=>'cf1'}, {NAME=>'cf2'}

1	create 'test', {NAME=>'cf1'}, {NAME=>'cf2'}

我们只进行一个简单的put操作，代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

public class SimpleExample {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            // 1.4版本推荐的初始化方式，new HTable方式已被废弃
            Connection connection = ConnectionFactory.createConnection(conf);
            Table table = connection.getTable(TableName.valueOf("test"));

            byte[] rowKey = Bytes.toBytes("key_yiz96");
            byte[] columnFamily = Bytes.toBytes("cf1");
            byte[] qualifier = Bytes.toBytes("name");
            byte[] value = Bytes.toBytes("YiZheng");

            Put put = new Put(rowKey);
            put.addColumn(columnFamily, qualifier, value);
            table.put(put);

            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.*;

import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

public class SimpleExample {

public static void main(String[] args) {

try {

Configuration conf = new Configuration();

// 1.4版本推荐的初始化方式，new HTable方式已被废弃

Connection connection = ConnectionFactory.createConnection(conf);

Table table = connection.getTable(TableName.valueOf("test"));

byte[] rowKey = Bytes.toBytes("key_yiz96");

byte[] columnFamily = Bytes.toBytes("cf1");

byte[] qualifier = Bytes.toBytes("name");

byte[] value = Bytes.toBytes("YiZheng");

Put put = new Put(rowKey);

put.addColumn(columnFamily, qualifier, value);

table.put(put);

table.close();

} catch (IOException e) {

e.printStackTrace();

}

然后我们在hbase shell中使用 scan 'test' 命令就可以看到我们刚插入的数据了。

使Goto Impl可以看到源码

如果我们在上面代码的object上按 ⌘B （Intellij快捷键，查看代码实现），通常会显示一个.class的反编译的代码中（显示Decompiled .class file xxxxx），但是右上角还会有两个选项“download sources”和“choose sources”。如果已经下载过HBase的源码，可以直接点击choose sources，选择解压后的HBase根目录即可。这样我们就可以查看client的源代码了。

Client为我们做了什么

初始化和结束阶段

没啥好讲的，基本都是在构造各种对象，Conf、HTable等等，nothing special……

Put Object

我们跟踪下Put对象的实现，这个对象实现在hadoop-client项目中。它实现了7个构造函数和一些简单的操作函数比如添加列，有些函数已经在这个版本被打上deprecated的标记。其中addColumn函数族跟addImmutable函数族似乎没什么区别，我也不清楚具体是为啥留的接口……

我们跟一下addColumn：