一、HBase簡(jiǎn)介
HBase是一個(gè)開(kāi)源的、分布式的、版本化的NoSQL數(shù)據(jù)庫(kù)（即非關(guān)系型數(shù)據(jù)庫(kù)），依托Hadoop分布式文件系統(tǒng)HDFS提供分布式數(shù)據(jù)存儲(chǔ)，利用MapReduce來(lái)處理海量數(shù)據(jù)，用Zookeeper作為其分布式協(xié)同服務(wù)，一般用于存儲(chǔ)海量數(shù)據(jù)。HDFS和HBase的區(qū)別在于，HDFS是文件系統(tǒng)，而HBase是數(shù)據(jù)庫(kù)。HBase只是一個(gè)NoSQL數(shù)據(jù)庫(kù)，把數(shù)據(jù)存在HDFS上?？梢园袶Base當(dāng)做是MySQL，把HDFS當(dāng)做是硬盤(pán)。

這里表示的就是數(shù)據(jù)存儲(chǔ)的位置和名字；以及簇的信息

進(jìn)入到具體的表中就是我們數(shù)據(jù)存的具體的節(jié)點(diǎn)和 區(qū)的開(kāi)始位置和結(jié)束位置；
startkey 預(yù)分區(qū)的開(kāi)始
endkey 預(yù)分區(qū)的結(jié)束

HBase 定義
HBase 是一種分布式、可擴(kuò)展、支持海量數(shù)據(jù)存儲(chǔ)的 NoSQL 數(shù)據(jù)庫(kù)。

1）Master

Master是所有Region Server的管理者，其實(shí)現(xiàn)為HRegionServer,主要作用有:

對(duì)于表的DDL操作：create，delete，alter；
對(duì)于RegionServer的操作：分配regions到每個(gè)RegionServer，監(jiān)控每個(gè)RegionServer的狀態(tài)，負(fù)載均衡和故障轉(zhuǎn)移。

2）Zookeeper：

HBase通過(guò)Zookeeper來(lái)做Master的高可用、RegionServer的監(jiān)控、元數(shù)據(jù)的入口以及集群配置的維護(hù)等工作。

3）WAL：

由于數(shù)據(jù)要經(jīng)MemStore排序后才能刷寫(xiě)到HFile，但把數(shù)據(jù)保存在內(nèi)存中會(huì)有很高的概率導(dǎo)致數(shù)據(jù)丟失，為了解決這個(gè)問(wèn)題，數(shù)據(jù)會(huì)先寫(xiě)入Write-Ahead logfile的文件中，然后再寫(xiě)入到Memstore中。所以在系統(tǒng)出現(xiàn)故障的時(shí)候，數(shù)據(jù)可以通過(guò)這個(gè)日志文件重建。

4）MemStore：

寫(xiě)緩存，由于HFile中的數(shù)據(jù)要求是有序的，所以數(shù)據(jù)是先存儲(chǔ)在MemStore中，排好序后，等到達(dá)刷寫(xiě)時(shí)機(jī)才會(huì)刷寫(xiě)到HFile，每次刷寫(xiě)都會(huì)形成一個(gè)新的HFile。

5）StoreFile：
保存實(shí)際數(shù)據(jù)的物理文件，StoreFile以HFile的形式存儲(chǔ)在HDFS上。每個(gè)Store會(huì)有一個(gè)或多個(gè)StoreFile(HFile)，數(shù)據(jù)在StoreFile上是有序的。

1）Name Space
命名空間，類(lèi)似于關(guān)系型數(shù)據(jù)庫(kù)的DataBase概念，每個(gè)命名空間下有多個(gè)表。HBase有兩個(gè)自帶的命名空間，分別是hbase和default，hbase中存放的是HBase的內(nèi)置表，default表示用戶(hù)默認(rèn)使用的命名空間。

2）Region（區(qū)域）

類(lèi)似于關(guān)系型數(shù)據(jù)庫(kù)的表概念。不同的是，HBase定義表時(shí)只需要生命列簇即可，不需要聲明具體的列。這意味著，往HBase寫(xiě)入數(shù)據(jù)時(shí)，字段可以動(dòng)態(tài)、按需指定。

HBase表中的每行數(shù)據(jù)都由一個(gè)RowKey和多個(gè)Column(列)組成，數(shù)據(jù)是按照RowKey的字典順序存儲(chǔ)的，并且查詢(xún)時(shí)智能根據(jù)RowKey進(jìn)行檢索，所以RowKey的設(shè)計(jì)十分重要。

4）Cloumn
HBase中的每個(gè)列都由Cloumn Family（列簇）和Cloumn Qualifier（列限定符）進(jìn)行限定，例如info：name，info：age。建表時(shí)，只需指明列簇，而列限定符無(wú)需預(yù)先定義。

5）Time Stamp
用于標(biāo)識(shí)數(shù)據(jù)的不同版本（version），每條數(shù)據(jù)寫(xiě)入時(shí)，如果不指定時(shí)間戳，系統(tǒng)會(huì)自動(dòng)為其加上該字段，其值為寫(xiě)入HBase的時(shí)間。
HBASE 中通過(guò)rowkey和columns確定的為一個(gè)存貯單元稱(chēng)為cell。每個(gè) cell都保存 著同一份數(shù)據(jù)的多個(gè)版本。版本通過(guò)時(shí)間戳來(lái)索引。時(shí)間戳的類(lèi)型是 64位整型。時(shí)間戳可以由HBASE(在數(shù)據(jù)寫(xiě)入時(shí)自動(dòng) )賦值，此時(shí)時(shí)間戳是精確到毫秒 的當(dāng)前系統(tǒng)時(shí)間。時(shí)間戳也可以由客戶(hù)顯式賦值。如果應(yīng)用程序要避免數(shù)據(jù)版 本沖突，就必須自己生成具有唯一性的時(shí)間戳。每個(gè) cell中，不同版本的數(shù)據(jù)按照時(shí)間倒序排序，即最新的數(shù)據(jù)排在最前面。
為了避免數(shù)據(jù)存在過(guò)多版本造成的的管理 (包括存貯和索引)負(fù)擔(dān)，HBASE提供 了兩種數(shù)據(jù)版本回收方式。一是保存數(shù)據(jù)的最后n個(gè)版本，二是保存最近一段 時(shí)間內(nèi)的版本（比如最近七天）。用戶(hù)可以針對(duì)每個(gè)列族進(jìn)行設(shè)置。

可以根據(jù)時(shí)間戳來(lái)進(jìn)行數(shù)據(jù)的取：
scan ‘namespace名:表名’, {COLUMN => ‘列簇:列’, TIMERANGE => [開(kāi)始時(shí)間戳,結(jié)束時(shí)間戳]}
scan ‘student’, {COLUMN => ‘c1’, TIMERANGE => [1658827317000,1658913717000]}

6）Cell

由

{ RowKey, ColumnFamily: ColumnQualifier, TimeStamp}

唯一確定的單元。cell 中的數(shù)據(jù)是沒(méi)有類(lèi)型的，全部是字節(jié)碼形式存貯。

Hbase是bigtable的開(kāi)源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫(xiě)的數(shù)據(jù)庫(kù)系統(tǒng)。

它介于nosql和RDBMS之間，僅能通過(guò)主鍵(row key)和主鍵的range來(lái)檢索數(shù)據(jù)，僅支持單行事務(wù)(可通過(guò)hive支持來(lái)實(shí)現(xiàn)多表join等復(fù)雜操作)。主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。

與hadoop一樣，Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過(guò)不斷增加廉價(jià)的商用服務(wù)器，來(lái)增加計(jì)算和存儲(chǔ)能力。

RowKey
與nosql數(shù)據(jù)庫(kù)們一樣,RowKey是用來(lái)檢索記錄的主鍵。訪問(wèn)HBASE table中的行，只有三種方式：
1.通過(guò)單個(gè)RowKey訪問(wèn)
2.通過(guò)RowKey的range（正則）
3.全表掃描
RowKey行鍵 (RowKey)可以是任意字符串(最大長(zhǎng)度是64KB，實(shí)際應(yīng)用中長(zhǎng)度一般為 10-100bytes)，在HBASE內(nèi)部，RowKey保存為字節(jié)數(shù)組。存儲(chǔ)時(shí)，數(shù)據(jù)按照RowKey的字典序(byte order)排序存儲(chǔ)。設(shè)計(jì)RowKey時(shí)，要充分排序存儲(chǔ)這個(gè)特性，將經(jīng)常一起讀取的行存儲(chǔ)放到一起。(位置相關(guān)性)

Column Family
列族：HBASE表中的每個(gè)列，都?xì)w屬于某個(gè)列族。列族是表的schema的一部 分(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如 courses:history，courses:math都屬于courses 這個(gè)列族。

Cell
由{rowkey, column Family:columu, version} 唯一確定的單元。cell中的數(shù)據(jù)是沒(méi)有類(lèi)型的，全部是字節(jié)碼形式存貯。
關(guān)鍵字：無(wú)類(lèi)型、字節(jié)碼

命名空間 命名空間的結(jié)構(gòu):

1. Table：表，所有的表都是命名空間的成員，即表必屬于某個(gè)命名空間，如果沒(méi)有指定，則在default默認(rèn)的命名空間中。
2. RegionServer group：一個(gè)命名空間包含了默認(rèn)的RegionServer Group。
3. Permission：權(quán)限，命名空間能夠讓我們來(lái)定義訪問(wèn)控制列表ACL（Access Control List）。例如，創(chuàng)建表，讀取表，刪除，更新等等操作。
4. Quota：限額，可以強(qiáng)制一個(gè)命名空間可包含的region的數(shù)量。

默認(rèn)的空間：
有命名空間：
比如：
name_space001: student 就是這個(gè)命名空間下的表；

HBase 中的表一般有這樣的特點(diǎn)：

1、大：一個(gè)表可以有上十億行，上百萬(wàn)列；
2、面向列：面向列(族)的存儲(chǔ)和權(quán)限控制，列(族)獨(dú)立檢索；
3、稀疏:對(duì)于為空(null)的列，并不占用存儲(chǔ)空間，因此，表可以設(shè)計(jì)的非常稀疏。

HBase儲(chǔ)存結(jié)構(gòu)詳解

從上面的架構(gòu)圖可以看出HBase是建立在hadoop之上的,HBase底層依賴(lài)于HDFS。HBase有3個(gè)重要的組件：Zookeeper、HMaster、HRegionServer。

Zookeeper為整個(gè)HBase集群提供協(xié)助的服務(wù)，HMaster主要用于監(jiān)控和操作集群的所有RegionServer。RegionServer主要用于服務(wù)和管理分區(qū)（Regions）

1、HDFS

HBase底層依賴(lài)于HDFS的

2、HMaster

HMaster是HBase集群架構(gòu)中的主節(jié)點(diǎn)，通常一個(gè)HBase集群存在多個(gè)HMaster節(jié)點(diǎn),其中一個(gè)為Active Master,其余為Backup Master。

Hbase每時(shí)每刻只有一個(gè)HMaster主服務(wù)器程序在運(yùn)行，HMaster將region分配給HRegionServer，協(xié)調(diào)HRegionServer的負(fù)載并維護(hù)集群的狀態(tài)。Hmaster不會(huì)對(duì)外提供數(shù)據(jù)服務(wù)，而是由HRegionServer負(fù)責(zé)所有regions的讀寫(xiě)請(qǐng)求及操作。

由于HMaster只維護(hù)表和region的元數(shù)據(jù)，負(fù)責(zé)Region的分配及數(shù)據(jù)庫(kù)的創(chuàng)建和刪除等操作而不參與數(shù)據(jù)的輸入/輸出過(guò)程，HMaster失效僅僅會(huì)導(dǎo)致所有的元數(shù)據(jù)無(wú)法被修改，但表的數(shù)據(jù)讀/寫(xiě)還是可以正常進(jìn)行的。

HMaster的作用：

A、調(diào)控Region server的工作
為Region server分配region,
負(fù)責(zé)HRegionServer的負(fù)載均衡,
監(jiān)控集群中的Region server的工作狀態(tài), 發(fā)現(xiàn)失效的HRegionServer并重新分配其上的Hregion（通過(guò)監(jiān)聽(tīng)zookeeper對(duì)于ephemeral node狀態(tài)的通知）。

備注：
HRegion,習(xí)慣把它稱(chēng)為region,表的意思
HRegionServer,習(xí)慣把它稱(chēng)為Region server,HRegionServer是HBase集群架構(gòu)中的從節(jié)點(diǎn)

B、管理數(shù)據(jù)庫(kù)
提供創(chuàng)建，刪除或者更新表格的接口。

.3、HRegionServer

HRegionServer是HBase集群架構(gòu)中的從節(jié)點(diǎn)，HBase中的表是根據(jù)row key的值水平分割成所謂的region的。一個(gè)region包含表中所有row key位于region的起始鍵值和結(jié)束鍵值之間的行。

集群中負(fù)責(zé)管理Region的結(jié)點(diǎn)叫做Region server。Region server負(fù)責(zé)數(shù)據(jù)的讀寫(xiě)。每一個(gè)Region server大約可以管理1000個(gè)region。

備注：HRegionServer,習(xí)慣把它稱(chēng)為Region server,HRegionServer是HBase集群架構(gòu)中的從節(jié)點(diǎn)。（一些文章寫(xiě)的是Region server、一些寫(xiě)的是HRegionServer，兩個(gè)意思都是一樣的）

1、HRegionServer由如下幾個(gè)部分組成
一個(gè)HRegionServer會(huì)有多個(gè)HRegion和一個(gè)HLog。
HLog:預(yù)寫(xiě)入日志，防止內(nèi)存中數(shù)據(jù)丟失
HRegion：表,一個(gè)HRegionServer可以維護(hù)多個(gè)HRegion（習(xí)慣稱(chēng)為一個(gè)Region Server可以維護(hù)多個(gè)Region）
2、HRegionServer的職責(zé)
維護(hù)HMaster分配給它的HRegion，處理對(duì)這些HRegion的IO請(qǐng)求，也就是說(shuō)客戶(hù)端直接和HRegionServer打交道。

4、HRegion

概述

Region是HBase數(shù)據(jù)管理的基本單位，每個(gè)HRegion由多個(gè)Store構(gòu)成，每個(gè)Store保存一個(gè)列族（Columns Family），表有幾個(gè)列族，則有幾個(gè)Store，每個(gè)Store由一個(gè)MemStore和多個(gè)StoreFile組成，MemStore是Store在內(nèi)存中的內(nèi)容，寫(xiě)到文件后就是StoreFile，StoreFile底層是以HFile的格式保存。

Region相當(dāng)于數(shù)據(jù)庫(kù)中的表

Region/Store/StoreFile/Hfile之間的關(guān)系

1、 Region
table在行的方向上分隔為多個(gè)Region。Region是HBase中分布式存儲(chǔ)和負(fù)載均衡的最小單元，即不同的region可以分別在不同的Region Server上，但同一個(gè)Region是不會(huì)拆分到多個(gè)server上。
Region按大小分隔，表中每一行只能屬于一個(gè)region。隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)region的某個(gè)列族達(dá)到一個(gè)閾值（默認(rèn)256M）時(shí)就會(huì)分成兩個(gè)新的region。

2、 Store
每一個(gè)region有一個(gè)或多個(gè)store組成，至少是一個(gè)store，hbase會(huì)把一起訪問(wèn)的數(shù)據(jù)放在一個(gè)store里面，即為每個(gè)ColumnFamily建一個(gè)store（即有幾個(gè)ColumnFamily，也就有幾個(gè)Store）。一個(gè)Store由一個(gè)memStore和0或多個(gè)StoreFile組成。

HBase以store的大小來(lái)判斷是否需要切分region。
store的數(shù)據(jù)存儲(chǔ)在兩個(gè)地方MemStore和StoreFile

3、 MemStore
寫(xiě)緩存，memStore 是放在內(nèi)存里的。由于 HFile 中的數(shù)據(jù)要求是有序的，所以數(shù)據(jù)是先存儲(chǔ)在 MemStore 中，排好序后，等到達(dá)刷寫(xiě)時(shí)機(jī)才會(huì)刷寫(xiě)到 HFile（當(dāng)memStore的大小達(dá)到一個(gè)閥值【默認(rèn)64MB】時(shí)，memStore會(huì)被flush到文件），每次刷寫(xiě)都會(huì)形成一個(gè)新的 HFile。
4、StoreFile
memStore內(nèi)存中的數(shù)據(jù)寫(xiě)到文件后就是StoreFile（即memstore的每次flush操作都會(huì)生成一個(gè)新的StoreFile），StoreFile底層是以HFile的格式保存。
5、HFile
HFile是HBase中KeyValue數(shù)據(jù)的存儲(chǔ)格式，是hadoop的二進(jìn)制格式文件。一個(gè)StoreFile對(duì)應(yīng)著一個(gè)HFile。而HFile是存儲(chǔ)在HDFS之上的。

hbase的原數(shù)據(jù)存儲(chǔ)在 zookeeper里邊：
zkCli.sh
就可以進(jìn)行到zk的集群中；

HBase讀流程

HBase讀數(shù)據(jù)流程：
1）Client 先訪問(wèn) zookeeper，獲取 hbase:meta 表位于哪個(gè) Region Server。
2）訪問(wèn)對(duì)應(yīng)的 Region Server，獲取 hbase:meta 表，根據(jù)讀請(qǐng)求的 namespace:table/rowkey，查詢(xún)出目標(biāo)數(shù)據(jù)位于哪個(gè) Region Server 中的哪個(gè) Region 中。并將該 table 的 region 信息以及 meta 表的位置信息緩存在客戶(hù)端的 meta cache，方便下次訪問(wèn)。
3）與目標(biāo) Region Server 進(jìn)行通訊；
4）分別在 Block Cache（讀緩存），MemStore 和 Store File（HFile）中查詢(xún)目標(biāo)數(shù)據(jù)，并將查到的所有數(shù)據(jù)進(jìn)行合并。此處所有數(shù)據(jù)是指同一條數(shù)據(jù)的不同版本（time stamp）或者不同的類(lèi)型（Put/Delete）。
5）將從文件中查詢(xún)到的數(shù)據(jù)塊（Block，HFile 數(shù)據(jù)存儲(chǔ)單元，默認(rèn)大小為 64KB）緩存到Block Cache。
6）將合并后的最終結(jié)果返回給客戶(hù)端。

HBase寫(xiě)流程

1、客戶(hù)端先訪問(wèn)zookeeper，獲取Meta表位于那個(gè)region server
2、訪問(wèn)Meta表對(duì)應(yīng)的region server服務(wù)器，根據(jù)請(qǐng)求的信息（namespace:table/rowkey）,在meta表中查詢(xún)出目標(biāo)數(shù)據(jù)位于哪個(gè)region server的哪個(gè)region中。
并將該表的region信息以及meta表的位置信息緩存到客戶(hù)端的meta cache，方便下次訪問(wèn)。
3、與目標(biāo)數(shù)據(jù)的region server進(jìn)行通訊
4、將數(shù)據(jù)寫(xiě)入到WAL中
5、將數(shù)據(jù)寫(xiě)入到對(duì)應(yīng)的memstore中，
6、向客戶(hù)端發(fā)送寫(xiě)入成功的信息
7、等達(dá)到memstore的刷寫(xiě)時(shí)機(jī)后，將數(shù)據(jù)刷寫(xiě)到HFILE中

MemStore Flush刷寫(xiě)

1.當(dāng)某個(gè)MemStore的大小達(dá)到了hbase.hregion.memstore.flush.size（默認(rèn)值 128M），其所在 region 的所有 memstore (對(duì)應(yīng)的列簇)都會(huì)刷寫(xiě)。將數(shù)據(jù)刷到硬盤(pán)，將內(nèi)存中的數(shù)據(jù)刪除，同時(shí)刪除HLog中的歷史數(shù)據(jù)；
　　
當(dāng)達(dá)到128M的時(shí)候會(huì)觸發(fā)flush memstore，當(dāng)達(dá)到128M * n還沒(méi)法觸發(fā)flush時(shí)候會(huì)拋異常來(lái)拒絕寫(xiě)入。兩個(gè)相關(guān)參數(shù)的默認(rèn)值如下：

hbase.hregion.memstore.flush.size=128M(默認(rèn))
hbase.hregion.memstore.block.multiplier=4(默認(rèn))

2.當(dāng) region server 中 memstore 的總大小達(dá)到j(luò)ava_heapsize(應(yīng)用的堆內(nèi)存)

hbase.regionserver.global.memstore.size（默認(rèn)值 0.4）
hbase.regionserver.global.memstore.size.lower.limit（默認(rèn)值 0.95），
　　
region 會(huì)按照其所有 memstore 的大小順序（由大到小）依次進(jìn)行刷寫(xiě)。直到 region server中所有 memstore 的總大小減小到上述值以下。當(dāng) region server 中 memstore 的總大小達(dá)到

java_heapsize*hbase.regionserver.global.memstore.size（默認(rèn)值 0.4）時(shí)，會(huì)阻止繼續(xù)往所有的 memstore 寫(xiě)數(shù)據(jù)。

3.到達(dá)自動(dòng)刷寫(xiě)的時(shí)間，也會(huì)觸發(fā) memstore flush。自動(dòng)刷新的時(shí)間間隔由該屬性進(jìn)行配置 hbase.regionserver.optionalcacheflushinterval（默認(rèn) 1 小時(shí)）。

4.當(dāng) WAL 文件的數(shù)量超過(guò) hbase.regionserver.maxlogs，region 會(huì)按照時(shí)間順序依次進(jìn)行刷寫(xiě)，直到 WAL 文件數(shù)量減小到 hbase.regionserver.maxlogs 以下（該屬性名已經(jīng)廢棄，現(xiàn)無(wú)需手動(dòng)設(shè)置，最大值為 32）。

數(shù)據(jù)合并：StoreFile Compaction

由于memstore每次刷寫(xiě)都會(huì)生成一個(gè)新的HFile，且同一個(gè)字段的不同版本(timestamp)和不同類(lèi)型(Put/Delete)有可能分布在不同的HFile中，因此查詢(xún)時(shí)需要遍歷所有的HFile。為了減少HFile的個(gè)數(shù)，以及清除掉過(guò)期和刪除的數(shù)據(jù)，會(huì)進(jìn)行StoreFile Compaction。

Compaction分為兩種，分別時(shí)Minor Compaction和Major Compaction。Minor Compaction會(huì)將臨時(shí)的若干較小的HFile合并成一個(gè)較大的HFile，但不會(huì)清理過(guò)期和刪除的數(shù)據(jù)。Major Compaction會(huì)將一個(gè)Store下的所有HFile合并為一個(gè)大HFile，并且會(huì)清理掉過(guò)期和刪除的數(shù)據(jù)。

數(shù)據(jù)拆分：Region Split

默認(rèn)情況下，每個(gè) Table 起初只有一個(gè) Region，隨著數(shù)據(jù)的不斷寫(xiě)入，Region 會(huì)自動(dòng)進(jìn)行拆分。剛拆分時(shí)，兩個(gè)子 Region 都位于當(dāng)前的 Region Server，但處于負(fù)載均衡的考慮，HMaster 有可能會(huì)將某個(gè) Region 轉(zhuǎn)移給其他的 Region Server。

Region Split 時(shí)機(jī)：

1.當(dāng)1個(gè)region中的某個(gè)Store下所有StoreFile的總大小超過(guò)hbase.hregion.max.filesize，該 Region 就會(huì)進(jìn)行拆分（0.94 版本之前）。

2. 當(dāng) 1 個(gè) region 中 的 某 個(gè) Store 下所有 StoreFile 的 總 大 小 超 過(guò) Min(R^2 *“hbase.hregion.memstore.flush.size”,hbase.hregion.max.filesize")，該 Region 就會(huì)進(jìn)行拆分，其中 R 為當(dāng)前 Region Server 中屬于該 Table 的個(gè)數(shù)（0.94 版本之后）。