1、数据查找和传输

LSM树，输入数据首先被存储在日志文件，这些文件内的数据完全有序，当有日志文件被修改时，对应的更新会被先保存在内存中来加速查询。

当系统经历过多次数据修改，且内存空间被逐渐占满，LSM树会把有序的键记录对写到磁盘中，同时创建一个新的数据存储文件。内存中保存的内容可丢弃掉。

所有节点都是满的并按页存储

LSM

多次刷写后产生许多数据存储文件，后台线程就会自动将小文件聚合成大文件。
查询时先查找内存中的存储，再查找磁盘上的文件。
删除是一种特殊的更改，查找时会跳过删除过的键。

https://blog.csdn.net/MingYueZh/article/details/80839868

在没有太多修改时，B+树表现更好，因为这些修改要求执行高代价的优化操作以保证查询能在有限时间内完成。
在内存中排序，将随机写转换成顺序写，保证稳定的数据插入速率。

2、存储

HBase透明地操作存储在HDFS上文件的概览

主要处理预写日志和实际数据文件。主要由HRegionServer管理。

客户端首先联系ZooKeeper子集群查找行键，获取含有-ROOT-的region服务器来完成。
通过-ROOT-的region服务器可以查到.META.表中对应的region服务器名。
通过.META.服务器来获取客户端查询行键数据所在region的服务器名。

HRegionServer负责打开region，并创建对应的HRegion实例。为每个表的HColumnFamily创建Store实例，Store实例包含一个或多个StoreFile实例，是HFile轻量封装，HFile实际存储数据文件。每个Store还有对应一个MemStore。

写

是否需要写到Hlog预写日志中。
一旦数据写入到WAL中，数据就会被放到MemStore中。如果MemStore满了就会进行刷写。
刷写通过另一个HregionServer线程处理，会把数据写成HDFS中的一个新HFile。

文件

根级文件，被HLog实例管理的WAL文件，存储在.logs目录中。一个Region服务器的所有region共享同一组HLog文件。
表级文件，位于文件系统中HBase根木兰路下。每张表目录包括一个名为.tableinfo顶层文件，存储表对应序列化后的HTableDescriptor。
region级文件，包含regioninfo文件。在WAL回放时，未提交的修改都会被写入到每个region的一个单独的文件中。一旦region超过了配置中region大小的最大值，region就需要拆分，会创建一个对应的splits目录
合并文件，minor合并负责重写最后生成的几个文件到一个更大的文件中。major合并吧所有文件压缩成一个单独文件。

HFile格式

文件是可变长度，固定的块是File Info和Trailer，Trailer是持久化到文件结束时写入的。
Index块记录Data和Meta块的偏移量。
块大小建议8KB~1MB。如果主要涉及顺序访问则较大的块合适，较小的块更有利于随机数据访问，不过需要更多的内存存储索引。

HFile格式

HFile块透明地存储在更大的HDFS块中

KeyValue格式

HFile中的每个KeyValue都是一个低级的字节数据，允许零复制访问数据。

KeyValue格式

键包含行键、列族名、列限定符等。

3、WAL

MemStore存储在内存中相对是不稳定的，WAL可以解决这一问题。
WAL存储了对数据的所有更改。

所有修改先保存到WAL再传递给MemStore

HRegion先写WAL然后在放入MemStore
memstore在到达一定大小后，异步地连续写入到文件系统中。数据以一种不稳定的状态存放在内存中，即使再服务器完全崩溃的情况下，WAL也能够保证数据不会丢失。

HLog类

HRegion被实例化时，HLog实例会被当做一个参数传入到HRegion的构造器中。
追踪修改，内部使用一个进程安全的AtomicLong，当region打开它的存储文件时，它读取存储在每一个HFile中meta域中最大的序列号，并且如果这个序列号大于之前记录的序列号，它就会被初始化以反映存储在哪里结束以及从哪里继续存储。

HLog

HLogKey会存储region和表明以及序列号。
WALEdit是客户端发送的修改封装成的实例。

回放

集群启动或服务失效时会进行回放。
region首先检查recovered.edits目录是否存在。由于文件是按照含序列ID文件名排序的，region可以按照序列ID的顺序来恢复。如果这个ID比硬盘上存的ID小就会被胡烈。
一旦recovered.edits文件中的文件都处理完，且其中的数据更改也都被写入到硬盘后，该文件删除。