1、ClickHouse发展历程及不适用场景

Mysql MyISAM - Metrage LSM、预聚合 - OLAPServer - Clickhouse

发展

不适用的场景：

• 不支持事务。
• 按行查询、删除。

2、核心特性

2.1 列式存储和数据压缩

• 数据按列进行组织，术语同一列的数据会被保存在一起。列与列之间也会由不同的文件分别保存。
• 数据默认使用LZ4算法压缩。

2.2 向量化执行引擎

• 向量化执行，可以简单地看做一项消除程序中循环执行的优化。
• 实现向量化执行需要利用CPU的SIMD指令。通过数据并行以提高性能的一种实现方式，在CPU寄存器层面实现数据的并行操作。

2.3 多样化的表引擎

• 将存储部分进行抽象，把存储引擎作为一层独立接口。
• 合并树、内存、文件等类型。

2.4 多线程与分布式

• SIMD不适合用于带有较多分支判断的场景，使用多线程技术提速。
• 在数据存取方面，既支持分区，也支持分片。

2.5 多主架构

• 集群中的每个节点角色对等，客户端访问任意一个节点都能得到相同效果。

2.6 数据分片与分布式查询。

• 每个集群由一到多个分片组成，每个分片对应了ClickHouse的1个服务节点。
• 分片的数量上限取决于节点数量。
• 提供本地表和分布式表概念。一张本地表等同于一份数据分片，分布式表本身不存储任何数据，它是本地表的访问代理。

3、架构设计

3.1 Column与Field

• 内存中的一列数据由一个Column对象表示。
• 如果需要操作单个具体数值则需要使用Field对象，Field对象代表一个单值。

3.2 DataType

• 负责数据序列化和反序列化。
• 不直接负责数据读取，转由Column或Field对象获取。

3.3 Block与Block流

• Clickhouse内部数据操作是面向Block对象进行的，采用流形式。
• Block对象本质是由数据对象、数据类型和列名组成的三元组。Column + DataType + 列名。
• Block没有直接聚合Column和DataType对象，通过ColumnWithTypeAndName对象进行间接引用。
• IBlockInputStream负责读取数据和关系运算，IBlockOutputStream负责将数据输出到下一环节。

核心模块

3.4 Table

• 直接使用IStorage接口指代数据表。
• IStorage接口定义了DDL、read和write方法。
• 查询时，IStorage负责根据AST查询语句的指示要求，返回指定列的原始数据。后续对数据的进一步加计算统一交由Interpreter解释器对象处理。

3.5 Parser与Interpreter

• Parser负责创建AST对象。将一条SQL执行语句以递归下降的方法解析成AST语法树的形式。
• Interpreter解释器负责解释AST并进一步创建查询执行管道。就像服务层一样，起到串联整个查询过程的作用。它会根据解释器类型聚合它所需要的资源，首先解析AST对象，执行业务逻辑，最终返回IBlock对象。

3.6 Functions与Aggregate Functions

• 普通函数由IFunction定义。
• 聚合函数由IAggregateFunction定义，聚合函数的状态支持序列化反序列化以实现在分布式节点间传输。

3.7 Cluster与Replication

• 集群由分片组成。分片由副本组成。
• 一个节点只能拥有一个分片。
• 分片知识一个逻辑概念，物理承载由副本承担。这个副本也不能理解成一份数据的副本，应该理解成一个数据存储的载体概念。