elasticsearch-进阶2

本文的主要内容是笔者阅读《ELK stack权威指南》和《深入理解ElasticSearch》的笔记，这两本书在都微信阅读可搜到(吐槽下微信阅读，只能在移动端阅读，费眼睛啊)。这两本书使读者对于ES有了更深刻的认识，在阅读中，也纠正了笔者一些错误的“自以为是”。

outline

• 底层索引控制
• Elasticsearch分布式索引架构设计
• 理解ES的缓存
• 改善用户的搜索体验
• 关于ES的others

底层索引控制

准实时搜索的实现

以在线动态服务的层面看，要做到实时更新条件下数据的可用和可靠，就需要在倒排索引的基础上再做一系列更高级的处理
新收到的数据写到新的索引文件里。Lucene把每次生成的额倒排索引叫做一个段(segment)

image

ES动态更新的过程--实现准实时索引的原理

• 新数据进入内存buffer
• 内存buffer生成一个segment刷到文件系统缓存--此时Lucene可以检索到这个segment
• 文件缓存刷到磁盘，commit更新（Search实例重新打开） ---refresh

image

refresh：
通过API可强制刷新
默认刷新间隔-1s

tarnslog(事务日志)

在refresh发生的时候，事务日志日志保持原样--保证数据不丢失
等到refresh发生后，事务日志才清空--flush
事务日志刷新--确保数据正确写入索引并清空事务日志
通过APi可强制刷新
默认flush间隔--30min或者事务日志文件>=512M
刷新设置：period，ops(操作数),size(日志容量)

实时读取(readl-time GET)：
从事务日志中读取

在ES中，索引是个集群概念，Lucene索引对应一个分片

控制索引合并-segment merging

段合并的主要代价---I/O操作和CPU
段合并策略

• tiered策略--默认-合并大小相似的索引段
• log byte size 基于索引段的字节数
• log doc 基于索引段的文档书

段合并策略的执行方式

• 并发合并调度器：每次开启新线程直到线程数达到上限 通过设置max_thread_count
• 顺序合并调度器：只使用同一个线程执行所有的索引合并操作

段合并的过程

• 如图，未完成的较大segment被排除在检索可见范围内
• 归并完成后，较大的segment刷到磁盘，commit文件变更

image image

Elasticsearch分布式索引架构设计

只有了解ES的索引架构，才能够更好的使用ES，优化性能！

副本一致性-replica + shard

默认5个分片，一个副本
最理想的分片数量依赖于节点的数量
节点最大数=分片数(副本数+1)
多分片-多索引：一次查询可以分配到不同的索引！！
或者使用别名，让多个索引看起来像一个索引
分片处理使我们能够存储超过单机容量的数据
副本解决了日渐增长的吞吐量和数据安全方面的问题

路由-routing

路由是限定查询在单个分片上执行的一个解决方案
shard=hash(routing) % number_of_primary_shards
取余
索引的主分片数不可以随意修改
索引时使用路由
路由是优化集群的一个很强大的机制
别名

分片分配器

分片策略-ShardAllocator(分片分配器-接口)

• even_shard--确保每个节点上具有相同数量的分片
• balanced(默认)
• 自定义

裁决者 decider

理解ES的缓存

过滤器缓存

• 索引级缓存--不建议
• 节点级缓存(默认)--基于LRU

字段数据缓存-最重要

• 索引级 -- 不建议
• 节点级(默认)
  应用范围是切面计算和排序
  加载相关字段的全部数据到内存中
  代价较高

ES允许我们有选择的将某些字段加载到字段数据缓存--字段数据缓存过滤

• 基于词频
• 基于正则表达式
• 基于两者的结合

引入字段数据缓存过滤：

• 添加fielddata对象

• 子对象filter

  
  image

ES的故障处理

故障可能发生的原因

• Java垃圾回收
• 内存交换--指内存中的页(page)写入磁盘(Linux系统指swap分区)
• 控制I/O 主要是索引的合并
  eg.只在节点上进行索引合并
• 使用预热器提升查询速度--预热器是一些提前执行的标准查询
  不适合索引频繁更新的情况
• 热点线程--hot_threads

Java内存模型

• Eden区--Java初次分配的大部分对象都在该区域
• Survivor区（分为0区和1区）--该区域储存Eden区垃圾回收后仍然存活的对象
• 年老代--存储在survivor区存活较长时间的对象
• 持久代-非堆空间，存储所有JVM自身的数据
• 代码缓存区
  Eden区和Survivor可以合称为年轻代
  分代垃圾回收机制

改善用户的搜索体验

自动纠错 suggest API

• term suggester
• phrase suggester
• autoconplete

改善相关性搜索

这一部分可以参考我之前的文章
搜索-Elasticsearch-进阶1

关于ES的others

reroute接口---控制分片选择

节点下线--transient

ES的读写分离

参考资料

• 《ELK stack权威指南》
• 《深入理解ElasticSearch》拉斐尔·酷奇（Rafa Ku）　马雷克·罗戈任斯基（Marek Rogoziński）