美文网首页小白的成长之路
Druid系列 -- 历史节点(Historical Node)

Druid系列 -- 历史节点(Historical Node)

作者: 陈皮12311 | 来源:发表于2018-12-14 18:44 被阅读0次

作用

历史节点负责装载历史数据段并将它们暴露出去用于查询服务。

装载并且提供数据服务段

1. 历史节点会保持和ZooKeeper的连接并且监听ZooKeeper相应的路径来获取新的数据段的信息,它通过ZooKeeper来协调相互之间的通信。

2. 当历史节点监测到有新的数据段时,它首先会在本地缓存中查询该数据段的信息,如果本地缓存没有命中,则会下载该数据段的元数据。元数据包括了该数据段在deep storage(后面的文章会介绍)中的存储位置以及解压和处理该数据段的方式。

3. 一旦历史节点处理完了该数据段,则该数据段会在ZooKeeper中其所属的服务数据段中宣布它已经能够使用,该数据段现在能够被用来查询。

从缓存中加载数据段并提供服务

当历史节点注意到有新的数据段时,它首先会检查缓存目录(可配置的)来检查是否该数据段之前已经被下载了,如果缓存命中,则直接从缓存中读取并加载数据段。

当历史节点第一次启动时,它会搜索缓存目录并且马上加载所查找到的数据段并提供服务。

萌新一枚,任何有写的不对的地方欢迎指正!

相关文章

  • Druid系列 -- 历史节点(Historical Node)

    作用 历史节点负责装载历史数据段并将它们暴露出去用于查询服务。 装载并且提供数据服务段 1. 历史节点会保持和Zo...

  • druid查询流程

    GroupBy查询 group by是druid的核心查询。 从broker到historical的查询 历史节点...

  • 【Druid】Historical Node

    历史节点负责加载历史segment,使segment数据能够被查询。 Running io.druid.cli.M...

  • 升级Druid集群

    为了能够在不影响线上服务,无缝的升级Druid集群,建议按照以下顺序更新Druid节点。 Historical O...

  • 集群节点

    Historical Node主要负责历史数据的加载 Realtime Node(Firehose、Plumber...

  • Druid官方文档翻译-节点类型(Historical)

    Historical节点 历史节点负责加载历史Segment并且提供针对这些历史Segment的查询。 启动方式 ...

  • 2021-04-20

    历史节点的配置druid.service=druid/historicaldruid.port=8083 HTTP...

  • Druid Coordinator源码分析

    前言 Druid Coordinator 服务在整个Druid架构中的主要作用是协调Segments在历史节点之间...

  • Druid-Druid中Historical Process

    基于apache-druid-0.17 启动命令 加载和服务Segment 每个Historical进程维护一个与...

  • 【Druid】Coordinator Node

    Druid协调节点主要负责segment的管理和分配,它基于配置信息通知历史节点加载和删除segments。具体来...

网友评论

    本文标题:Druid系列 -- 历史节点(Historical Node)

    本文链接:https://www.haomeiwen.com/subject/amtnhqtx.html