美文网首页
Kafka Quota机制

Kafka Quota机制

作者: 运动书生 | 来源:发表于2020-12-22 21:32 被阅读0次

计算限流时间(throttleTime)的逻辑:
O * W / (W + X) = T => X = (O - T)/T * W
O:实际速率(10M/s)
T:目标速率 (1M/s)
W:窗口时间 (10s)
X:延迟时间 (9s)

/*

  • This calculates the amount of time needed to bring the metric within quota
  • assuming that no new metrics are recorded.
  • Basically, if O is the observed rate and T is the target rate over a window of W, to bring O down to T,
  • we need to add a delay of X to W such that O * W / (W + X) = T.
  • Solving for X, we get X = (O - T)/T * W.
    */
    private def throttleTime(clientMetric: KafkaMetric, config: MetricConfig): Int = {
    val rateMetric: Rate = measurableAsRate(clientMetric.metricName(), clientMetric.measurable())
    val quota = config.quota()
    val difference = clientMetric.value() - quota.bound
    // Use the precise window used by the rate calculation
    val throttleTimeMs = difference / quota.bound * rateMetric.windowSize(config, time.milliseconds())
    throttleTimeMs.round.toInt
    }

相关文章

  • Kafka Quota机制

    计算限流时间(throttleTime)的逻辑:O * W / (W + X) = T => X = (O - T...

  • kafka配额研究

    配额 相关介绍: Kafka自0.9.0.0版本引入了配额管理(quota management),旨在broke...

  • Kafka

    参考 Kafka中文 图解 Kafka 水印备份机制 Kafka ISR 副本同步机制 关于 Kafka 的一些面...

  • Kafka的ack机制

    简述kafka的ack机制 Kafka的ack机制,指的是producer的消息发送确认机制,这直接影响到Kafk...

  • Kafka 概念及原理深度分析

    中间件:Kafka关键字:Kafka文件机制,Kafka分区,Kafka数据可靠性,Kafka Ack等注:本文是...

  • quota

    参考: xfs_quota man 手册 (uid代替纯数字用户名) linux quota配置 Quota i...

  • Kafka - 存储和索引

    Kafka文件存储机制那些事 kafka分区、分段、稀疏索引实现高性能查询 kafka log文件格式

  • Kafka安全机制解析及重构(四)| ACL权限控制

    在前三篇文章中我们介绍了Kafka的安全机制,并自己重构了一个名为ABC的SASL机制Kafka安全机制解析及重构...

  • [译] Lisp之根源(六)

    (quota x)返回x。为了可读性,我们把(quota x)记为'x(quota意味着引用)。 (atom x)...

  • Kafka安全机制解析及重构(三)| 重构示例及脑洞

    在前两篇文章中讲解了Kafka的SASL安全机制,并看了PLAIN的源码:Kafka安全机制解析及重构(一)Kaf...

网友评论

      本文标题:Kafka Quota机制

      本文链接:https://www.haomeiwen.com/subject/qolenktx.html