1、主题需要达到多大吞吐量 ？
2、单个分区读取数据最大吞吐量？一个分区一般都有一个消费者，读的吞吐量一般不会超过写的吞吐量。
3、可以通过类似方法估算生产者向单个分区写入数据的吞吐量，一般生产者要快于消费者，要多为生产者估算一些吞吐量。
4、每个broker包含的分区个数、可用的磁盘空间和网络带宽。
5、如果消息是按照不同键来写入分区的，为已有的主题新增分区就很困难
6、单个broker对分区个数有限制，因为分区越多，占用的内存就越多，完成首领选举也要更长时间。
案例：假设每秒从主题写入和读取1Gb数据,并且每个消费者每秒钟可以处理50MB，那么至少要20分分区，这样可以让20个消费者同时读取这些分区，从而达到每秒1gb的吞吐量。
1、主题需要达到多大吞吐量 ？ 2、单个分区读取数据最大吞吐量？一个分区一般都有一个消费者，读的吞吐量一般不会超过...
这里记录下如何修改kafka的topic分区 查看当前topic分区，假设主题是testtopic 修改分区个数 ...
参考 kafka 技术分享 如何确定Kafka的分区数，key和consumer线程数，以及不消费问题解决 k...
一、kafka的存储机制 kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还...
Kafka的分区数是不是越多越好？ 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同...
如何为Kafka挑选合适的分区数？很多人都为这个问题伤过脑筋。 从吞吐量方面考虑，增加合适的分区数可以很大程度上提...
kafka生产者、消费者与分区的分配关系 生产者如何传输到分区消费者如何从分区读取生产者、消费者与分区的关系 主题...
一、Kafka分区机制 Kafka的消息组织方式实际上是三级结构：主题-分区-消息。主题下的每条消息只会保存在某一...
目录 kafka是如何维护集群成员关系 kafka集群中分区首领是如何选取的 kafka如何进行复制 kafka是...
创建 Kafka Topic 注： partitions指定topic分区数，replication-facto...
本文标题：kafka如何选定主题分区数
本文链接：https://www.haomeiwen.com/subject/iouvuftx.html
网友评论