- 顺序读写，传统7200转机械硬盘的读取速度可达到400m/s-500m/s，随机读写只有顺序读写的十分之一，所以顺序读写可提高消息。
- 稀疏索引，将索引文件加载中内存中，通过二分查找的方式查找指定offset对应的数据
- pagecache技术，kafka服务器接收数据时，先写入到pagecache中，等到脏页到达一定数量之后，才会flush到磁盘中，如果数据还没flash到磁盘之前消费者拉取数据，则直接从pagecache中取数据，避免内核态拷贝数据，提高效率
- 生产者缓冲池技术，使用堆外内存，避免通过jvm的gc方式防止生产者stw导致消息阻塞
- 生产者批量推送传输数据，默认情况是缓冲池有数据立即发送，如果对消息延迟不太敏感，可以通过配置linger.ms来配置延迟多久来发送数据，减少对kafka服务器的IO压力
- 零拷贝技术，减少两次拷贝过程来提升效率
- 消费者多线程处理数据（spring整合kafka特性），充分利用cpu多核优势来处理数据
网友评论