kafka数据保存时间问题与kafka的性能测试

查看kafka的topic情况，bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5

可以查看replicationfactor的leader，如果broker list中某个节点断掉，则会重选leader

Partition：分区
Leader ：负责读写指定分区的节点
Replicas ：复制该分区log的节点列表
Isr ： "in-sync" replicas，当前活跃的副本列表（是一个子集），并且可能成为Leader。

在producer发送消息的过程中，broker list的某个节点断掉，不会影响消息的发送。

kafka数据保存时间问题。

Kafka删除检查主要有两种，任一达到要求即执行。

（1）按时间粒度，可设置分钟或者小时。达到时间进行处理。

（2）按文件大小限制，设置最大文件大小，达到上限即进行处理。

可设置文件大小检查周期。

kafka的性能测试

kafka中有自带的性能测试代码，测试结果均来自kafka自带的测试代码，位于bin/kafka-producer-perf-test.sh。

主要参数有以下四个，

messages 生产者发送总的消息数量

message-size 每条消息大小（单位为b）

batch-size 每次批量发送消息的数量

topics 生产者发送的topic

threads 生产者使用几个线程同时发送

例如bin/kafka-producer-perf-test.sh --messages 100000 --message-size 1000 --batch-size 10000 --topics test4 --threads 4 --broker-list hadoop234:9092,hadoop237:9092,hadoop238:9092

返回信息为

start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec

2015-10-15 18:56:27:542, 2015-10-15 18:56:30:880, 0, 1000, 10000, 95.37, 28.5702, 100000, 29958.0587

可以通过调节参数进行性能测试。

版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/hwssg/article/details/49156397
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

发表于 2020-02-29 21:08:49
阅读 ( 1443 )
分类：

kafka数据保存时间问题与kafka的性能测试

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看