kafka部署

1.1软件环境

ZK集群和Java环境。

1.2集群配置

可以是任意台服务器，broker支持横向扩展，典型架构如下：

1.3服务搭建(最新1.0.0版本)

1-使用java -version查看是否有java环境；

2-没有java环境，执行

shell > rpm -ivh jdk-8u111-linux-x64.rpm

shell > java -version

3-下载kafka最新版本

shell > cd /opt/src

shell > wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

shell > cd /opt/src; tar zxf kafka_2.11-1.0.0.tgz -C /opt

shell > cd /opt/kafka_2.11-1.0.0

4-配置文件：

server.properties 折叠原码


#broker的全局唯一编号，不能重复，范围是0~255

broker.id=0

#用来监听链接的端口，producer或consumer将在此端口建立连接，默认端口9092

port=9092

#处理网络请求的线程数量，也就是接收消息的线程数。

#接收线程会将接收到的消息放到内存中，然后再从内存中写入磁盘。

#内部实现是采用Selector模型，无需更改

num.network.threads=3

#消息从内存中写入磁盘是时候使用的线程数量。

#用来处理磁盘IO的线程数量

#配置线程数量为cpu核数2倍，最大不超过3倍.

num.io.threads=8

#发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

#接受套接字的缓冲区大小

socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小

socket.request.max.bytes=104857600

#kafka运行日志存放的路径，如果有多个磁盘，可以在每个磁盘上配置一个路径

log.dirs=/export/servers/logs/kafka

#topic在当前broker上的分片个数，如果在创建topic的时候没有指定，则会使用这个数值

num.partitions=10

#我们知道segment文件默认会被保留7天的时间，超时的话就

#会被清理，那么清理这件事情就需要有一些线程来做。这里就是

#用来设置恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，默认保留7天（168小时），

#超时将被删除，也就是说7天之前的数据将被清理掉。

log.retention.hours=168

#滚动生成新的segment文件的最大时间

log.roll.hours=168

#日志文件中每个segment的大小，默认为1G

log.segment.bytes=1073741824

#上面的参数设置了每一个segment文件的大小是1G，那么

#就需要有一个东西去定期检查segment文件有没有达到1G，

#多长时间去检查一次，就需要设置一个周期性检查文件大小

#的时间（单位是毫秒）。

log.retention.check.interval.ms=300000

#日志清理是否打开

log.cleaner.enable=true

#broker需要使用zookeeper保存meta数据

zookeeper.connect=zk01:2181,zk02:2181,zk03:2181

#zookeeper链接超时时间

zookeeper.connection.timeout.ms=6000

#上面说过接收线程会将接收到的消息放到内存中，然后再从内存

#写到磁盘上，那么什么时候将消息从内存中写入磁盘，就有一个

#时间限制（时间阈值）和一个数量限制（数量阈值），这里设置的是

#数量阈值，下一个参数设置的则是时间阈值。

#partion
 buffer中，消息的条数达到阈值，将触发flush到磁盘。

log.flush.interval.messages=10000

                            版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。

                            原文链接：https://blog.csdn.net/Yeshenzzrff/article/details/79039173

                            站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。
                        
                                    发表于 2020-06-06 09:35:25
                                
阅读 ( 1362 )
分类：

kafka部署

1.1软件环境

1.2集群配置

1.3服务搭建(最新1.0.0版本)

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看