社区微信群开通啦,扫一扫抢先加入社区官方微信群
社区微信群
所用软件版本:
spark2.3.0
kafka 1.10
IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0
在使用kafka监听文件,将数据传输到spark streaming里面进行分析处理,实时输出,用到/config/connect-standalone.properties和connect-file-source.propertiesl两个文件,linux端输入如下命令:
bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties
然后却弹出:connection to node -1 could not be eatablished. Broker may not be avaliable的错误,l连接不上kafka集群,经过网上查询,发现是connect-standalone.properties里面的"bootstrap.servers="和kafka目录下的/config/server.properties里面的"zookeeper.connect="里面不一致导致。其实connect-standalone.properties和connect-file-source.propertiesl两个文件相当于kafka生产者。不管kafka的消费者和生产者,"bootstarp.servers="一定要和kafaka集群的zookeeper.connect里面的配置要一致,否则连接不上kafka集群。
kafka和zookeeper无非有两种模式:
一:如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper。
不用下载zookeeper软件,在kafka目录/config下,server.properties采用默认配置,先启动zookeeper,然后启动kafka:
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties &
二:有kafka集群和zookeeper集群,先去zookeeper目录下,启动zookeeper:
bin/zkServer.sh
然后到kafka目录/config下,要配置server.properties,"zookeepe.connect="要和zookeeper集群要一样,然后启动kafka:
bin/kafka-server-start.sh config/server.properties &
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!