kafka提交connect-standalone.properties遇到connection to node -1 could not be established.Broker may not - Go语言中文社区

kafka提交connect-standalone.properties遇到connection to node -1 could not be established.Broker may not


所用软件版本:

  spark2.3.0

  kafka 1.10

  IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0

在使用kafka监听文件,将数据传输到spark streaming里面进行分析处理,实时输出,用到/config/connect-standalone.properties和connect-file-source.propertiesl两个文件,linux端输入如下命令:

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties

然后却弹出:connection to node -1 could not be eatablished. Broker may not be avaliable的错误,l连接不上kafka集群,经过网上查询,发现是connect-standalone.properties里面的"bootstrap.servers="和kafka目录下的/config/server.properties里面的"zookeeper.connect="里面不一致导致。其实connect-standalone.properties和connect-file-source.propertiesl两个文件相当于kafka生产者。不管kafka的消费者和生产者,"bootstarp.servers="一定要和kafaka集群的zookeeper.connect里面的配置要一致,否则连接不上kafka集群。

kafka和zookeeper无非有两种模式:

一:如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper。

不用下载zookeeper软件,在kafka目录/config下,server.properties采用默认配置,先启动zookeeper,然后启动kafka:

bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties &

二:有kafka集群和zookeeper集群,先去zookeeper目录下,启动zookeeper:

bin/zkServer.sh 

然后到kafka目录/config下,要配置server.properties,"zookeepe.connect="要和zookeeper集群要一样,然后启动kafka:

bin/kafka-server-start.sh config/server.properties &

 

做好记录,供以后参考!!

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/reedom1991/article/details/89286928
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-06-06 09:38:16
  • 阅读 ( 894 )
  • 分类:

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢