kafka-文章-Go语言中文社区

0推荐

1354浏览

记一次kafka外网无法访问（结合frp内外网穿透）

一.起因有个需求，需要将阿里云的kafka数据发送到某个内网环境，但是内网环境又没有一个对外的公网IP，怎么办呢？后来采用了frp内网穿透技术，使得阿里云服务器可以访问kafka，但是却发现发送了数据，内网接收不到...... 二.解决方案 1）外网服务器配置 1）hosts配置映射 #配置映射 #ip为阿里云服务器的内网ip #kafka.com为内网环境kafka——>advertised.listeners

0

0推荐

1478浏览

如何通过外部电脑访问kafka服务器

在kafka的编译和使用中说明了kafka环境的搭建和本机自测。但是如果在外部电脑上启动生产者和消费者，并不能进行消息的发布和订阅，会报解析服务器hostname失败的错误。解决的方法有两个： 1.将服务器的IP和计算机名信息添加到外部电脑的/etc/hosts文件，添加方法参考： https://blog.csdn.net/caoshangpa/article/details/79899419 2.方法1太麻烦了，每台外部电脑都要修改。可以通过修改服务

0

0推荐

1363浏览

kafka 对外提供服务方案简述

背景首先，用户数据会经过kafka队列传递到我们的业务层。我们希望用户能够通过一个通用层接入我们的kafka服务，但是有的用户希望能够直接连到我们的kafka上面，这就需要我们的kafka对外暴露broke服务以便被接入。那么如何保证用户数据接入的可靠性和安全性，就成为了这篇文章的主要内容。目标我们希望其他公司数据接入的方式尽量松耦合，尽量不依赖内部架构，而对

0

0推荐

1465浏览

kafka 增加权限认证配置

一、版本说明： zookeeper版本无要求，kafka必须使用0.9以后的版本本例使用：zookeeper-3.4.10，kafka_2.11-1.0.0 安装链接：Linux下kafka安装和zookeeper环境搭配二、zookeeper配置 2.1 切换至/usr/zookeeper/zookeeper-3.4.10/conf/下新建文件：zk_server_jaas.conf 文件内容： Server{

0

0推荐

1590浏览

使用Flume将Kafka中的数据导入Hive

0x01需求背景将Kafka中的JSON数据持久化存储到Hive表中，以供后期有查找的需求。（看了很多讲解的博文，出了各种bug！饶了很多弯路！总结出来的经验就是一定要仔细看Flume的官方文档！！！！！！） Kafka中的数据示例： >{"id":1,"name":"snowty","age":25} Hive表示例： hive>deschivetable; OK id int name string age int Timetaken:0.162seconds,

0

0推荐

1050浏览

Flume+HDFS+Kafka+Hive实例搭建

摘要：本文要实现的是一个使用Flume来处理Kafka的数据，并将其存储到HDFS中去，然后通过Hive外部表关联查询出来存储的数据。所以在建立一个maven工程，整个工程最终的目录如下：下面开始一步一步讲解 1、定义自己的source 之所以不用源生的，是因为要对得到的消息要一定的处理后再保存到hdfs中去，这里主要就是将每一条消息解析并组装成以“|”做分隔的一条

0

0推荐

1129浏览

flume采集下沉到kafka

1、配置flume a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.sources.s1.type=exec #采集目录 a1.sources.s1.command=tail-F/root/log/access.log #类型为kafka a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink #topic主题为当前主题 a1.sinks.k1.topic=first_kafka a1.sinks.k1

0

0推荐

1704浏览

Kafka flume hdfs zookeeper Hive（一个案例详细整理）

以下内容为一个从数据源的产生，到基于此数据的分析的详细步骤。同时还有每一个涉及到的技术的详细解析以及作用。首先在这里简单介绍一下项目的流程：数据源的产生，然后将数据源发送到Kafka中，然后通过flume将Kafka中的数据下沉到hive中，hdfs则保存了数据。而zookeeper对这些分布式服务进行了协调。 @产生数据源：第一步：在这里模拟了日志的产生。

0

0推荐

1544浏览

大数据项目V1（flume采集数据到kafka下沉到hive）

1.将项目打成jar包并上传至linux集群，可通过命令java-jar运行并通过hdp-1:8385检测是否运行成功。运行成功 2.启动nginx（目的是为了产生日志，还有负载均衡和反向代理以后更新）特别注意配置文件 #usernobody; worker_processes1; #error_loglogs/error.log; #error_loglogs/error.lognotice; #error_loglogs/error.loginfo; #pidlogs/nginx.pid;

0

0推荐

1282浏览

hive-udf-kafka批量数据导入kafka

背景:数据存在hive中,现在需要将数据导入kafka中,为了减少中间环节,使用自定义UDF将hive数据导入到kafka中问题:UDF时对一行的处理,批量导入就会涉及多行的问题,怎么将多行数据放到一个udf中? 解决思路:用collect_list函数将多行转成集合,在udf中循环遍历,发送到kafka 代码 packagecn.kobold; importorg.apache.hadoop.hive.ql.exec.Description; importorg.apache.hadoop.hi

0

0推荐

1247浏览

MQTT 与 Kafka

MQTT与Kafka是完全不同的两个东西，MQTT是协议，是一个技术标准，由OASIS技术委员会的成员（其成员多数为IBM和微软的顶级工程师）制订。而Kafka是已经实现的开源流处理平台，最早由LinkedIn开发，于2011年开源后交给ApacheIncubator孵化后成为了Apache软件基金会的顶级项目。两者之前唯一存在的联系恐怕就是它们都和发布/订阅范式有关了吧。MQTT是基于发布/订阅范式的消息协议，而Ap

0

0推荐

1299浏览

物联网架构----EMQ-Hook了解、连接Kafka发送消息

物联网架构----EMQ-Hook了解、连接Kafka发送消息 1. 前言　　按照我自己设计的物联网框架，对于MQTT集群中的所有消息，是要持久化到磁盘的，这里采用一个消息队列中间件Kafka作为数据缓冲，缓冲结果存到数据仓库中，以供后续作为数据分析。由于MQTT集群中的消息都是比较分散的，所以使用Kafka来聚合、采集消息。 2. 下载&编译&安装　　Kafka依赖ZooKeeper 　　在这里下

0

0推荐

1389浏览

Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

前言在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品RocketMQ(MetaQ的内核)也顺利开源,得到大家的关注。概念 MQ简介 MQ,Messagequeue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后

0

1推荐

2156浏览

【物联网08】EMQX连接kafka

一、添加emqx_kafka_bridge插件下载emqx源码： gitclonehttps://github.com/emqx/emqx-rel.git 修改Makefile DEPS+=$(foreachdep,$(OUR_APPS),$(callapp_name,$(dep))) DEPS+=emqx_kafka_bridge #Injectvariableslike #dep_app_name=git-emqxhttps://github.com/emqx/app-namebranch-or-

0

0推荐

1314浏览

Kafka集群部署及测试

题记目前我们对大数据进行研究方向以Spark为主，其中SparkStreaming是可以接收动态数据流并进行处理，那么SparkStreaming支持多源的数据发送端，例如TCP、ZeroMQ、自然也包括Kafka，而且Kafka+SparkStreaming的技术融合也比较常用而且成熟，所以我们需要搭建一个Kafka集群进行流数据的测试。 --------------------------------------------------------------------------------

0