Kafka 0.10.1 官方文档(中文版)-0 - Go语言中文社区

Kafka 0.10.1 官方文档(中文版)-0


Apache kafka 分布式流式处理平台


由于在网上看到的资料都是0.8x的,最新的文档没有找到,所以翻译下 kafka V0.10.1。JUST DO IT !

Kafka™ is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.

kafka是用来构建实时的数据管道和流式应用程序,它是水平可扩展、容错、非常快(高吞吐),并且已经有很多公司在生产中使用。以下是kafka三个主要的用途:

  • 发布 & 订阅 流式数据像一个消息系统(消息中间件)

  • 处理 高效并且实时的流式数据

  • 存储 安全的流式数据在一个分布式集群

这里写图片描述


1、 开始

1.1简介

1.2用例

1.3快速入门

1.4生态系统

1.5升级

2、 APIS

2.1 producer API

2.2 Consumer API

2.3 Streams API

2.4 Connect API

2.5 Legacy APIs

3、 配置

3.1 Broker Configs

3.2 Producer Configs

3.3 Consumer Configs

3.3.1 New Consumer Configs

3.3.2 Old Consumer Configs

3.4 Kafka Connect Configs

3.5 Kafka Streams Configs

4、 设计

4.1目标

4.2 持久化

4.3 性能

4.4 producer

4.5 consumer

4.6 消息传送机制

4.7 复制

4.8 日志压缩

4.9 配额

5、 实现

5.1 api设计

5.2 网络层

5.3 消息

5.4 消息格式

5.5 日志

5.6 分布式

6、 操作

6.1 kafka基本操作

  • 增加删除topic
  • 修改topic
  • 优雅关闭
  • 负载均衡
  • 检查consumer的位置
  • 集群间镜像数据
  • 扩展集群
  • 退役(失效)brokers
  • 增加复制因子

6.2 数据中心

6.3 重要配置

  • 重要客户端配置
  • 生产服务器配置

6.4 Java版本

6.5 硬件和操作系统

  • OS
  • 硬盘和文件系统
  • 应用程序 VS 操作系统 flush管理
  • Linux flush行为
  • Ext4 节点

6.6 监控

6.7 zookeeper

  • 稳定版本
  • 操作化

7、 安全

7.1 安全概览

7.2使用SSL加密和认证

7.3 使用SASL验证

7.4 授权与ACLs

7.5 在运行中的集群加入安全特性

7.6 zookeeper授权

  • 创建新集群
  • 迁移集群
  • 迁移zk集群

8、 Kafka连接

  • 概述
  • 用户指南
  • 连接开发指南

9、 Kafka流处理

9.1概述

9.2 开发指南

  • 核心概念
  • 低级处理API
  • 高级流处理 DSL
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/liaoyulin0609/article/details/53014272
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-08 13:22:17
  • 阅读 ( 1060 )
  • 分类:

0 条评论

请先 登录 后评论

官方社群

GO教程

推荐文章

猜你喜欢