项目小结：Kafka队列有序数据顺序执行 + 高tps + 高吞吐 - Go语言中文社区

项目小结：Kafka队列有序数据顺序执行 + 高tps + 高吞吐

项目背景

数据交换系统，从 Kafka 中拉取数据（数据按 Id 分组，并在 同一 Partition 中有序排列），系统需要 针对 同一组数据，按序处理。（如 Mysql 的 binlog 日志）

要求尽可能做到 提高 tps 和 吞吐量

设计思路

在这里插入图片描述

Kafka Consumer线程 只负责接收数据，不再处理数据和业务逻辑；另起多线程处理 接收到的数据

Kafka Consumer线程 从 对应 Partition 接收消息，根据 ID 将同组数据 放到同一 队列Queue 中（如 图中的 Queue1 和 Queue2），数据处理线程 一对一 处理 Queue 中的数据

版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/super_wj0820/article/details/98876457
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

你可能感兴趣的文章

精选的优质文章

0 条评论

请先 登录 后评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看

来源51CTO

如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！