NSQ学习笔记 - Go语言中文社区

NSQ学习笔记


NSQ架构

在这里插入图片描述

NSQ组件

NSQ 由 3 个守护进程组成:

  • nsqd 是接收、队列和传送消息到客户端的守护进程。
  • nsqlookupd 是管理的拓扑信息,并提供了最终一致发现服务的守护进程。
  • nsqadmin 是一个 Web UI 来实时监控集群(和执行各种管理任务)。

Topic消息的逻辑关键词

  • topicNSQ 消息发布的 逻辑关键词 ,可以理解为人为定义的一种消息类型。当程序初次发布带 topic 的消息时,如果 topic 不存在,则会在 nsqd中创建。

Producer消息的生产者/发布者

  • producer 通过 HTTP API 将消息发布到 nsqd 的指定 topic ,一般有 pub/mpub 两种方式, pub 发布一个消息, mpub 一个往返发布多个消息。
  • producer 也可以通过 nsqd客户端TCP接口 将消息发布给 nsqd 的指定 topic
  • 当生产者 producer 初次发布带 topic 的消息给 nsqd 时,如果 topic 不存在,则会在 nsqd 中创建 topic

Channel消息传递的通道

  • 当生产者每次发布消息的时候,消息会采用多播的方式被拷贝到各个 channel 中, channel 起到队列的作用。
  • channelconsumer(消费者) 相关,是消费者之间的负载均衡,消费者通过这个特殊的channel读取消息。
  • consumer 想单独获取某个 topic 的消息时,可以 subscribe(订阅)一个自己单独命名的nsqd中还不存在的 channel, nsqd会为这个 consumer创建其命名的 channel
  • Channel 会将消息进行排列,如果没有 consumer读取消息,消息首先会在内存中排队,当量太大时就会被保存到磁盘中。可以在配置中配置具体参数。
  • 一个 channel 一般会有多个 consumer 连接。假设所有已连接的 consumer 处于准备接收消息的状态,每个消息将被传递到一个随机的 consumer
  • Go语言中的channel是表达队列的一种自然方式,因此一个NSQ的topic/channel,其核心就是一个存放消息指针的Go-channel缓冲区。缓冲区的大小由 --mem-queue-size 配置参数确定。

Consumer消息的消费者

  • consumer 通过 TCP subscribe 自己需要的 channel
    topicchannel 都没有预先配置。 topic 由第一次发布消息到命名 topicproducer 创建 第一次通过 subscribe 订阅一个命名 topicconsumer 来创建。 channelconsumer 第一次 subscribe 订阅到指定的 channel 创建。
  • 多个 consumer subscribe一个 channel,假设所有已连接的客户端处于准备接收消息的状态,每个消息将被传递到一个 随机consumer
  • NSQ 支持延时消息, consumer 在配置的延时时间后才能接受相关消息。
  • Channel在 consumer 退出后并不会删除,这点需要特别注意。

NSQ流程图

在这里插入图片描述

NSQ使用

首先启动 nsdlookupd

nsqlookupd
  • 客户端通过查询 nsdlookupd 来发现指定topic的生产者,并且 nsqd 节点广播 topic 和通道 channel 信息
  • 该服务运行后有两个端口:TCP 接口,nsqd 用它来广播;HTTP 接口,客户端用它来发现和管理。
  • 在生产环境中,为了高可用,最好部署三个nsqlookupd服务。

先创建 nsqd 的数据路径

mkdir /tmp/nsqdata1 /tmp/nsqdata2

运行两个测试的 nsqd 实例

nsqd --lookupd-tcp-address=127.0.0.1:4160 -broadcast-address=127.0.0.1 -tcp-address=127.0.0.1:4150 -http-address=0.0.0.0:4151 -data-path=/tmp/nsqdata1

nsqd --lookupd-tcp-address=127.0.0.1:4160 -broadcast-address=127.0.0.1 -tcp-address=127.0.0.1:4152 -http-address=0.0.0.0:4153 -data-path=/tmp/nsqdata2
  • nsqd 可以独立运行,不过通常它是由 nsdlookupd 实例所在集群配置的(它在这能声明 topicschannels ,以便大家能找到)
  • 服务启动后有两个端口:一个给客户端(TCP),另一个是 HTTP API。还能够开启HTTPS。
  • 同一台服务器启动多个 nsqd ,要注意端口和数据路径必须不同,包括: –lookupd-tcp-address-tcp-address–data-path
  • 删除 topicchannel 需要 HTTP API 调用。

启动 nsqadmin 前端Web监控

nsqadmin --lookupd-http-address=localhost:4161
  • nsqadmin 是一套 WEB UI ,用来汇集集群的实时统计,并执行不同的管理任务。
  • 运行后,能够通过4171端口查看并管理 topicchannel
  • nsqadmin 通常只需要运行一个。
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qq_15260769/article/details/91446935
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。

0 条评论

请先 登录 后评论

官方社群

GO教程

推荐文章

猜你喜欢