【拆分版】Docker-compose构建Logstash多实例
写在最前
说起Logstash，这个组件并没有什么集群的概念，与其说是集群，不如说是各自去收集日志分析过滤存储到Elasticsearch中。这里做个多实例的Logstash，其实本质上只是为Logstash指定好占用的端口，输入输出的配置的挂载，如是而已。
本文配置为红框中的部分：Logstash多节点收集的数据，统统输出数据到es-tribe，让这个协调节点自己去负载均衡写入数据。
配置详见git仓库 https://github.com/hellxz/docker-logstash-multiple.git
如有疑问或本文写得有出入的地方，期望评论指定。
目录结构
├── docker-ls-multiple-down.sh
├── docker-ls-multiple-up.sh
├── logstash-01
│ ├── config
│ │ ├── logstash.conf
│ │ └── logstash.yml
│ ├── docker-compose.yml
│ └── .env
├── logstash-02
│ ├── config
│ │ ├── logstash.conf
│ │ └── logstash.yml
│ ├── docker-compose.yml
│ └── .env
└── logstash-03
├── config
│ ├── logstash.conf
│ └── logstash.yml
├── docker-compose.yml
└── .env
文件说明
以logstash-01举例说明
.env为docker-compose.yml提供了Logstash配置文件目录的位置，如果不放置到其他位置，无需更改
# .env file for docker-compose default. please be careful.
# logstash config dir mount set. change inside dir config file to change logstash cluster settings.
# default use relation path. don't change if you don't know what means.
LOGSTASH_CONFIG_DIR=./configdocker-compose.yml 为docker-compose的配置文件，这里只读取了.env的配置文件的路径，并把路径下的logstash.conf挂载到容器中logstash目录下pipeline/logstash.conf，挂载logstash.yml到logstash目录下config/logstash.yml
version: "3"
services:
logstash-1:
image: logstash:7.1.0
container_name: logstash-1
volumes:
- ${LOGSTASH_CONFIG_DIR}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw
- ${LOGSTASH_CONFIG_DIR}/logstash.yml:/usr/share/logstash/config/logstash.yml:rw
network_mode: "host"logstash.conf为模板文件，输入输出以及配置都可以在这里修改
input { #输入
kafka { #使用kafka方式输入
bootstrap_servers => "kafka1:9092,kafka2:9093,kafka3:9094" #kafka集群节点列表
topics => ["all_logs"] #订阅名为all_logs的topic
group_id => "logstash" #设置组为logstash
codec => json #转换为json
}
}
filter { #过滤分词等都在这里配置，暂时未配置
}
output { #输出
elasticsearch { #输出到es
hosts => ["10.2.114.110:9204"] #es的路径
index => "all-logs-%{+YYYY.MM.dd}" #输出到es的索引名称，这里是每天一个索引
#user => "elastic"
#password => "changeme"
}
stdout {
codec => rubydebug
}
}
此处设置并不是本文中的重点，有兴趣和需要请参考其它文章的相关配置
logstash.yml 为logstash的配置文件，只写了些与集群相关的，还有更多请参考其它文章.
# set now host ip to http.host
http.host: 10.2.114.110
# set the es-tribe-node host. let logstash monitor the es.
xpack.monitoring.elasticsearch.hosts:
- http://10.2.114.110:9204
# enable or disable the logstash monitoring the es.
xpack.monitoring.enabled: true
这里没有指定Logstash启动时的端口号，Logstash默认端口为9600，多实例在同主机时，会自动分配9600后的端口
另外两个脚本文件，仅在使用同一台主机时使用，便捷启动/关闭多节点Logstash
使用说明
- 需要确保多台主机均能正常ping通
- 确保Zookeeper集群与Kafka集群已经启动，并且Logstash订阅的borkers的列表能对得起来
- 确保Elasticsearch集群正常启动
- 宿主机
/etc/hosts添加kafka1、kafka2、kafka3映射到对应的kafka所在的宿主机ip - 修改每个Logstash目录下的
config/logstash.conf中的输出es部分的ip到es-tribe对应的宿主机ip - 修改每个Logstash目录下的
config/logstash.yml中的http.host为当前宿主机ip, 修改xpack.monitoring.elasticsearch.hosts为当前es-tribe宿主机ip与port - 进入每个Logstash目录执行
docker-compose up -d以启动集群，执行docker-compose down以关闭集群
本文系原创文章，谢绝转载
