Filebeat收集日志数据传输到Redis，通过Logstash来根据日志字段创建不同的ES索引
发布时间：2025-11-05 12:18:19 来源：创站工坊 作者：数据库
-
1.Filebeat.yml配置 复制filebeat.inputs:- type:
log
enabled: true paths: - /usr/local/nginx/logs/access.log exclude_files: [.gz$,收集数据S索INFO] multiline.pattern: ^[0-9]{4}-[0-9]{2}-[0-9]{2} multiline.negate: true multiline.match:after
tags: ["nginx-log-messages"] fields: log_source:messages
fields_under_root: trueoutput.redis: hosts: ["192.168.0.111:6379"] key:nginx_log
password:nginxredis
db: 01.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.参数说明：
复制 fields: log_source:messages
fields_under_root: true1.2.3.使用fields表示在filebeat收集的日志中多增加一个字段log_source,其值是messages，用来在logstash的日志日志output输出到elasticsearch中判断日志的来源，从而建立相应的传输创建索引 若fields_under_root设置为true，表示上面新增的到R的字段是顶级参数。
顶级字段在output输出到elasticsearch中的通过使用如下：
复制[root@es-master21 logstash]# vim config/logstash.confinput { redis { data_type => "list" host => "192.168.0.111" db => "0" port => "6379" key => "nginx_log" password => "nginxredis" }}output {# 根据redis键 messages_secure 对应的列表值中，每一行数据的根据其中一个参数来判断日志来源
if [log_source] == messages {# 注意判断条件的写法
elasticsearch { hosts => ["192.168.0.111:9200"] index => "nginx-message-%{+YYYY.MM.dd}" #user => "elastic" #password => "elastic123" } }#或者也可以根据tags判断
if "nginx-log-messages" in [tags] { elasticsearch { hosts => [""192.168.0.111:9200"] index => "nginx-message-%{+YYYY.MM.dd}" } }} 1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32. 2.多个应用的日志都输出到redis 复制filebeat.inputs:- type:log
enabled: true paths: - /usr/local/nginx/logs/access.log tags: ["nginx-log-access"] fields: log_source:access
fields_under_root: true- type:log
enabled: true paths: - /usr/local/nginx/logs/error.log tags: ["nginx-log-error"] fields: log_source:error
fields_under_root: trueoutput.redis: hosts: ["192.168.0.111:6379"] key:nginx_log
password:nginxredis
db: 01.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.在redis中显示的效果是亿华云计算都会输出到key值nginx_log对应的列表中，根据key值是字段没法进行区分的，只能根据key值列表中每一行数据中的不同log_source或者自己定义的属性来判断该行是哪一个应用的日志。
3.不同的收集数据S索应用日志使用不同的rediskey值使用output.redis中的keys值，官方例子：
复制output.redis: hosts: ["localhost"] key: "default_list" keys: - key: "error_list"# send to info_list if `message` field contains INFO
when.contains: message: "error" - key: "debug_list"# send to debug_list if `message` field contains DEBUG
when.contains: message: "DEBUG" - key: "%{[fields.list]}"1.2.3.4.5.6.7.8.9.10.11.说明：默认的日志日志key值是default_list，keys的传输创建值是服务器租用动态分配创建的，当redis接收到的到R的日志中message字段的值包含有error字段，则创建key为error_list，通过当包含有DEBUG字段，根据则创建key为debug_list。字段
问题的解决方法是在每个应用的输出日志中新增一个能够区分这个日志的值，然后再在keys中设置，这样一来就能够把不同应用的日志输出到不同的redis的key中。服务器托管
- Copyright © 2025 Powered by Filebeat收集日志数据传输到Redis，通过Logstash来根据日志字段创建不同的ES索引,创站工坊 滇ICP备2023006006号-44sitemap