- 当前位置：首页 >IT科技 >纳尼?自建K8s集群日志收集还能通过JMQ保存到JES
纳尼?自建K8s集群日志收集还能通过JMQ保存到JES
发布时间：2025-11-05 13:46:39 来源：创站工坊 作者：数据库
作者：京东科技 刘恩浩
一、纳尼背景
基于K8s集群的自建私有化交付方案中，日志收集采用了 ilogtail+logstash+kafka+es方案，集群其中ilogtail负责日志收集，日志logstash负责对数据转换，收集kafka负责对日志传递中的通过消峰进而减少es的写入压力，es用来保存日志数据。纳尼在私有化交付中本方案中涉及的自建中间件一般需要单独部署，但是集群在京东内网环境的部署考虑到kafka和es的高可用，则不推荐采用单独部署的日志方案。
二、收集新方案实践
1.新方案简介
在京东内网环境部署 K8S并 收集日志，通过 kafka+es的纳尼替代方案考虑使用 yhQ+JES，由于yhQ的自建底层是基于kafaka、亿华云计算JES的集群底层基于ES，所以该替换方案理论上是可行的
2.主要架构
数据流向大致如下
应用日志 -> ilogtail -> yhQ-> logstash -> JES3.如何使用
核心改造点汇总
ilogtail nameservers配置
增加解析yhQ域名的nameserver（京东云主机上无法直接解析.local域名） spec: spec: dnsPolicy: "None" dnsConfig: nameservers: - x.x.x.x # 可以解析yhq域名的nameserverilogtail flushers配置
调整发送到yhQ到配置 apiVersion: v1kind: ConfigMapmetadata: name: ilogtail-user-cm namespace: elastic-systemdata: app_stdout.yaml: | flushers: - Type: flusher_stdout OnlyStdout: true - Type: flusher_kafka_v2 Brokers: - nameserver.yhq.jd.local:80 # yhq元数据地址 Topic: ai-middle-k8s-log-prod # yhq topic ClientID: ai4middle4log # Kafka的用户ID（识别客户端并设置其唯一性），对应yhq的Group名称，重要‼️ （https://ilogtail.gitbook.io/ilogtail-docs/plugins/input/service-kafka#cai-ji-pei-zhi-v2）logstash kafka&es配置
apiVersion: v1kind: ConfigMapmetadata: name: logstash-config namespace: elastic-system labels: elastic-app: logstashdata: logstash.conf: |- input { kafka { bootstrap_servers => ["nameserver.yhq.jd.local:80"] #yhq的元数据地址 group_id => "ai4middle4log" # yhq的Group的名称 client_id => "ai4middle4log" # yhq的Group的名称，即yhq的省略了kafka中的client_id概念，用Group名称代替 consumer_threads => 2 decorate_events => true topics => ["ai-middle-k8s-log-prod"] # yhp的topic auto_offset_reset => "latest" codec => json { charset => "UTF-8" } } } output { elasticsearch { hosts => ["http://x.x.x.x:40000","http://x.x.x.x:40000","http://x.x.x.x:40000"] # es地址 index => "%{[@metadata][kafka][topic]}-%{+YYYY-MM-dd}" # 索引规则 user => "XXXXXX" #jes的用户名 password => "xxxxx" #jes的密码 ssl => "false" ssl_certificate_verification => "false" } }ilogtail 的配置如下
# ilogtail-daemonset.yamlapiVersion: apps/v1kind: DaemonSetmetadata: name: ilogtail-ds namespace: elastic-system labels: k8s-app: logtail-dsspec: selector: matchLabels: k8s-app: logtail-ds template: metadata: labels: k8s-app: logtail-ds spec: dnsPolicy: "None" dnsConfig: nameservers: - x.x.x.x # （京东云主机上）可以解析yhq域名的源码库nameserver tolerations: - operator: Exists # deploy on all nodes containers: - name: logtail env: - name: ALIYUN_LOG_ENV_TAGS # add log tags from env value: _node_name_|_node_ip_ - name: _node_name_ valueFrom: fieldRef: apiVersion: v1 fieldPath: spec.nodeName - name: _node_ip_ valueFrom: fieldRef: apiVersion: v1 fieldPath: status.hostIP - name: cpu_usage_limit # iLogtails self monitor cpu limit value: "1" - name: mem_usage_limit # iLogtails self monitor mem limit value: "512" image: dockerhub.ai.jd.local/ai-middleware/ilogtail-community-edition/ilogtail:1.3.1 imagePullPolicy: IfNotPresent resources: limits: cpu: 1000m memory: 1Gi requests: cpu: 400m memory: 384Mi volumeMounts: - mountPath: /var/run # for container runtime socket name: run - mountPath: /logtail_host # for log access on the node mountPropagation: HostToContainer name: root readOnly: true - mountPath: /usr/local/ilogtail/checkpoint # for checkpoint between container restart name: checkpoint - mountPath: /usr/local/ilogtail/user_yaml_config.d # mount config dir name: user-config readOnly: true - mountPath: /usr/local/ilogtail/apsara_log_conf.json name: apsara-log-config readOnly: true subPath: apsara_log_conf.json dnsPolicy: ClusterFirst hostNetwork: true volumes: - hostPath: path: /var/run type: Directory name: run - hostPath: path: / type: Directory name: root - hostPath: path: /etc/ilogtail-ilogtail-ds/checkpoint type: DirectoryOrCreate name: checkpoint - configMap: defaultMode: 420 name: ilogtail-user-cm name: user-config - configMap: defaultMode: 420 name: ilogtail-apsara-log-config-cm name: apsara-log-config # ilogtail-user-configmap.yamlapiVersion: v1kind: ConfigMapmetadata: name: ilogtail-user-cm namespace: elastic-systemdata: app_stdout.yaml: | enable: true inputs: - Type: service_docker_stdout Stderr: true Stdout: true K8sNamespaceRegex: ai-train ExternalK8sLabelTag: platform/resource-name: k8s_label_resource-name platform/task-identify: k8s_label_task-identify task-id: k8s_label_task-id run-id: k8s_label_run-id request-id: k8s_label_request-id processors: - Type: processor_rename SourceKeys: - k8s_label_resource-name - k8s_label_task-identify - k8s_label_task-id - k8s_label_run-id - k8s_label_request-id - _namespace_ - _image_name_ - _pod_uid_ - _pod_name_ - _container_name_ - _container_ip_ - __path__ - _source_ DestKeys: - resource_name - task_identify - task_id - run_id - request_id - namespace - image_name - pod_uid - pod_name - container_name - container_ip - path - source flushers: - Type: flusher_stdout OnlyStdout: true - Type: flusher_kafka_v2 Brokers: - nameserver.yhq.jd.local:80 # yhq元数据地址 Topic: ai-middle-k8s-log-prod # yhq topic ClientID: ai4middle4log # Kafka的用户ID（识别客户端并设置其唯一性），对应yhq的Group名称，重要‼️ （https://ilogtail.gitbook.io/ilogtail-docs/plugins/input/service-kafka#cai-ji-pei-zhi-v2） app_file_log.yaml: | enable: true inputs: - Type: file_log LogPath: /export/Logs/ai-dt-algorithm-tools FilePattern: "*.log" ContainerInfo: K8sNamespaceRegex: ai-train ExternalK8sLabelTag: platform/resource-name: k8s_label_resource-name platform/task-identify: k8s_label_task-identify task-id: k8s_label_task-id run-id: k8s_label_run-id request-id: k8s_label_request-id processors: - Type: processor_add_fields Fields: source: file - Type: processor_rename SourceKeys: - __tag__:k8s_label_resource-name - __tag__:k8s_label_task-identify - __tag__:k8s_label_task-id - __tag__:k8s_label_run-id - __tag__:k8s_label_request-id - __tag__:_namespace_ - __tag__:_image_name_ - __tag__:_pod_uid_ - __tag__:_pod_name_ - __tag__:_container_name_ - __tag__:_container_ip_ - __tag__:__path__ DestKeys: - resource_name - task_identify - task_id - run_id - request_id - namespace - image_name - pod_uid - pod_name - container_name - container_ip - path flushers: - Type: flusher_stdout OnlyStdout: true - Type: flusher_kafka_v2 Brokers: - nameserver.yhq.jd.local:80 Topic: ai-middle-k8s-log-prod ClientID: ai4middle4loglogstash 的配置如下
# logstash-configmap.yaml---apiVersion: v1kind: ConfigMapmetadata: name: logstash-config namespace: elastic-system labels: elastic-app: logstashdata: logstash.conf: |- input { kafka { bootstrap_servers => ["nameserver.yhq.jd.local:80"] #yhq的元数据地址 #group_id => "services" group_id => "ai4middle4log" # yhq的Group的名称 client_id => "ai4middle4log" # yhq的Group的名称，即yhq的省略了kafka中的client_id概念，用Group名称代替 consumer_threads => 2 decorate_events => true #topics_pattern => ".*" topics => ["ai-middle-k8s-log-prod"] # yhp的topic auto_offset_reset => "latest" codec => json { charset => "UTF-8" } } } filter { ruby { code => "event.set(index_date, event.get(@timestamp).time.localtime + 8*60*60)" } ruby { code => "event.set(message,event.get(contents))" } #ruby { # code => "event.set(@timestamp,event.get(time).time.localtime)" #} mutate { remove_field => ["contents"] convert => ["index_date", "string"] #convert => ["@timestamp", "string"] gsub => ["index_date", "T.*Z",""] #gsub => ["@timestamp", "T.*Z",""] } } output { elasticsearch { #hosts => ["https://ai-middle-cluster-es-http:9200"] hosts => ["http://x.x.x.x:40000","http://x.x.x.x:40000","http://x.x.x.x:40000"] # es地址 index => "%{[@metadata][kafka][topic]}-%{+YYYY-MM-dd}" # 索引规则 user => "XXXXXX" #jes的用户名 password => "xxxxx" #jes的密码 ssl => "false" ssl_certificate_verification => "false" #cacert => "/usr/share/logstash/cert/ca_logstash.cer" } stdout { codec => rubydebug } }4.核心价值
在私有化部署的基础上通过简单改造实现了与京东内部中间件的完美融合，使得系统在高可用性上适应性更强、可用范围更广。
- 苹果6s音质如何？（以用户体验为核心的音质评估）
- 英特尔主板搭配显卡的选择与性能优势（深入了解英特尔主板与显卡的最佳搭配及性能表现）
- 使用Ghost安装ISO系统的完全教程（轻松学习如何使用Ghost来安装ISO系统）
- 中兴BA611T（探索中兴BA611T的功能与性能，体验智能时代的魅力）
- 浅谈读书郎平板G90的使用体验（探索高效学习利器，读书郎平板G90到底怎么样？）
- BONG3智能手环（探索BONG3智能手环的功能和优势，让你的生活更智能便捷）
- 笔记本系统安装DOS系统分区教程（轻松学会为笔记本安装DOS系统分区）
- ThinkPadS2笔记本装系统教程（轻松学会ThinkPadS2笔记本电脑系统安装技巧）
- 戴尔超极本（戴尔超极本在市场中的地位和用户评价）
- 诺基亚WH-920无线耳机的功能和特点（体验音乐的极致之选——诺基亚WH-920无线耳机的详细评测）
- iPhone7的防水性能测试与评价（全面水密封设计，为你带来更多可能性）
- 正版Win10安装系统教程（一步步教你如何安装正版Win10操作系统）
- 努比亚minis续航能力解析（高能续航，minis为你带来全天候畅玩体验）
- 海信49EC520UA电视机的评测报告（一款性价比高的4K智能电视）
- 半岛铁盒v3（发掘功能，体验卓越——全面解析半岛铁盒v3的优势和亮点）
- ThinkPadS2笔记本装系统教程（轻松学会ThinkPadS2笔记本电脑系统安装技巧）
- 魅族Note564G（一款功能强大、储存空间宽裕的手机）
- 三星Note4外放效果如何？（探究三星Note4外放音质和音量的表现能力）
- 由于安装了windows系统，导致Grub出现问题，很多人会选择重装Ubuntu系统，其实完全没有必要，只要将Grub进行修复就可以了，下面小编就给大家带来使用Ubuntu Live CD 修复Grub引导的方法，一起来学习下吧。本文以 Ubuntu Live CD 修复 Grub 引导为例，已在 /dev/sda3 安装 Fedora。首先制作 Ubuntu 启动 USB复制代码代码如下：sudo dd if=ubuntu-13.10-desktop-amd64.iso of=/dev/sdb #/dev/sdb 为 USB 盘符1.使用启动 USB 进入 Ubuntu 试用环境2.查看硬盘分区状况，获取 Linux 系统安装分区编号代码如下：sudo fdisk -l查看输出结果，然后根据文件类型和分区大小来判定 Linux 系统安装在哪块硬盘和安装的分区。我的电脑是在 /dev/sda3 安装了 Fedora。或者，打开 Gparted 图形化工具来查看分区信息也可以。挂载 Fedora 安装分区3.已知 Fedora 安装在了 /dev/sda3 上，所以我们可以用下面命令来挂载 Fedora 安装分区。你需要将 /dev/sda3 换成自己的 Linux 安装分区。代码如下：sudo mount /dev/sda3 /mnt4.挂载其他所需的目录（使用 --bind）代码如下：sudo mount --bind /dev /mnt/devsudo mount --bind /proc /mnt/procsudo mount --bind /sys /mnt/sys5.Chroot 到硬盘上的 Linux 系统代码如下：sudo chroot /mnt6.安装&更新 Grub代码如下：grub2-install /dev/sdagrub2-mkconfig -o /boot/grub2/grub.cfg7.Grub 已经修复成功，我们还需要退出 chroot 环境、卸载已经挂载的设备与目录：代码如下：exit #退出 chroot 环境sudo umount /mnt/devsudo umount /mnt/procsudo umount /mnt/syssudo umount /mnt8.重启！上面就是使用Ubuntu LiveCD修复grub的方法介绍了，假如你在使用双系统安装windows中出现Grub引导错误，不妨使用该方法进行修复吧。
- 手机数据清除后如何恢复？（快速找回误清除的手机数据）
随便看看
益华科技IT资讯网香港云服务器IT技术网企商汇源码下载服务器租用源码库亿华云云站无忧益华IT技术论坛汇智坊益强前沿资讯益强编程堂益华科技益强智未来亿华互联益华科技益强编程舍思维库亿华灵动极客码头益强资讯优选IT资讯网编程之道益强数据堂益强科技创站工坊益强智囊团亿华智造益强科技亿华云计算科技前瞻云智核亿华科技码力社码上建站多维IT资讯亿华云运维纵横亿华智慧云
- Copyright © 2025 Powered by 纳尼?自建K8s集群日志收集还能通过JMQ保存到JES,创站工坊 滇ICP备2023006006号-44sitemap