使用 Rancher 搭建的 K8S 环境采集 Spring Boot 日志有什么好的方案
Kyle18Tang · 2020-11-28 14:01:10 +08:00 · 2951 次点击这是一个创建于 1460 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前我们的日志采集流程是 Spring Boot 服务生成 log 文件，Filebeat 采集 --> Logstash 进行 Grok，同时遇到 ERROR 日志发送到 RabbitMQ 来进行钉钉告警 --> ElasticSearch --> Kibana 搜索查看。
现在测试环境已经使用 K8S 来部署，如果使用 Rancher 里的日志设置直接发送到 ElasticSearch 里，没有 Grok 的过程，发送的日志格式不是我们想要的，ERROR 日志也不好告警了，想看看大家是如何进行这部分日志采集的。
第 1 条附言 · 2020-12-03 11:33:15 +08:00
目前已经搞定了一个方案，可能不是最好的，先这样用着，有空再试试其他方式。
1 、创建 PV 、PVC 映射主机目录
2 、设置 Spring Boot 日志文件位置，然后使用 PVC 映射到主机上
3 、创建 DaemonSet 模式的 Filebeat，然后把主机的日志目录映射到 Filebeat 容器里，这样 Filebeat 就能采集到 Spring Boot 日志了
这样的方式可以使用我们目前现有的 Logstash 、ElasticSearch 及 Kibana 。
1 、创建 PV 、PVC 映射主机目录
2 、设置 Spring Boot 日志文件位置，然后使用 PVC 映射到主机上
3 、创建 DaemonSet 模式的 Filebeat，然后把主机的日志目录映射到 Filebeat 容器里，这样 Filebeat 就能采集到 Spring Boot 日志了
这样的方式可以使用我们目前现有的 Logstash 、ElasticSearch 及 Kibana 。
 |
1
anexplore 2020-11-28 16:22:33 +08:00
直接把 log 写到共享卷里面；外面依然走 filebeat 那一套
|
 |
2
cheng6563 2020-11-28 20:02:45 +08:00
我司是一开始就统一配置日志写到 /var/log 里，k8s 里把这个目录挂进容器就是了
|
 |
3
smilingsun 2020-11-28 22:40:56 +08:00
不知道 loki 能不能解决？
|
 |
4
goxy 2020-11-29 00:48:21 +08:00
grafana
把日志和报警分开 grafana 可以设置 es 为 datasource，然后 webhook 到钉钉 |
 |
5
glongzh 2020-11-29 00:57:30 +08:00
rancher 又不是非得走自带的日志模块，你自己也可以在 k8s 上部署 filebeat，logstash 这些啊，跟你原来一样的
|
 |
6
hantsy 2020-11-29 11:03:20 +08:00
具体不知道 Rancher 与 K8S 有什么差别，感觉对于熟悉 DevOps 部署一套 ELK，或者 EFK 应该不难。
|
 |
7
Kyle18Tang OP @goxy #4 Grafana 我们有展示 Prometheus 监控数据, 你说的这个我可以去了解一下, 这样告警确实也挺方便的.
|
|
8
Kyle18Tang OP @anexplore #1 下周试一下共享卷
|
Select Language