一个 PHP 实现的高性能日志采集到 clickhouse 的工具

[hisune]

很久没有写代码了，最近为了解决公司日志采集问题，写了个小玩意用来替代公司在用的 filebeat ，实时同步日志到 clickhouse ，目前已经稳定在线上很多服务器跑了 1 周了

造轮子的原因：

• filebeat 在我司日志采集的时候 CPU 占用很高
• 采集日志到 clickhouse 需要 filebeat 和类似 kafka 的工具配合使用，维护成本变高
• 市面上没有其他 log 文件直接采集到 clickhouse 的工具

于是产生了这个项目，项目地址： https://github.com/hisune/log2ck

如果觉得有用，可以来个小星星

特性

• 极简代码
• 高性能（在线上业务中对比 cpu 占用仅为filebeat的 1/20 ）
• 无第三方服务依赖（例如队列等）
• 配置化
• 定制化（自定义正则、行处理回调函数）
• 支持读取按天分割的 log
• 支持断点续传采集