首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
宝塔
V2EX  ›  Python

想写一个日志分析工具,有没有好的轮子

  •  
  •   meowoo · 2018-09-11 16:04:12 +08:00 · 2267 次点击
    这是一个创建于 433 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主要内容就是,分析应用重启阶段的日志,判断是否有异常之类的。

    要正则匹配关键字处理么? 看了几个都是这样简单的处理的。

    大家有什么好想法么, 或者有什么现成的轮子用。

        1
    limbo0   2018-09-11 16:16:46 +08:00 via Android
    多大的日志,试试 logstash
        2
    meowoo   2018-09-11 16:19:28 +08:00
    @limbo0 一般都是几 M 到几十 M 应用的重启日志,spring bot,weblogic,tomcat,等中间件的日志

    我先看下 谢谢
        3
    billzhuang   2018-09-11 16:22:28 +08:00
    ELK 或者用 EL + Grafana
        4
    meowoo   2018-09-11 16:31:24 +08:00
    @billzhuang 感觉有些庞大了,现在的工具是远程执行重启命令,打印出来的内容会保存在本地,然后分析这份重启日志判断应用是否正常启动。有没有轻量级的推荐,主要想要的就是,给一个 log 文件,分析是否有报错,谢谢
        5
    qq976739120   2018-09-11 16:38:26 +08:00
    filebeat+es+kibana logstash 实在是太重了
        6
    gulu   2018-09-11 19:45:23 +08:00 via Android
    只是需要分析报错的话,要不试试 sentry ?
        7
    exiaohao   2018-09-11 19:47:46 +08:00
        8
    d0m2o08   2018-09-11 20:35:48 +08:00 via iPhone
    轻量的 graylog 了解一下,elk 实在太笨重,数据量不大没必要
        9
    baojiweicn2   2018-09-11 20:46:41 +08:00 via iPhone
    senty,elk 都挺好的
        10
    aimiyooo   2018-09-11 21:38:10 +08:00
    elk+1
        11
    xpresslink   2018-09-11 22:34:16 +08:00
    就这么简单的事情还要轮子。

    直接用 python 撸个脚本就可以了,直接 os.popen('grep -E "regex" filename') 或者 os.popen('zgrep -e "regex" filename.gz')

    其实这样弄比直接用 python 处理要快得多,grep/zgrep 是 C 写的还支持文件通配。

    推荐 open falcon,ELK
        12
    meowoo   2018-09-12 02:25:54 +08:00 via iPhone
    @xpresslink 我自己是准备这样搞得,就想看看有没有好轮子用
        13
    Livid   V2EX Moderator   2018-09-12 02:43:46 +08:00 via iPhone
        14
    geelaw   2018-09-12 03:36:47 +08:00
    Get-Item '你的日志文件' | Select-String '你的正则表达式' | Out-GridView
        15
    hearfish   2018-09-12 03:48:47 +08:00
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4052 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 31ms · UTC 07:30 · PVG 15:30 · LAX 23:30 · JFK 02:30
    ♥ Do have faith in what you're doing.