首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉勾
V2EX  ›  Python

想写一个日志分析工具,有没有好的轮子

  •  
  •   meowoo · 188 天前 · 1806 次点击
    这是一个创建于 188 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主要内容就是,分析应用重启阶段的日志,判断是否有异常之类的。

    要正则匹配关键字处理么? 看了几个都是这样简单的处理的。

    大家有什么好想法么, 或者有什么现成的轮子用。

        1
    limbo0   188 天前 via Android
    多大的日志,试试 logstash
        2
    meowoo   188 天前
    @limbo0 一般都是几 M 到几十 M 应用的重启日志,spring bot,weblogic,tomcat,等中间件的日志

    我先看下 谢谢
        3
    billzhuang   188 天前
    ELK 或者用 EL + Grafana
        4
    meowoo   188 天前
    @billzhuang 感觉有些庞大了,现在的工具是远程执行重启命令,打印出来的内容会保存在本地,然后分析这份重启日志判断应用是否正常启动。有没有轻量级的推荐,主要想要的就是,给一个 log 文件,分析是否有报错,谢谢
        5
    qq976739120   188 天前
    filebeat+es+kibana logstash 实在是太重了
        6
    gulu   188 天前 via Android
    只是需要分析报错的话,要不试试 sentry ?
        8
    d0m2o08   188 天前 via iPhone
    轻量的 graylog 了解一下,elk 实在太笨重,数据量不大没必要
        9
    baojiweicn2   188 天前 via iPhone
    senty,elk 都挺好的
        10
    aimiyooo   188 天前
    elk+1
        11
    xpresslink   188 天前
    就这么简单的事情还要轮子。

    直接用 python 撸个脚本就可以了,直接 os.popen('grep -E "regex" filename') 或者 os.popen('zgrep -e "regex" filename.gz')

    其实这样弄比直接用 python 处理要快得多,grep/zgrep 是 C 写的还支持文件通配。

    推荐 open falcon,ELK
        12
    meowoo   188 天前 via iPhone
    @xpresslink 我自己是准备这样搞得,就想看看有没有好轮子用
        13
    Livid   V2EX Moderator   188 天前 via iPhone
        14
    geelaw   188 天前
    Get-Item '你的日志文件' | Select-String '你的正则表达式' | Out-GridView
        15
    hearfish   188 天前
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4036 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 17ms · UTC 02:41 · PVG 10:41 · LAX 19:41 · JFK 22:41
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1