V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
alwayslan
V2EX  ›  程序员

logstash 中 filter 是否可设置字典匹配?(类似 GeoIP)

  •  
  •   alwayslan · 2019-01-02 12:55:25 +08:00 · 1320 次点击
    这是一个创建于 1931 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现有一个这样的需求,从日志中获取到访问的域名 /IP,想在 filter 中匹配出网站的类型和中文名称。
    网站的类型和中文名称存储在一个数据库文件中,就和字典一样,有就增加网站类型和网站名称的字段,没有就置空。

    例如,从日志中采集到访问网站的域名为:www.baidu.com ,则在 filter 中可设置匹配网站数据库,匹配到的结果为:网站类型:搜索类,网站名称:百度搜索,则在字段中增加“网站类型:搜索类,网站名称:百度搜索”的字段。

    这个需求和 GeoIP 很像,从一个 IP 地址匹配出经纬度、地区等信息,也是基于一个数据库文件。
    3 条回复    2019-01-03 10:54:46 +08:00
    lishunan246
        1
    lishunan246  
       2019-01-02 14:53:34 +08:00
    可以,需要自己实现一个插件
    aaa5838769
        2
    aaa5838769  
       2019-01-02 17:30:03 +08:00
    我记得有一个 grok 插件,我不确定是不是这个插件,你可以看下。
    alwayslan
        3
    alwayslan  
    OP
       2019-01-03 10:54:46 +08:00
    grok 是正则匹配的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   999 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:50 · PVG 03:50 · LAX 12:50 · JFK 15:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.