首页   注册   登录
 ghostwwg 最近的时间轴更新

ghostwwg

V2EX 第 353236 号会员,加入于 2018-09-30 10:18:50 +08:00
ghostwwg 最近回复了
论自建 NAS 的重要性
11 天前
回复了 mrjia 创建的主题 Google App Engine Google cloud 外网 IP 问题
不是啊。。。有亚太区的啊。。。
31 天前
回复了 orangutan92 创建的主题 硬件 2018 年有什么好的无线鼠标推荐?
你的价格范围的 看看雷柏, 微软罗技 200-的都是 7 号电池,要么就贵了
以下是我的 filebeats 配置文件:
-----------------
cat /etc/filebeat/filebeat.yml
-----------------
filebeat:
spool_size: 1024 # 最大可以攒够 1024 条数据一起发送出去
idle_timeout: "5s" # 否则每 5 秒钟也得发送一次
registry_file: ".filebeat" # 文件读取位置记录文件,会放在当前工作
目录下。所以如果你换一个工作目录执行 filebeat 会导致重复传输!
config_dir: "/etc/filebeat/conf"

output.kafka:
hosts: ["x.x.x.x:9091"]
topic: '%{[logstash_type]}'
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
-----------------
cat /etc/filebeat/conf/pubservice.yml
-----------------
filebeat.prospectors:
-
tail_files: true
fields:
logstash_type: "pubservice"
paths:
- /var/log/pubservice.log
fields_under_root: true
json:
message_key: message
overwrite_keys: true
keys_under_root: true
-----------------
-----------------
我这边是走 filebeats -> kafka -> logstash -> elasticsearch 的数据流走向

logstash 根据『 logstash_type 』 字段做判断,塞进不同的 index 里面。

2: 没明白撒意思,手动建立 mapping 看需求,我是倾向于建的,这边不建立 mapping 的情况下,偶有数据类型不一致会丢

3: filebeats 只是抽数据的吧,建立 mapping 是在 ES 这里做的,你可以通过 es 的 template 接口去实现指定的 index 匹配一套 mapping.

4: 看上面的配置文件,grok 这个帮不了你,我也不熟
41 天前
回复了 3s6i2o 创建的主题 宽带症候群 打算换路由求推荐
R7000 或者同级别封顶,高了真没撒意思。
41 天前
回复了 luozhiyun 创建的主题 买买买 想入手个智能手表, 有推荐的吗?
itcwatch pro 玩了大半个月了,用着还行,全功能模式 3 天左右吧,官方推荐的 2+3 续航不虚。应用方面么,语音识别回复微信还不错,其它倒也没怎么扩展过。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2919 人在线   最高记录 4019   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.1 · 9ms · UTC 10:39 · PVG 18:39 · LAX 02:39 · JFK 05:39
♥ Do have faith in what you're doing.
沪ICP备16043287号-1