• 请不要在回答技术问题时复制粘贴 AI 生成的内容
a7217107
V2EX  ›  程序员

elasticsearch 单机高并发写入出现丢失数据的情况

  •  
  •   a7217107 · Sep 14, 2020 · 3765 views
    This topic created in 2104 days ago, the information mentioned may be changed or developed.

    es 在并发写入的情况下,为啥会出现部分数据丢失的情况?

    10 replies    2020-09-14 18:01:08 +08:00
    90928yao
        1
    90928yao  
       Sep 14, 2020
    压测的时候?
    des
        2
    des  
       Sep 14, 2020
    看看有没有报错什么的,es 的内部队列满了会暂时拒绝请求
    a7217107
        3
    a7217107  
    OP
       Sep 14, 2020
    @90928yao 是的,并发量高一点就会丢
    a7217107
        4
    a7217107  
    OP
       Sep 14, 2020
    用的 x-pack
    Macuilxochitl
        5
    Macuilxochitl  
       Sep 14, 2020
    关注一下错误率
    wakzz
        6
    wakzz  
       Sep 14, 2020
    贴一下返回的报错报文以及 es 的报错日志
    yoqu
        7
    yoqu  
       Sep 14, 2020
    建议通过消息队列异步入 es
    syncnano
        8
    syncnano  
       Sep 14, 2020
    只要涉及到写入 es 的,就一定要关注写入失败的情况,参考:
    `_cat/thread_pool?v`
    kefirzhang
        9
    kefirzhang  
       Sep 14, 2020
    再没有写入 ack 确认,失败重试的情况下,如果高并发写入达到 es 瓶颈肯定会拒绝后续请求造成数据丢失。
    可以采用写到 redis 的队列里面用 logstash 读取。或者写到 kafak 里面 ,
    其实原理一样 写到一个缓存队列,削峰填谷!
    manaBurn
        10
    manaBurn  
       Sep 14, 2020
    如果是同一个文档,是因为 es 的乐观锁机制造成的版本冲突吧?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2563 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 71ms · UTC 08:00 · PVG 16:00 · LAX 01:00 · JFK 04:00
    ♥ Do have faith in what you're doing.