V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
summerlv
V2EX  ›  程序员

有没有 Flink 比较会的前辈?想请教问题(有偿)

  •  1
     
  •   summerlv · 12 天前 · 1038 次点击

    目测需求不难,但是本人对 flink 一些东西还不熟悉,所以请教下

    第 1 条附言  ·  12 天前
    目测需求不难,所以请教下


    功能需求

    1.预警记录生成
    需要根据已经配置好的数据生成预警记录
    例如:需要判断一个值,判断某个值是否大于或等于某个固定的值,或者百分比,并且持续一定时间后,生成一条记录
    2. 数据重排
    如果遇到数据阻塞的情况,接收的数据有可能是乱序的,需要每过一段时间,修改已生成的数据,例如节拍或者预警数据

    数据结构大概是设备编码和设备运行日志的 json ,json 包含各个采集点位的 key 和 value ,目前就是判断这些设备的采集点位的 value 然后生成预警数据,数据重排是指在 flink 端对读取的数据根据时间戳进行乱序重排
    7 条回复    2024-11-11 16:10:02 +08:00
    summerlv
        1
    summerlv  
    OP
       12 天前
    留下 vx 我➕,有偿有偿的,是自己遇到的需求,真的不难,做过实际开发的会觉得不难
    billlee
        2
    billlee  
       12 天前
    不难为什么不直接问呢
    XuHuan1025
        3
    XuHuan1025  
       12 天前
    是的 初中第一课就说 闻道有先后术业有专攻,直接发出来
    jiny2048
        4
    jiny2048  
       12 天前
    直接发呗
    smplesugar
        5
    smplesugar  
       12 天前
    有话直说即可,上来一句自己还不熟悉,那你想别人告诉你多难得东西? 官网读完了吗,很多问题多读文档可以解决
    edwardzcn98
        6
    edwardzcn98  
       12 天前
    只了解一点 FlinkCDC ,你把问题直接贴出来大家分析呗。
    wxff
        7
    wxff  
       10 天前
    5 年前搞过一段 flink 平台
    1.开个滑动窗口 计算大于某个值 就 sink 一条数据
    2.flink 有 watermark 设置为 eventTime 可以解决一定时间内数据乱序问题。
    如果还是乱序时间比较长 可能需要具体场景具体分析
    1 、需要缓存数据 重新计算了,比较耗内存
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3260 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 12:10 · PVG 20:10 · LAX 04:10 · JFK 07:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.