V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PazuLee
V2EX  ›  程序员

关于数据同步的有效性校验

  •  
  •   PazuLee ·
    toutoudnf · 2018-02-09 13:40:16 +08:00 · 1732 次点击
    这是一个创建于 2239 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,数据同步,类似定时任务啊实时数据同步之类的,有没有一些好的做数据校验的思路?
    8 条回复    2018-02-11 08:58:58 +08:00
    dissvm
        1
    dissvm  
       2018-02-09 13:56:25 +08:00 via iPhone
    楼下第一眼看成有效性经验的举手🙋‍♂️
    qumingkunnan
        2
    qumingkunnan  
       2018-02-09 15:44:53 +08:00
    之前有个项目,Java 的。 一个类里面包含常用的校验规则,每个数据表实现一个,然后解析的时候同时校验,没有涉及同步这个事儿,只是校验
    PazuLee
        3
    PazuLee  
    OP
       2018-02-09 15:51:05 +08:00
    @dissvm 哈哈哈哈哈
    @qumingkunnan 对,其实同步的痛点是怎么保证和源数据的一致,尤其是经过一部分业务逻辑处理的。这个目前只想到查询数据源去比对,但是感觉效率比较低。
    0Kelvin
        4
    0Kelvin  
       2018-02-09 15:54:16 +08:00
    数据序列化,计算 md5,传递,接收校验。
    没实际操作过,不知道思路对不对,(逃
    qumingkunnan
        5
    qumingkunnan  
       2018-02-09 16:36:35 +08:00
    @PazuLee 模仿 http 握手机制呢
    PazuLee
        6
    PazuLee  
    OP
       2018-02-09 16:40:06 +08:00
    @0Kelvin md5 可能存在某些局限性,因为通常存在痛点的场景是对数据做了加工改造,一旦与源数据格式不同可能 MD5 方式就失效了。:(
    PazuLee
        7
    PazuLee  
    OP
       2018-02-09 16:40:23 +08:00
    @qumingkunnan 这个倒是没有考虑过,怎么讲呢~
    qumingkunnan
        8
    qumingkunnan  
       2018-02-11 08:58:58 +08:00
    @PazuLee 我们应用场景是提供数据文件包给一些使用方,有客户端服务端,每次传输文件都采用回执方式确认数据完整已达,详细的不是特别了解,因为不开源,对内部都不开源…………
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1769 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:34 · PVG 00:34 · LAX 09:34 · JFK 12:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.