V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
brant2ai
V2EX  ›  云计算

求助:有没有做过物联网、电站的数据同步?

  •  
  •   brant2ai · 102 天前 · 2470 次点击
    这是一个创建于 102 天前的主题,其中的信息可能已经有所发展或是发生改变。

    电站的数据同步,测点数量达到 150w

    我们现在在给光伏项目做跨区数据同步,之前没有太多经验,想问问有没有做过类似项目的同学?

    现在准备用的方案有

    1.Ⅰ区通过时序库自带同步能力同步到Ⅲ区时序库中,时序库用 Taos ( TDengine ) 2.Ⅲ区另外有数据上报需求,已经有厂商做了Ⅰ区到Ⅲ区的跨区传输,到达Ⅲ区后通过 104 协议转发,再由我们这边解析 104 协议,然后写入时序库中

    现在的问题

    1.Taos 跨区同步的稳定性咋样,能不能支持高达 150w 级别的数据同步能力,之前你们遇到过什么样的坑 2.104 协议解析,我们这边准备拆成 200 多个端口来接收,有没有保稳定性的代码方面的建议

    拜托啦各位!!!

    第 1 条附言  ·  102 天前
    最好是商业版的经验能分享下,我们这边准备采购时序库。
    第 2 条附言  ·  96 天前
    收藏的兄弟,我们的项目最终还是选择稳妥的方式,Taos 通过网闸传输文件的方式来同步数据。其他是时序数据则是Ⅲ区转发后再通过 104 解析,不过这部分数据比较小了,我们自己搞也没问题。
    13 条回复    2024-07-24 00:02:54 +08:00
    aapon
        1
    aapon  
       102 天前
    数据颗粒度是多少?每秒?还是其他的? 1 区到 3 区的单向透传解决了吗?
    brant2ai
        2
    brant2ai  
    OP
       102 天前
    @aapon 5s 一条,不是所有测点都是实时这样,单向透传两个方案其实都有人负责解决
    dododada
        3
    dododada  
       102 天前
    跨行业了,不太懂。我们以前的异地多活,数据同步 100G 的内网带宽跑满,用的 log+mq+es ,和你这个完全不一样,而且方案可能已经落伍了
    aapon
        4
    aapon  
       102 天前   ❤️ 1
    @brant2ai 回答你的问题,能支持。坑嘛,注意透传稳定性。200 个端口也行。但是注意一下代码或者程序的健壮性,基本是内网传输,不用担心,这点数据量跑不满带宽的。不过也可以联系多聊聊。多增加点奇奇怪怪的经验。
    laminux29
        5
    laminux29  
       102 天前
    这是入门级别的简单系统架构了,直接使用 2 套负载均衡就行。

    第 1 套是基于 DNS 的域名负载均衡,用于异地就近寻找服务器进行数据上报,类似于 CDN 的反向版本。这套需要运营商那边办理 DNS 接入,如果嫌麻烦,不用也行。

    第 2 套是用于数据中心内部的数据收集服务器集群的负载均衡,运营商的 DNS 服务器也是这种集群负载均衡模式。

    数据中心内部,先用这种便宜量大的数据收集服务器,直接用 cache 类型的 db 进行收集即可。

    然后再搞一套用于数据分析处理的集群 db ,最后再来一套备份集群,就达成 3 副本的最低生产要求。
    server
        6
    server  
       102 天前
    国产化前提下 可选择空间很少, db-engines 榜上的数据库国产化的很少, 自己部署 TDengine 多去翻翻 github issue 绕开坑点,商业版看你们商务谈判了. 如果用建议把源码翻一翻.
    zhangeric
        7
    zhangeric  
       102 天前
    看你们每秒插入得最大得数据量了,看时序数据库支持不支持了.
    tulumu
        8
    tulumu  
       102 天前
    filebeat2kafka2iceberg/hudi
    wizzer
        9
    wizzer  
       102 天前
    还好啊,我们是 5s 四条

    买 TDengine 企业版,把问题抛给他们即可啊哈哈
    HaloLegend
        10
    HaloLegend  
       102 天前
    我们就做这些的,包括 104 协议,但是无奈有保密协议无法分享
    brant2ai
        11
    brant2ai  
    OP
       102 天前
    @wizzer 哈哈哈,我们也在联系他们来着
    brant2ai
        12
    brant2ai  
    OP
       102 天前
    @HaloLegend 只聊聊架构和踩过的坑呗
    fx0719
        13
    fx0719  
       102 天前 via iPhone
    以前都买的 PI 数据库
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1067 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 19:37 · PVG 03:37 · LAX 12:37 · JFK 15:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.