V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PingCAP
V2EX  ›  程序员

TiDB-Lightning Toolset & TiDB-DM 正式开源,前排开“坑”、PR 走起!

  •  
  •   PingCAP · 2019-01-21 18:47:38 +08:00 · 1790 次点击
    这是一个创建于 2144 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在刚刚结束的 TiDB DevCon 2019 上,我们宣布将大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 开源(惊不惊喜、意不意外?!),感兴趣的小伙伴们赶紧前排关注一波,开“坑( issues )”讨论,PR 走起!

    TiDB-Lightning Toolset

    TiDB-Lightning Toolset 是一套快速全量导入 SQL dump 文件到 TiDB 集群的工具集,自 2.1.0 版本起随 TiDB 发布,最新的测试结果显示,速度可达到传统执行 SQL 导入方式的至少 5 倍,导入 1T 数据需要 5 ~ 6 个小时,适合在上线前用作迁移现有的大型数据库到全新的 TiDB 集群。

    原理解读:TiDB-Lightning Toolset 介绍

    项目地址:github.com/pingcap/tidb-lightning

    TiDB-DM

    TiDB-DM ( Data Migration )是用于将数据从 MySQL/MariaDB 迁移到 TiDB 的工具。该工具既支持以全量备份文件的方式将 MySQL/MariaDB 的数据导入到 TiDB,也支持通过解析执行 MySQL/MariaDB binlog 的方式将数据增量同步到 TiDB。特别地,对于有多个 MySQL/MariaDB 实例的分库分表需要合并后同步到同一个 TiDB 集群的场景,DM 提供了良好的支持。如果你需要从 MySQL/MariaDB 迁移到 TiDB,或者需要将 TiDB 作为 MySQL/MariaDB 的从库,DM 将是一个非常好的选择。

    原理解读:TiDB-DM 架构设计与实现原理

    项目地址:github.com/pingcap/dm

    3 条回复    2019-01-22 01:10:54 +08:00
    zhichaozhang
        1
    zhichaozhang  
       2019-01-21 18:53:44 +08:00
    终于开源了
    之前发邮件问贵公司同事他说得 11 月份 等来等去一直没等到 不说了 fork 一下去
    bigtan
        2
    bigtan  
       2019-01-21 22:20:18 +08:00 via Android
    一直有个疑问,我们存行情数据的 MySQL 服务器现在单表的数据累积已经过一亿条记录了,tidb 对这种场景有优势吗?单物理节点,没有分布式
    my3157
        3
    my3157  
       2019-01-22 01:10:54 +08:00
    @bigtan #2 TiDB 需要 raft, 无法单节点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1137 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:49 · PVG 02:49 · LAX 10:49 · JFK 13:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.