V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
zhj5chengfeng
V2EX  ›  酷工作

来 PingCAP,我们一起完善 TiDB!

  •  
  •   zhj5chengfeng · 2018-10-20 04:15:18 +08:00 · 3522 次点击
    这是一个创建于 2231 天前的主题,其中的信息可能已经有所发展或是发生改变。

    什么是 TiDB ?

    官方术语:“ TiDB 是 PingCAP 公司自主开发的开源分布式数据库产品,模型参考了 Google 的分布式数据库论文( Spanner/F1 ),解决了关系型数据库水平扩展的难题,具备水平弹性伸缩、强一致的分布式事务、基于 Raft 算法的多副本复制等特性。截止目前在 Github 上已获得 15000+ Stars ( https://github.com/pingcap/tidb )”

    再深入了解的话,大家可以看看之前发表的一些文章和博客,比如知乎专栏:TiDB 的后花园

    PingCAP 招聘

    如果你:

    • 内心不安,喜欢挑战和创新;
    • 熟悉分布式系统或者数据库领域(前端无此要求);
    • 想和简单有爱的 PingCAP 的工程师们一起做世界级的开源项目。

    那么你就是我们要找的人!

    本周日( 2018 年 10 月 21 日)我们将在成都举办一场 Infra Meetup,欢迎新老朋友过来面基!不管你是想聊一聊技术干货还是想加入分舵,都可以点击 链接 直接报名来现场交流!

    Infrastructure Engineer (包括分布式存储-TiKV、分布式计算-TiDB、分布式调度-PD、商业工具-Tools、SRE、Cloud 等方向)在成都分舵已全面开放!

    更多公司信息,职位详情,请关注 PingCAP 招聘官网!想加入 PingCAP,请:以 姓名+职位 的格式发送简历到:emhhbmdqaWFuQHBpbmdjYXAuY29t (请使用 base64 解码)

    PingCAP 工作体验如何?

    加入 TiDB 有一年多了,目前我主要负责 TiDB SQL Engine 的开发和优化。这一年来我的感受是非常爽,非常自豪!

    1. 日常开发

    在去年发布 1.0 版本的时候,22 个 TPC-H Query 中我们还有很多不能出结果,有些是 plan 做的不好,有些是执行的慢,有些是消耗的内存多。之后的两个月中,winoros 加强了子查询的优化,同时,我和另外一些同事使用新的数据结构和执行模式完全重构了整个执行引擎。此后发布的 2.0 版本相比于 1.0 版本有了非常大的性能提升,比如 Q8 以前要跑 800 多秒,2.0 中只需要 30 秒!更详细的对比和性能测试报告可以看这个文档:TiDB TPC-H 50G 性能测试报告

    2.0 版本后,针对现在 SMP 多核多线程的架构特性,我们开始了算子内并行的开发工作,XuHuaiyu 重构了 hash 聚合算子,使得 hash 聚合运算的性能提升了好几倍!在 SQL 优化器方面,winoros 设计了节点个数比较少时 join reorder 的 DP 方法并且正在开发中。lamxTyler 设计并实现了统计信息的基于查询反馈的自动更新。我和 eurekaka 参考 orca 和 calcite 开始了新一轮优化器的重构工作!

    作为一个 HTAP 数据库,TiDB 功能上还不够全面,性能上提升空间还有很多,稳定性上我们做的还不够,这些我们正在和社区同学一起完善。比如内存管理方面,我们接下来会着手 session 级别的 column pool 进一步减少内存使用和 gc 压力。优化器方面我们在支持了新的优化器模型后,很多优化规则也能够很方便的添加进来了,执行引擎方面 XuHuaiyu 正在进行 radix hash join 的编码工作进一步提升 hash join 的性能。算子内的并行工作正在逐步进行。groupjoin 算子 /window function/view/common table expression 等都在逐步支持和完善!

    2. paper reading

    除了日常开发工作,我们的 paper reading 分享也是非常值得一说的。paper reading 让我们站在巨人的肩膀上,扩展了视野,启发我们对 TiDB 某些模块的设计和实现的思考。目前每一两个星期我们就会进行一次 paper reading 分享,论文基本上挑选自数据库三大顶会 VLDB/SIGMOD/ICDE

    3. 远程办公

    远程办公是一件非常人性化的福利,有时候比如在家等一个大件快递,大家一般会选择远程在家。为了避开国庆前后的高价机票,我也申请了几天远程办公。

    目前我们 team 分布在上海,杭州,成都,北京。看起来人员分散了不好管理和控制项目进度?其实不是。我们每天会找个大家都 OK 的时间简单同步一下状态,每周会有周会总结,视频会议+共享屏幕其实能够应付大多数的开会场景了。

    之前帮一些同学内推的时候他们经常问我的问题是 xx 地方招 xx 岗位吗?唔,其实我们是在任何 office 招任何岗位。并没有比如说某个地方的 office 全是做 tidb 的,某个地方的 office 全是做 tikv 的。不管 base 在哪个 office,都可以做你想做的模块或者岗位。

    10 条回复    2018-10-24 14:19:04 +08:00
    pathbox
        1
    pathbox  
       2018-10-20 12:56:38 +08:00 via iPhone
    PingCap 都是 top 级别的程序员,路过膜拜
    darkcode
        2
    darkcode  
       2018-10-20 13:20:14 +08:00
    前几天刚知道 PingCAP,感觉是国内做技术最顶级的一批了
    Wisho
        3
    Wisho  
       2018-10-20 15:58:02 +08:00
    校招小硕需要吗,没有数据库开发方面的经验,但是基础感觉还行
    zhj5chengfeng
        4
    zhj5chengfeng  
    OP
       2018-10-20 16:09:58 +08:00 via iPhone
    @Wisho 需要呀,投简历试试呀
    1178615156
        5
    1178615156  
       2018-10-20 22:28:32 +08:00
    -_-只写过后端开发,只会做个增删查改
    sharkspeed
        6
    sharkspeed  
       2018-10-22 02:27:55 +08:00 via Android
    tidb 开 8 个节点做集群这个基础维护成本看起来很高
    spongedu
        7
    spongedu  
       2018-10-22 09:56:04 +08:00
    资瓷一波~
    qiuyesuifeng
        8
    qiuyesuifeng  
       2018-10-23 11:40:27 +08:00
    @spongedu 感谢支持:)
    rpx
        9
    rpx  
       2018-10-23 13:33:35 +08:00
    @zhj5chengfeng 正在试用 TiDB,加油啊。
    spongedu
        10
    spongedu  
       2018-10-24 14:19:04 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1202 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:19 · PVG 07:19 · LAX 15:19 · JFK 18:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.