V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mengzhuo
V2EX  ›  DevOps

国内 NTP pool 服务器严重不足

  •  
  •   mengzhuo · 2018-07-16 22:47:52 +08:00 · 12542 次点击
    这是一个创建于 2082 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 亿人的国家,只有 10 台不到的服务器
    https://www.ntppool.org/zone/cn

    然后阿里云的已经被打趴下了。
    https://www.ntppool.org/scores/182.92.12.11

    我自己的国内服务器( 2M 小水管也跑满了)

    各位有很多吃灰的服务器的~
    可以拿来跑这个,分分钟带宽跑满。
    76 条回复    2018-07-18 19:25:06 +08:00
    marsteel
        1
    marsteel  
       2018-07-16 22:54:28 +08:00
    是的,若干年前共享过公司在数据中心的一台服务器,被流量吓死了
    oovveeaarr
        2
    oovveeaarr  
       2018-07-16 22:56:12 +08:00
    我之前贡献了大概七八台,然后量太大,被机房、电信不定时封锁 UDP,然后掉分,然后就没有然后了)
    breeswish
        3
    breeswish  
       2018-07-16 22:56:50 +08:00
    reus
        4
    reus  
       2018-07-16 23:01:01 +08:00
    福冈大学有一个 NTP 服务器跑了二十几年,最近也撑不住了

    http://enog.jp/wp-content/uploads/2017/10/20171027_ENOG47_tanizaki.pdf
    yangqi
        5
    yangqi  
       2018-07-16 23:04:01 +08:00
    这种就应该搞成 p2p 的
    Cytion
        6
    Cytion  
       2018-07-16 23:06:05 +08:00 via Android
    之前不是有位天才少年弄了几个在国内的么?
    binbinyouliiii
        7
    binbinyouliiii  
       2018-07-16 23:06:50 +08:00 via Android
    自己买个原子钟
    mengzhuo
        8
    mengzhuo  
    OP
       2018-07-16 23:12:57 +08:00
    @breeswish 国内教育网的一般不让加入 pool
    mengzhuo
        9
    mengzhuo  
    OP
       2018-07-16 23:19:01 +08:00
    @yangqi 本身协议设计的时候就是分层的,但是大家都配置在 pool 上(各大 Linux 发行版默认的时钟源),还不包括某水果和微软自带的(流量肯定更大)
    p2p 蛋疼的地方在于不稳定,而 ntp 要求的就是稳定。
    Tink
        10
    Tink  
       2018-07-16 23:21:49 +08:00   ❤️ 3
    ntp.org.cn
    好像是一位 V 友做的
    mengzhuo
        11
    mengzhuo  
    OP
       2018-07-16 23:23:13 +08:00
    @Cytion 加入很简单

    https://www.ntppool.org/zh/join.html

    自己实现服务器也容易,只是要优化好,时间精确那是相当困难。

    也可以看看我的 Go 版本的服务端实现
    https://github.com/mengzhuo/gontpd
    mengzhuo
        12
    mengzhuo  
    OP
       2018-07-16 23:33:38 +08:00
    @Tink 他的集群我看过了,那几台机器压根扛不住现在的流量

    我的服务器设定的是 384Kbps,现在收到了腾讯云发来的 DDoS 防护邮件 78Mbps
    意味着如果要扛住,需要至少 203*78=15834Mbps 全网流量
    acekevin
        13
    acekevin  
       2018-07-17 00:10:51 +08:00
    @mengzhuo 楼主 这个是干嘛用的啊 时间服务器?我国内有台 5M 的闲着 新加坡 2 台 1G 口的 可以加入吗 这个项目主要吃的什么?带宽吗? 为什么会被 D 啊?
    oovveeaarr
        14
    oovveeaarr  
       2018-07-17 00:16:26 +08:00   ❤️ 1
    @acekevin #13 给 Liunx 服务器等设备提供网络同步的项目(中国区)。
    可以加入,主要吃宽带,UDP 端口 123
    因为 NTP 服务器有放大攻击,如果服务端版本比较低可能会被利用
    同时 NTP 服务器小包较多,所以用户上来了很容易被误判为攻击
    acekevin
        15
    acekevin  
       2018-07-17 00:19:47 +08:00
    @oovveeaarr 时间精确那是相当困难 这是为什么呢
    acekevin
        16
    acekevin  
       2018-07-17 00:20:53 +08:00
    网络同步 mirror ?类 cdn 吗?还是说只同步时间
    nciyuan
        17
    nciyuan  
       2018-07-17 00:21:30 +08:00 via Android
    @yangqi 延迟简直不能太好看
    marcomarco
        18
    marcomarco  
       2018-07-17 00:25:10 +08:00 via iPhone
    怪不得我电脑经常同步不上时间
    oovveeaarr
        19
    oovveeaarr  
       2018-07-17 00:25:31 +08:00   ❤️ 2
    @acekevin #15 跟电压、电磁都有关。电脑的时钟是靠时钟芯片提供的,这个东西由于本身的精度原因(晶振、电路等)会有一定变化。
    一般 1 层 NTP 服务器是靠着 卫星授时 或者 原子钟 这些硬件设施来保证的,这个项目的服务器主要是 2 层服务器,就是同步这些 1 层服务器的时间来实现的。(当然如果你有兴趣,也可以弄个 GPS 模块,传输时间到电脑里,自己做 1 层服务器)
    acekevin
        20
    acekevin  
       2018-07-17 00:30:24 +08:00
    @oovveeaarr O 根很多东西有关系是吧 感谢 dalao 花时间解答 话说大佬是不是电子理工男 哈哈
    JamesR
        21
    JamesR  
       2018-07-17 00:36:13 +08:00   ❤️ 1
    yangqi
        22
    yangqi  
       2018-07-17 00:58:55 +08:00
    @nciyuan 大部分设备根本没必要那么精确,要求高的一般都会修改默认服务器的。这样可以减少很大一部分负担。
    tempdban
        23
    tempdban  
       2018-07-17 01:14:30 +08:00 via Android
    @mengzhuo 我看你这个还是软件处理的,用硬件卸载时间戳,会好一点。
    mengzhuo
        24
    mengzhuo  
    OP
       2018-07-17 02:54:23 +08:00 via iPhone
    @tempdban 怎么做?
    Arnie97
        25
    Arnie97  
       2018-07-17 03:00:33 +08:00 via Android
    @binbinyouliiii 实际上 GPS 不值几个钱,主要是流量。很多 ISP 直接在 ToS 里写明了禁止架设开放 NTP 服务器
    msg7086
        26
    msg7086  
       2018-07-17 04:10:11 +08:00
    中国带宽不便宜吧,一般授时用日韩服比较划算,带宽资源相对充裕和廉价一些。
    2397613259qqq
        27
    2397613259qqq  
       2018-07-17 04:34:00 +08:00
    成本太高,小带宽机器端口整天塞满,大带宽又贵到天上,按流量计费的可以称为勇士了,第二天看看还有多少流量
    cnyang
        28
    cnyang  
       2018-07-17 06:37:10 +08:00
    国内成本太高,且香港台湾的服务器不少,延迟也不高,所以没迫切需求
    ladypxy
        29
    ladypxy  
       2018-07-17 08:23:40 +08:00
    NTP 这玩意,国内大把的好么。。只是各种不更新版本,被用来当肉鸡
    qiuai
        30
    qiuai  
       2018-07-17 08:57:00 +08:00   ❤️ 30
    @Cytion 没有几个.就 2 个.还不稳定.想跟我合作,结果想搞个大新闻让我给下了.

    @mengzhuo 我做了 NTP.ORG.CN 以后,对国内 NTP 的现状就越来越无奈.
    没有什么公司会无偿的捐赠服务器开 NTP.因为流量跑起来巨大无比.还有 DDOS 的风险.
    也没有太多人愿意为这个付款,因为根本属于无痛无感的东西.
    我现在把需要付款的机器都下的差不多了.基本上都是一些公开服务.
    接下来如果还是这样的现状的话,我也无能为力了.

    ================================================================
    借着这个机会说说 NTP.ORG.CN 的情况吧.

    这个网站起源其实很普通,我在网上搜靠谱的国内 NTP 服务,搜到的都是国外的,教育网的或者不可用的.(那时候 NTP.ORG 上基本上都是东南亚或者日韩的机器在承担国内的解析量).所以我就把手头上的机器,开了 NTP,加上网上收集的一些机器,做了这个站.

    刚开始知道的人少,后来有人发到豆瓣和 CSDN 上,用户量和解析量才慢慢大了起来.最高峰一天能有五六千万次的请求量.这给我的服务器提供商带来了很大的压力.当时他跟我说过一句话:"这个出力不讨好的,你做的好,用户用了也不会感谢你,你做的不好,他们还会来骂你."想想也是.

    不过感觉承载了这么多的请求量,说不做就不做好像也不合适.于是跟机房协商了一下,请他们做了策略.好歹的撑着用了 2 年多.

    后来有一天机房突然通知下架,而且是马上下架,确认了一下问题,是被用来做攻击用途了.这个无奈的很,毕竟机房已经给便宜用了 2 年多了.下就下吧.

    然后又经历了一点小风波(这里要感谢 CloudXNS 对 NTP.ORG.CN 的支持,一直免费提供这么稳定的解析服务.),用户量和解析量都出现了下滑,跌到每天 2000W 次左右解析.(网站上因为不想写的那么悲惨,把之前的都删掉,只写了个 2000W 次的算了.省的让人觉得你很苦情啊...)

    关于捐助的事

    我从做这个服务开始,就知道有很多公司其实在用,因为运维其实圈子并不大.但是没有收到任何的感谢啊或者捐助.这个我也理解.毕竟是感觉上完全无所谓的服务..

    但是一个朋友说你要给个渠道的.这样才能让他们知道你需要帮助.我就弄了个支付宝和微信收款码上去(支付宝那个扫码给红包.是捐助的主要来源...).

    偶尔能收到个几块钱或者几毛钱.心里感觉还是很安慰的.有自己做的服务是被需要的感觉..

    不过这个始终是杯水车薪的.这个我也很理解.没什么好说的.

    关于自建节点

    V2EX 上的朋友可能还有一些有印象,我之前是做虚拟主机和服务器租用的.还给一些 V2EXER 提供过服务.

    这是我做 NTP.ORG.CN 的基础,因为手上服务器多,需要 NTP.

    不过后来虚拟主机业务取消,服务器租用托管业务规模越来越小,NTP 服务所用的节点,成了我的一个很大的负担(只要开了 NTP,机器基本上不太能干别的了,在这里奉劝一句,不要随便做公开 NTP 服务,除非你的机器是空闲的,流量是无限的,否则账单会让你哭出来的.).

    在接入了*东北大学*赞助的教育网节点,以及上面的朋友说的那个天才提供的 2 个 NTP 节点后,我慢慢降低了自己服务器的权重,直到彻底取消了服务.

    关于未来

    接下来不排除继续增加国内服务器节点的可能性.

    我很清楚国内 NTP 的情况,我也想做点什么.但是好像做点什么都很难(我的经济情况最近出现了一些问题,很难独自支撑自建节点的费用了.).

    不过也不是来诉苦的.人生就是这样起起落落的.

    希望越来越多的朋友能加入到这个幕后的群体中来.虽然我也不知道你能在这里得到什么.




    我还上班呢,偷偷的打了这么多,乱七八糟的.凑活看吧...
    leido
        31
    leido  
       2018-07-17 09:05:46 +08:00 via Android
    dorothyREN
        32
    dorothyREN  
       2018-07-17 09:23:04 +08:00
    可以考虑架一个,我有台 100M 带宽,流量随便用的机子。
    mengzhuo
        33
    mengzhuo  
    OP
       2018-07-17 09:24:01 +08:00
    @cnyang 根本不够多,香港 6 台,台湾 10。

    全亚洲才 150+,而北美有 2000+
    mengzhuo
        34
    mengzhuo  
    OP
       2018-07-17 09:29:02 +08:00
    @leido pool 的 monitor 早就摘掉 aliyun 了,看分数情况(高峰-5 分),这样应该是流量大到没办法扛住了

    说 a 的你们可以看看这个哥们,收集了不少 aliyun 的服务,不知道他在不在 V2EX 上。

    https://www.ntppool.org/user/TheJohnSmith
    mentalkiller
        35
    mentalkiller  
       2018-07-17 09:55:19 +08:00
    @qiuai #30
    感谢你对公共事业的付出。真诚的。
    NTP.ORG.CN 一直有关注,当时有人点赞感谢,也有人嘲讽精度不高的。
    公共事业就是这样的,注定不被大多数人理解。
    能砥砺前行的,都是执着不懈的人。
    还是建议在收入还无法 cover 生活成本的时候,不要对公共事业投入主要的精力。
    chinawrj
        36
    chinawrj  
       2018-07-17 10:03:03 +08:00
    这种公益事情,国内“不屑”做
    tempdban
        37
    tempdban  
       2018-07-17 10:07:46 +08:00 via Android
    老罗不是喜欢搞公益嘛
    tempdban
        38
    tempdban  
       2018-07-17 10:08:43 +08:00 via Android
    @mengzhuo 是网卡的 offload, 如果你喜欢用 go 那可以看看 go-nff
    qiuai
        39
    qiuai  
       2018-07-17 10:29:12 +08:00   ❤️ 1
    @mentalkiller 恩.目前已经从中抽身了.目前基本上就是个收集加域名解析了.
    Vneix
        40
    Vneix  
       2018-07-17 10:32:00 +08:00
    怎么才能加入进去呢?
    oovveeaarr
        41
    oovveeaarr  
       2018-07-17 11:20:41 +08:00
    其实我更倾向于他们在 LA 的服务器对国内链路有问题一些。
    byicer
        42
    byicer  
       2018-07-17 12:06:22 +08:00
    @qiuai 感谢大佬
    AstroProfundis
        43
    AstroProfundis  
       2018-07-17 13:52:21 +08:00
    @Vneixwww.pool.ntp.org 去添加就行了
    @oovveeaarr 就是有问题,到亚州特别是国内的探测经常波动,间接造成了可用服务器数量比实际更少╮( ̄▽ ̄)╭

    --
    我从 13 年开始提供 NTP 服务,但都是在国外,国内最近的是日本放了几台,加到了官方 Pool 和楼上 @quiai 的列表里面
    我在国内也有服务器,但只留着自用,都没有放到公共解析里面,为什么不放国内的呢?楼主已经说了,流量太大吃不住,我用的阿云按量付费,之前尝试过添加到官方 Pool 里面,几天后开始每天扣费好几十把我吓到了只能又摘出来...

    国内现在的 NTP 环境就是个先有鸡还是先有蛋的恶性循环:首先需求就有那么大,而且只会更大,然后因为资源少所以单个服务器承受的压力特别高,所以个人和小企业、小组织很难负担相应的运维成本,所以服务器数量一直上不去,所以单个服务器承受的压力特别高...

    国内现在公网上的量除了周边日韩的、微软(美国)苹果(东南亚)的、有限的几所大学提供的和阿里云提供的,估计就没有能用的服务了,可以想想支撑全国的访问流量要多大压力...

    顺带一提,我放在东京 Linode 和 Vultr 的结点流量常年保持着明显的带宽占用...(作为对比,我放在欧美的几台服务器基本感觉不到 NTP 服务带来的流量起伏)这其中有多少是被利用来 DDoS 反射我也不知道,可以说风险还是不小的

    我个人的建议:
    - 企业、组织,或者有比较高要求的个人请尽量尝试自建,淘宝买 GPS 模块很便宜,对非特殊用途的稳定性也不错,这样可以减少对公网服务器的请求并且获得更高的授时质量([夹带私货:我自己自建服务的记录]( https://blog.atr.me/NGC437) )
    - 有能力的组织或者爱好者请尽量提供更多的结点到官方 pool 中,如果无法负担国内的服务器成本和非技术风险,哪怕在周边位置(日韩、港澳台、东南亚)分担一部分流量也是好的,能一定程度缓解上面提到的怪圈
    - 如果您是大中型互联网、通信行业企业的内部人员并且有一定的影响相关决策的能力,请尝试鼓励所在企业提供公共 NTP 服务
    oovveeaarr
        44
    oovveeaarr  
       2018-07-17 14:07:20 +08:00
    @AstroProfundis #43 我那时候倒是提供了大概 300Mbps 左右的宽带,基本跑满了,但是经常被踢出池子,很麻烦。
    AstroProfundis
        45
    AstroProfundis  
       2018-07-17 14:12:58 +08:00
    @oovveeaarr 就那台祖传 LA 节点在探测我也不知道为什么,有空了我试着打听下看看_(:зゝ∠)_
    oovveeaarr
        46
    oovveeaarr  
       2018-07-17 14:17:01 +08:00
    @AstroProfundis #45 之前我在论坛上问过,但是好像没人理。所以我也基本上是用国外服务器来提供,但是国外到国内的链路情况其实挺糟糕的,比较好的又贵。
    lisonfan
        47
    lisonfan  
       2018-07-17 14:39:12 +08:00
    有台 1Mbps 加 pool 里面去会不会被腾讯清退?
    FanWall
        48
    FanWall  
       2018-07-17 14:43:11 +08:00 via Android
    @qiuai 感谢付出,有使用过
    ys0290
        49
    ys0290  
       2018-07-17 14:51:00 +08:00 via iPhone
    所以如果有 1000 个服务器上线,大家的压力是不是都会小一点
    lslqtz
        50
    lslqtz  
       2018-07-17 14:57:41 +08:00
    @ys0290 这个得看带宽。。
    ys0290
        51
    ys0290  
       2018-07-17 15:17:21 +08:00 via iPhone
    @lslqtz 家用 20 上 100 下会不会被运营商拉黑?
    oovveeaarr
        52
    oovveeaarr  
       2018-07-17 15:19:09 +08:00
    @ys0290 #51 需要固定 IP,不接受动态 IP 的
    caola
        53
    caola  
       2018-07-17 15:42:32 +08:00
    如果大家都自发的把闲置的 vps 都利用起来,分配到每个节点的流量就会将下来了,
    这样就会有更多的人加入进来做公益性的事,我也打算把我那几个 vps 全部加入进来,虽然宽带不并太大。。。
    caola
        54
    caola  
       2018-07-17 15:46:35 +08:00
    @oovveeaarr 我有个想法是,搞固定 ip 当主力,然后通过域名解析的方式分配一部分到动态 IP 上,不清楚这样能不能实现
    oovveeaarr
        55
    oovveeaarr  
       2018-07-17 15:50:42 +08:00
    @caola #54 目前的 pool 就是这样的
    kslr
        56
    kslr  
       2018-07-17 17:05:47 +08:00
    @AstroProfundis #43 SDPY 出问题了
    WildCat
        57
    WildCat  
       2018-07-17 17:10:16 +08:00
    @qiuai 我觉得写信给老罗,让他下次门票钱给你比较靠谱
    dif
        58
    dif  
       2018-07-17 17:30:37 +08:00
    JD 云有台闲置的。。。估计扛不住压力吧
    mengzhuo
        59
    mengzhuo  
    OP
       2018-07-17 17:54:59 +08:00
    @AstroProfundis 新版的是分布式探测的。beta 里已经跑了挺长时间了。
    ferock
        60
    ferock  
       2018-07-17 18:06:41 +08:00
    有什么脚本,可以一键加入这个项目的呢?
    djyde
        61
    djyde  
       2018-07-17 18:34:13 +08:00
    @WildCat #57 这个思路不错
    ferock
        62
    ferock  
       2018-07-17 18:46:43 +08:00
    @qiuai 希望能提供一种简单的途径加入这个项目。。。在站上看了好久,愣是没找到 add ip 的地方
    oovveeaarr
        63
    oovveeaarr  
       2018-07-17 18:55:30 +08:00
    @mengzhuo #59 beta ?怎么说
    loserwn
        64
    loserwn  
       2018-07-17 19:04:58 +08:00
    @qiuai 感谢!
    realpg
        65
    realpg  
       2018-07-17 23:53:16 +08:00
    全是反射 DDOS 攻击的 如果自己没有比较高级的运维能力和对互联网的了解 就别自己搭公众 NTP 服务器,没几个人真正用你获取时间,全是用来反射 ddos
    mengzhuo
        66
    mengzhuo  
    OP
       2018-07-18 00:04:03 +08:00 via iPhone
    @realpg 没事,我架的都是自己实现的 ntp 服务。
    不响应任何 client 以外的请求。
    realpg
        67
    realpg  
       2018-07-18 00:06:24 +08:00
    @mengzhuo #66
    不用 list 就单纯的模拟普通 client 请求也是放大的……
    mengzhuo
        68
    mengzhuo  
    OP
       2018-07-18 00:06:51 +08:00 via iPhone   ❤️ 1
    mengzhuo
        69
    mengzhuo  
    OP
       2018-07-18 00:18:39 +08:00 via iPhone
    @realpg 怎么放大?我只回一样大的包。
    IP 层伪装么?
    Bijiabo
        70
    Bijiabo  
       2018-07-18 00:22:29 +08:00
    ...我们上个月给客户做了批智能硬件要出货....开发到一半意识到芯片里面没有计时晶振,有个业务逻辑会出问题。。。于是评估了一下,频繁对时应该能解决问题....然后算了一下,第一批货大概一个月请求不到三亿次吧。。。

    emmm,还是不用自己的,用阿里的对时服务吧
    Citrus
        71
    Citrus  
       2018-07-18 00:55:04 +08:00 via iPhone   ❤️ 3
    加了个自己的服务器到池子里试了一下,感觉探测节点明显有问题。。。经常抖动不可达,然后分刷刷的扣。。。
    mengzhuo
        72
    mengzhuo  
    OP
       2018-07-18 09:22:44 +08:00
    @Bijiabo 看来 0.3 一定要上 rate limit 了……
    openbsd
        73
    openbsd  
       2018-07-18 11:53:44 +08:00
    好奇国家授时中心一年多少经费,弄个 NTP 都时常不稳定
    是不是建议弄个捐赠......
    AstroProfundis
        74
    AstroProfundis  
       2018-07-18 15:56:08 +08:00
    @openbsd 国家授时中心那个服务器好像跑的不是 NTP 是个精度更高的私有协议,要用专用客户端;我和 210.72.145.44 不能同步已经很久了,具体不太清楚
    openbsd
        75
    openbsd  
       2018-07-18 16:29:38 +08:00
    @AstroProfundis #74
    早期不好使的时候我傻傻的打过官方电话咨询
    没记错的话,电话是属 陕西天文台? 的
    有专有客户端,收费服务
    也免费提供 NTP 服务,但是服务器负载不够,老挂......
    所以我才有他们“缺钱” 的感慨
    AstroProfundis
        76
    AstroProfundis  
       2018-07-18 19:25:06 +08:00
    @openbsd 国家授时中心在陕西(最内陆,大地原点附近),是中科院的下属单位(以前好像是国家天文台一个系统的,现在不清楚)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2720 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 15:40 · PVG 23:40 · LAX 08:40 · JFK 11:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.