V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Amaake
V2EX  ›  问与答

超大量域名 ip 解析及白名单对比,求优化思路

  •  
  •   Amaake · 2022-01-10 11:18:19 +08:00 · 798 次点击
    这是一个创建于 830 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前每天有大约千万级别的域名需要做解析,现在有以下几个难题

    **1 、域名解析成 ip 。**
    如果采用公司专线地址,估计跑 ping 或者 nslookup 几十万个解析公司网络就奔溃了。但是去买接口的话看了一下价格还是怕了(每天千万级别扛不住),想问一下解析这块有什么好的办法。

    **2 、ip 分辨境内外及 CDN**
    这个我本来想着是以 ip 归属地的形式去分辨,,但是看了一下好像没有特别全的 ip 段地址(如果有小伙伴能提供的也可以),而且 cdn 也是一个大问题,,,包括本地字符串的比对,这么大级别的量不知道一天能不能跑完。

    **3 、域名及 ip 白名单对比**
    千万级别域名和数万域名白名单对比
    千万级别 ip 和数万 ip 白名单对比
    这个是采用数据库的方式去比对还是写脚本直接读 txt 效率高,或者有没有更高效率的办法去对比,,,对比方式是模糊匹配(比如说白名单是 www.baidu.com,域名原始格式可能是 https://www.baidu.com/wenku/123123123
    1 条回复    2022-01-10 21:30:22 +08:00
    Kinnice
        1
    Kinnice  
       2022-01-10 21:30:22 +08:00 via Android   ❤️ 1
    1. 解析 ip ,租用一些云服务器,1M 带宽即可,内网带宽一般是 100-1000M ,分布式解析
    2. 境内外直接有特别全的,例如
    https://ip.cn/chnroutes.html
    3. 原始格式处理先提取域名然后 hashmap
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5445 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 03:33 · PVG 11:33 · LAX 20:33 · JFK 23:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.