V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Austin2035
V2EX  ›  分享创造

迫于很多人问,放出「the.top」各大网站热门资讯 API

  •  
  •   Austin2035 ·
    ausitn2035 · 2020-08-06 21:28:53 +08:00 · 4693 次点击
    这是一个创建于 1330 天前的主题,其中的信息可能已经有所发展或是发生改变。

    拓扑排行榜 https://the.top

    本来我只是随便玩玩,没想到后来不断改进成了现在这个样子。

    刚开始的时候就几个节点,后来慢慢增加到了现在大约快 200 个节点,爬虫代码也写了一千行(不算调度与杂项), 这些节点根据多方面考量,大致分为 五分钟、一刻钟、一个小时、三个小时、六个小时、十二个小时、二十四个小时等不同的定时爬取等级。

    为什么放出 api ?

    有利益考量,也有发电情怀。

    1. 有不少人需要,一些导航网站或者自己博客,甚至是自己练手写着玩。再写一些爬虫,学习成本高。
    2. 激励自己维护节点,由于这些节点都是我一个人写的,所有导致一些节点出现了问题不能及时发现,希望各位在使用过程中能够及时的将问题反馈到群中。
    3. 提高知名度, 希望使用者在使用的过程中挂上友情链接,或者注明来源。
    4. 节省服务器带宽,已经有一部分人开始直接爬取 the.top ,不如直接放出 api 。

    如何使用 API ?

    1. 查询所有节点相关信息
      节点分为大节点和小节点,拿知乎来举例子,知乎是个大节点,知乎子板块比如全站热搜、科学板块热搜、运动板块热搜,这些就是小节点。
      API 地址: https://the.top/nodes
      如下图:
    2. 根据节点取信息
      假如你想取知乎 最热门的讨论: API 地址: https://the.top/v1/节点名称 /第几页 /每页多少数据
      那你就该访问: https://the.top/v1/zhihu_total/1/20
      返回如下格式数据:
      其中 pages 就是 总页面数,count 就是你获取的条数,data 里面的每一个成员都是一条新闻,包含了标题、链接、热度等信息。

    知乎实时热搜数据大约 50 条,如果你取每页 50 条数据,那么返回的 pages 就会为 1

    关于稳定性:

    自己写的爬虫,还算挺稳定的,除了个别偷懒的节点,主流节点自从我写完以后基本没有出过问题。

    使用交流及反馈交流群:

    QQ 群:114177
    如果你有好的节点分享, 我也会考虑写一个对应的爬虫。 谢谢。

    28 条回复    2020-09-17 10:31:29 +08:00
    Tink
        1
    Tink  
       2020-08-06 21:40:56 +08:00 via Android   ❤️ 1
    好人
    Austin2035
        2
    Austin2035  
    OP
       2020-08-06 21:42:11 +08:00
    xdm,别光收藏,不如来评论一下
    ansonsiva
        3
    ansonsiva  
       2020-08-06 22:01:38 +08:00   ❤️ 1
    收藏了
    xJogger
        4
    xJogger  
       2020-08-06 22:07:46 +08:00
    很不错,改天试试用 Scrapy 爬取一下。
    Austin2035
        5
    Austin2035  
    OP
       2020-08-06 22:10:25 +08:00
    @xJogger xd,api 给你们就是不想让你们爬😂
    qilishasha
        6
    qilishasha  
       2020-08-06 22:17:54 +08:00 via iPhone   ❤️ 1
    API 是啥?这是否定我们写爬虫的能力吗?
    HereApp
        7
    HereApp  
       2020-08-06 22:38:45 +08:00   ❤️ 1
    必须收藏,有 API 了我就能写 here.app 的插件咯,Nice~
    lloovve
        8
    lloovve  
       2020-08-06 22:44:11 +08:00 via iPhone
    群号牛逼啊
    Austin2035
        9
    Austin2035  
    OP
       2020-08-06 22:45:43 +08:00
    @qilishasha 数你皮😂
    @HereApp 搞起来,稳定提供
    revalue
        10
    revalue  
       2020-08-06 22:46:17 +08:00
    时间真多
    revalue
        11
    revalue  
       2020-08-06 22:46:55 +08:00   ❤️ 1
    多谢老哥
    HereApp
        12
    HereApp  
       2020-08-06 22:51:52 +08:00
    请问 综合 新闻 科技 财经 社区 汽车 购物 阅读 影音 首页这一排的 API 是什么?
    Austin2035
        13
    Austin2035  
    OP
       2020-08-07 07:42:37 +08:00
    @HereApp 这些都是大节点中最重要的一个子节点,群内讨论吧。
    kingddc314
        14
    kingddc314  
       2020-08-07 10:30:14 +08:00   ❤️ 1
    赞一个
    fenglangjuxu
        15
    fenglangjuxu  
       2020-08-07 11:40:03 +08:00   ❤️ 1
    域名 和内容 十分契合
    炫目好的域名+好的内容 的组合体
    yanzhiling2001
        16
    yanzhiling2001  
       2020-08-07 13:41:55 +08:00   ❤️ 1
    好人一生平安
    luhe
        17
    luhe  
       2020-08-07 15:02:01 +08:00   ❤️ 1
    666
    wukong1024
        18
    wukong1024  
       2020-08-07 17:25:35 +08:00
    好人一生平安
    sadghgfsf542332
        19
    sadghgfsf542332  
       2020-08-08 11:14:15 +08:00   ❤️ 1
    这个站要火!
    bulaocai5
        20
    bulaocai5  
       2020-08-08 11:31:12 +08:00
    谢谢 分享 已经收藏了
    hrbwaxdoll
        21
    hrbwaxdoll  
       2020-08-10 14:25:32 +08:00
    @lookcos 加个微信呗,有合作需求 waxdoll
    justin2018
        22
    justin2018  
       2020-08-11 10:08:56 +08:00
    很不错,改天试试用 Scrapy 爬取一下 😁
    janda
        23
    janda  
       2020-08-12 11:36:02 +08:00
    好东西、收藏了
    jaylee4869
        24
    jaylee4869  
       2020-08-13 16:32:18 +08:00
    伸手党:想要一个命令行客户端。
    tonfy
        25
    tonfy  
       2020-08-17 17:42:49 +08:00
    好东西,收藏了
    touno
        26
    touno  
       2020-08-18 15:36:45 +08:00
    弱弱的问一句~这侵权违法吗?
    huruji
        27
    huruji  
       2020-08-20 12:57:43 +08:00
    收藏
    yigemeirenyongde
        28
    yigemeirenyongde  
       2020-09-17 10:31:29 +08:00
    好人一生平安
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1063 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:13 · PVG 03:13 · LAX 12:13 · JFK 15:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.