V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dowson521
V2EX  ›  Twitter

求推特爬虫(付费合作)

  •  
  •   dowson521 · 33 天前 · 3175 次点击
    这是一个创建于 33 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求:
    1. 抓取账号最新的推文,频率较高。例如输入账号 ID ,自动每 30 秒抓一次,不间断
    2. 目标账号较多,需要同时监控上万计的账号

    若有意向,可加微信联系合作:doingli
    24 条回复    2025-02-17 19:16:05 +08:00
    dgthyiolyjmyt2
        1
    dgthyiolyjmyt2  
       33 天前
    报个价吧先
    Ritter
        2
    Ritter  
       33 天前   ❤️ 1
    一眼打狗
    pinerge
        3
    pinerge  
       33 天前
    一堆开源吧
    Registering
        4
    Registering  
       33 天前
    现在 twitter 的 api 需要付费了吧
    krapnik
        5
    krapnik  
       33 天前
    BadReese
        6
    BadReese  
       33 天前
    有这么多 kol 要监测么
    raycool
        7
    raycool  
       33 天前
    土狗现在还好冲吗。
    SunsetShimmer
        8
    SunsetShimmer  
       33 天前   ❤️ 1
    kdwnil
        9
    kdwnil  
       33 天前 via Android
    几万可还行,有那么多要监控的账号吗
    zhangkai1024
        10
    zhangkai1024  
       33 天前
    @raycool 你们说的这个”狗“是什么意思啊? V 友们说话好难懂哦
    fizzmst
        11
    fizzmst  
       33 天前
    几万个账号,30s 抓一次,是不是只能用 twitter 的付费 api 最稳妥
    zhangkai1024
        12
    zhangkai1024  
       33 天前   ❤️ 5
    当网友评论 [土狗现在还好冲吗。] 和 [一眼打狗] 时,他们可能是在讨论以下内容:

    1. 加密货币( Meme 币)
    土狗:在加密货币社区中,“土狗”通常指一些低市值、高风险、甚至带有搞笑或 meme 性质的加密货币(如 Dogecoin 、Shiba Inu 等)。

    好冲吗:询问现在是否适合买入或投资这些加密货币。

    一眼打狗:可能是指一眼就能看出某个加密货币是“土狗币”(即高风险、低价值的币)。

    示例对话
    A:土狗现在还好冲吗?

    B:一眼打狗,别冲了,风险太大。
    mumbler
        13
    mumbler  
       33 天前   ❤️ 1
    yt-dlp 就能抓 X ,有视频还能顺便把视频下载了,写个脚本调用 yt-dlp 并行大量去处理就行了
    kdwnil
        14
    kdwnil  
       33 天前 via Android
    @fizzmst 想要求最稳的话,是。否则不需要,刮刀跑这点量很轻松
    amlee
        15
    amlee  
       33 天前 via Android
    @mumbler 这个不是下载视频的吗
    mumbler
        16
    mumbler  
       33 天前
    @amlee #15 是啊,如果 twitter 页面没有视频 yt-dlp 也会把内容用 json 返回回来,有视频会同时下载视频和 json ,不用自己去研究页面结构了
    wudi77
        18
    wudi77  
       33 天前
    你是什么部门的?
    Dolov
        19
    Dolov  
       33 天前
    这么大的量估计很快就封 ip 了,得用 openapi 了
    yuchen198
        20
    yuchen198  
       33 天前
    成本很高。还好 twitter 没有 facebook 那么严格
    willem1993
        21
    willem1993  
       33 天前
    30S 一次 不更新的博文也抓? 正常一个账号没必要 30S 一次的,间隔可以再长一点,账号太多的话要考虑推封 IP 的清空,除非有大量代理,从中找平衡点。要爬数据可以找我,哈哈哈
    vincentWdp
        22
    vincentWdp  
       33 天前
    Apify store 去搜吧, 一大堆付费的. 还能使用 apify 的 residential 设备
    linxb
        23
    linxb  
       33 天前
    打狗跟赌博有什么区别,都是在暴富跟归零之间疯狂试探
    jonty
        24
    jonty  
       33 天前
    @mumbler #13 这不是抓 youtube 的么,还能抓推特啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2102 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 00:54 · PVG 08:54 · LAX 17:54 · JFK 20:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.