V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
h1298841903
V2EX  ›  职场话题

想请教一下,大型公司(如: MT)内部的反爬虫部门,平时的工作内容是什么?

  •  
  •   h1298841903 · 1 天前 · 1415 次点击

    小公司也不会有此岗位,大公司(美团)一般是多少人的规模?反爬虫的技术感觉比较固定,没有业务需求吧?每年的 OKR 都是啥?

    13 条回复    2025-01-07 17:10:27 +08:00
    julyclyde
        1
    julyclyde  
       1 天前
    十几年前第一版是我和同事搞的
    俩人

    当然现在没当年那么简单了
    h1298841903
        2
    h1298841903  
    OP
       1 天前
    @julyclyde 这种工作,大领导们是不是不是很重视啊? 没啥收益的部门。
    julyclyde
        3
    julyclyde  
       1 天前
    @h1298841903 不知道现在具体情况怎么样
    但脱离具体情况来说,业务怎么发展确实是取决于领导人是否重视的
    (所以就有很多企业吃工程化水平太低的亏)
    julyclyde
        4
    julyclyde  
       1 天前
    @h1298841903 当年挺重视的
    因为当年美团的正经业务也就才几百 M 带宽,但是被抓数据也能达到这么高的带宽,浪费的占比过高,还给竞争对手喂料,亏大了
    coderluan
        5
    coderluan  
       1 天前
    在网上搜集针对自己的爬虫方案,顺藤摸瓜,然后报警一锅端。🐶
    NoobNoob030
        6
    NoobNoob030  
       1 天前
    我也好奇,安全部门都天天干啥,搞网安的技术要求高,岗位又相对少
    macaodoll
        7
    macaodoll  
       1 天前
    分析分析流量,日志,但凡有流量突然冒头的就想办法给堵上呗
    processzzp
        8
    processzzp  
       1 天前
    @NoobNoob030 没出事:要你们有啥用
    出事了:要你们有啥用
    fizzmst
        9
    fizzmst  
       1 天前 via iPhone
    来爬虫攻击了赶紧防控
    平时看看市场能不能买到自己的信息,
    和其他团队合作做做攻防测试
    看看市场爬虫价格
    xiaoriri666
        10
    xiaoriri666  
       1 天前
    爬虫目前还是很吃香的,搞风控策略
    i8086
        11
    i8086  
       1 天前
    通过爬虫技术、数据分析和商户沟通来应对竞争对手的低价策略。

    反爬用于保护平台的数据,防止恶意爬虫抓取价格信息。

    平台是抽佣,低价能吸引用户,平台也能赚到钱。

    以美团酒店来说~
    h1298841903
        12
    h1298841903  
    OP
       1 天前
    @macaodoll 美团这么大流量,混进去一些非法流量,也不太能观察出来吧
    nulIptr
        13
    nulIptr  
       1 天前
    @i8086 所以你们上班就是跟携程/飞猪的反爬虫部门打团?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1013 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 20:35 · PVG 04:35 · LAX 12:35 · JFK 15:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.