V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
altboy
V2EX  ›  Python

各位爬师看过来

  •  1
     
  •   altboy · 2017-09-01 10:40:19 +08:00 · 3046 次点击
    这是一个创建于 2401 天前的主题,其中的信息可能已经有所发展或是发生改变。
    爬取图片的时候,下载下来全都是一样的网站广告图片,应该是做了防盗链了,怎么解决呢?
    17 条回复    2017-09-02 11:17:09 +08:00
    stop9125
        1
    stop9125  
       2017-09-01 11:18:11 +08:00 via iPhone
    其实看到这个标题心里一抖,啥叫爬师。
    topbandit
        2
    topbandit  
       2017-09-01 11:23:22 +08:00
    伪装啊,找漏洞啊什么的
    est
        3
    est  
       2017-09-01 11:23:51 +08:00
    再请一个专门爬图片的爬师
    Phariel
        4
    Phariel  
       2017-09-01 11:30:38 +08:00
    我第一反应,绝命爬师
    altboy
        5
    altboy  
    OP
       2017-09-01 11:32:18 +08:00
    @stop9125 哈哈,标题党,不然你们不来啊
    altboy
        6
    altboy  
    OP
       2017-09-01 11:32:46 +08:00
    @topbandit 伪装浏览器操作是么? selenium 那东西?
    altboy
        7
    altboy  
    OP
       2017-09-01 11:33:13 +08:00
    @est 那就是爬师爷了。。。
    ooh
        8
    ooh  
       2017-09-01 11:36:16 +08:00 via Android
    上次我听到这种叫法是 码师。
    hololens
        9
    hololens  
       2017-09-01 11:40:28 +08:00
    python 不是应该叫代码的地下情报员么。
    Itoktsnhc
        10
    Itoktsnhc  
       2017-09-01 11:42:07 +08:00
    可以尝试改下请求头的 referrer 模拟下浏览器内部的请求
    altboy
        11
    altboy  
    OP
       2017-09-01 11:49:18 +08:00   ❤️ 2
    @all 各位,找到解决方案了,那网站的做法是每次请求的时候需要带一个随机字符串( UUID ),在这我顺便给你们推荐两个网站吧,一个白天看的 http://www.tuicool.com/a/,增长知识,一个晚上看的 http://www.mmjpg.com ,增长姿势
    topbandit
        12
    topbandit  
       2017-09-01 11:56:33 +08:00
    伪装,就是模拟用户、浏览器等
    pyufftj
        13
    pyufftj  
       2017-09-01 12:10:04 +08:00
    哪有爬师,只有爬畜
    jingniao
        14
    jingniao  
       2017-09-01 12:45:00 +08:00 via Android
    不是虫师么?
    Sanko
        15
    Sanko  
       2017-09-01 13:05:44 +08:00 via Android
    吓了一大跳
    uyinn
        16
    uyinn  
       2017-09-01 21:43:15 +08:00
    @altboy #11 你说的带 UUID 的网站是哪一个? 是怎么发现的呢?麻烦说一下
    OpenJerry
        17
    OpenJerry  
       2017-09-02 11:17:09 +08:00
    @altboy mark 晚上回去爬第二个网站
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2874 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:48 · PVG 21:48 · LAX 06:48 · JFK 09:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.