V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
360safe
V2EX  ›  Python

请问 scrapy 出现 failure 的时候,如何执行 close_spider

  •  
  •   360safe · 2018-01-25 23:18:45 +08:00 · 4133 次点击
    这是一个创建于 2254 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近用 scrapy,因为网站限制,经常抓到一定数量的时候出现:

    2018-01-25 23:12:42 [scrapy.core.scraper] ERROR: Error downloading <GET https://XXX.com/id=139988706>;: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]


    IP 被限制了,这时 scrapy 会继续的去尝试抓取剩下的页面,耗费时间
    我是想如果发现这种情况,就主动发起 close_spider,结束抓取。
    请问大婶们,该在哪里进行配置?

    yield scrapy.Request(url,self.parse_item) ——这里可以吗?如何配置?
    7 条回复    2018-01-27 08:29:23 +08:00
    zhijiansha
        1
    zhijiansha  
       2018-01-25 23:24:29 +08:00 via iPhone
    关注
    rabbbit
        2
    rabbbit  
       2018-01-25 23:28:07 +08:00
    raise CloseSpider()
    ChenJinluo
        3
    ChenJinluo  
       2018-01-26 00:31:16 +08:00   ❤️ 1
    scrapy.Request()有个参数 errback。比如 scrapy.Request(self.url, self.parse, errback=self.handle_error, dont_filter=True) ,当出现错误时就会调用 handle_error()这个函数,在里面关爬虫就可以了。 具体用法可以去官方文档看 Requests and Responses 一节,也可以通过搜索框搜索 errback。
    cz5424
        4
    cz5424  
       2018-01-26 01:01:36 +08:00 via Android
    同意楼上,也可以加一个中间件结束
    toono
        6
    toono  
       2018-01-26 08:40:54 +08:00
    赞同 5 楼的积极解决问题的方案
    360safe
        7
    360safe  
    OP
       2018-01-27 08:29:23 +08:00
    收到,谢谢大家。
    通过大家的回复,我学习到了,自己对 scrapy 的了解仅仅是点,应该好好学习官方文档形成一个大的知识面。

    5 楼的方案之前用过,因为价格原因,大大超出了预算。(我要抓取的数据是千万级反复过滤)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5957 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 02:08 · PVG 10:08 · LAX 19:08 · JFK 22:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.