Scrapy 项目中有多个 spider ,某些 spider 在处理 response 的时候会出现异常(如 xpath 解析后得到空的 list ,这时去 list[n]的时候就会抛 Indexerror ),有没有什么办法可以统一管理这些异常? 自己写 SpiderMiddleware , spider 抛出异常的时候 process_spider_exception 方法并没有被触发...... 求建议~
1
zhuangzhuang1988 2016 年 11 月 4 日
pycharm 调试下流程就好了.
|
2
knightdf 2016 年 11 月 4 日
scrapy,直接看源码的,很清楚的
|
3
1130335361 2016 年 12 月 2 日
|
4
mudy 2019 年 4 月 11 日
请问你找到解决办法了吗?谢谢!!!
|