V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
bestehen
V2EX  ›  Python

Python 爬虫问题

  •  
  •   bestehen · 2018-06-19 17:34:26 +08:00 · 1472 次点击
    这是一个创建于 2110 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我有 7 个网站需要爬,但是每个网站抓的数据很少很少,这个 scrapy 里面是 7 个 spider 处理还是放在 start_urls 里面处理比较好
    3 条回复    2018-06-20 17:46:55 +08:00
    Leigg
        1
    Leigg  
       2018-06-19 22:48:42 +08:00
    网站结构差不多就在一个 spider 文件中完成,解析代码肯定是爬完一个又得改一下的,丢一个 start_urls 列表也没啥问题
    airhunter
        2
    airhunter  
       2018-06-20 10:53:36 +08:00
    怎么简单怎么做,目前来看丢 start_urls 比较简单
    beforeuwait
        3
    beforeuwait  
       2018-06-20 17:46:55 +08:00
    支持 1 楼
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2900 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:23 · PVG 19:23 · LAX 04:23 · JFK 07:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.