V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Kirikora
V2EX  ›  Python

有哪些常用的爬虫工具?

  •  
  •   Kirikora · 2017-12-28 08:44:27 +08:00 via Android · 5781 次点击
    这是一个创建于 2506 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比方说,有哪些好用的 http 抓包工具? chrome 的 f12 在遇到跳转的时候就会刷新了,不开心。

    25 条回复    2017-12-28 23:46:42 +08:00
    Akkuman
        1
    Akkuman  
       2017-12-28 08:45:20 +08:00 via Android
    。。你不会用 chrome 的调试,我只能这么说
    Akkuman
        2
    Akkuman  
       2017-12-28 08:45:47 +08:00 via Android
    有保留的选项
    lzhd24
        3
    lzhd24  
       2017-12-28 08:45:49 +08:00 via Android
    fiddler
    Kirikora
        4
    Kirikora  
    OP
       2017-12-28 08:47:21 +08:00 via Android
    @Akkuman 没。。没有找到,抱歉。用的还很不熟练
    nazor
        5
    nazor  
       2017-12-28 08:47:33 +08:00 via iPhone   ❤️ 1
    有个选项是 preserve log
    Kirikora
        6
    Kirikora  
    OP
       2017-12-28 08:47:40 +08:00 via Android
    @lzhd24 谢谢~
    Kirikora
        7
    Kirikora  
    OP
       2017-12-28 08:51:57 +08:00 via Android
    @nazor 谢谢~ 我竟然没有注意到。。(捂脸
    omph
        8
    omph  
       2017-12-28 08:52:19 +08:00
    Kirikora
        9
    Kirikora  
    OP
       2017-12-28 09:07:37 +08:00 via Android
    @omph 好。。好的 虽然我只是想知道一些好用的小工具而已
    anasplrt34
        10
    anasplrt34  
       2017-12-28 09:48:28 +08:00
    其实 chrome 的不如 firefox 好用 后者至少是彩色的 www
    RadishWind
        11
    RadishWind  
       2017-12-28 09:54:08 +08:00
    @nazor 谢谢
    alen
        12
    alen  
       2017-12-28 09:56:51 +08:00
    没点进来想到的是 scrapy,点进来看后想到了 fiddler、Wireshark ( 逃
    golmic
        13
    golmic  
       2017-12-28 09:58:06 +08:00
    楼上+1
    boneyao
        14
    boneyao  
       2017-12-28 10:03:12 +08:00   ❤️ 1
    chrome://net-internals/#events
    scriptB0y
        15
    scriptB0y  
       2017-12-28 10:03:37 +08:00   ❤️ 2
    再贴一下…… 推荐几个 https://www.kawabangga.com/posts/2365
    scriptB0y
        16
    scriptB0y  
       2017-12-28 10:04:02 +08:00
    @alen 工具 不是框架
    ivechan
        17
    ivechan  
       2017-12-28 10:12:41 +08:00
    @lzhd24 #3 之前不是叫 fiddler2 的吗? 怎么 2 没了?
    Kirikora
        18
    Kirikora  
    OP
       2017-12-28 10:20:12 +08:00 via Android
    @scriptB0y 对对对,我就想要知道这种工具,谢谢~
    rayjoy
        19
    rayjoy  
       2017-12-28 11:00:12 +08:00
    @scriptB0y 看了,不错,感谢推荐。
    Flobit
        20
    Flobit  
       2017-12-28 11:04:41 +08:00 via Android
    chrome 就够了,实在不行就 fiddler
    j717273419
        21
    j717273419  
       2017-12-28 15:10:32 +08:00


    我也是才知道原来 F12 里边有个选项'Preserve log'可以保留日志
    Ehco1996
        22
    Ehco1996  
       2017-12-28 16:07:08 +08:00
    厚脸皮的推荐一下自己的写的 lazyspider
    https://www.v2ex.com/t/416035
    luzihang
        23
    luzihang  
       2017-12-28 17:09:30 +08:00
    Charles
    Kirikora
        24
    Kirikora  
    OP
       2017-12-28 23:00:45 +08:00
    @Ehco1996 支持~
    ProkillerJ
        25
    ProkillerJ  
       2017-12-28 23:46:42 +08:00 via iPhone
    burpsuite,会不会有点大材小用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1017 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 21:58 · PVG 05:58 · LAX 13:58 · JFK 16:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.