V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
yongsan01
V2EX  ›  Python

关于网页版闲鱼(爬虫相关)

  •  
  •   yongsan01 · 2019-07-18 17:47:46 +08:00 via iPhone · 9172 次点击
    这是一个创建于 1939 天前的主题,其中的信息可能已经有所发展或是发生改变。

    访问网页版闲鱼,遇到一些问题

    比如搜索关键字“手机”:

    https://s.2.taobao.com/list/?_input_charset=utf8&q=%E6%89%8B%E6%9C%BA

    1.进去以后发现 点任何跳转链接的按钮(点击按价格排序、按价格范围搜索)都会自动跳到这里:

    https://www.taobao.com/markets/bx/deny_pc

    显示内容

    亲,访问被拒绝
    
    可能因为:
    
    请检查是否使用了代理软件或 VPN 哦~
    

    问题是没用代理,所以有点困惑,是我的 IP 被限制了吗?

    2.下拉到底部加载更多时,一直在转“加载中,请稍候”

    抓了一下包,发现发出加载请求后得到的 json 是空的

    https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=2&_ksTS=1563442743757_129&callback=jsonp130&stype=1&st_trust=1&q=%CA%D6%BB%FA&ist=1

    响应:

    jsonp130({
        "numFound": 0,	
        "currPage": 0,	
        "totalPage": 0,	
        "ershouCount": 0,	
        "idleCount": 0,	
        "ershou":[		],
        "idle":[		]
    })
    

    是我的方式哪里错了吗?

    13 条回复    2019-08-12 11:28:46 +08:00
    siknet
        1
    siknet  
       2019-07-18 17:51:10 +08:00 via Android
    URL 不对,自己构造就行了
    JmmBite
        2
    JmmBite  
       2019-07-18 17:53:09 +08:00
    app 抓包。
    HuberyPang
        3
    HuberyPang  
       2019-07-18 18:31:12 +08:00
    网页版没找到搜索入口呀 这个要抓 app 端吧
    yongsan01
        4
    yongsan01  
    OP
       2019-07-18 19:48:52 +08:00
    @HuberyPang 直接在地址栏传的参数
    yongsan01
        5
    yongsan01  
    OP
       2019-07-18 19:49:08 +08:00
    @JmmBite 好吧 闲鱼现在只能抓 app 端了吗
    spark
        6
    spark  
       2019-07-19 00:44:58 +08:00
    闲鱼很早就把网页搜索入口给关了啊
    mawerss1
        7
    mawerss1  
       2019-07-19 11:19:59 +08:00
    http://www.xianyusoso.com/ 代码一看便知
    mingyangliang
        8
    mingyangliang  
       2019-07-22 10:46:53 +08:00
    兄弟,问题解决了吗?
    我现在也遇到了这样的问题
    llll
        9
    llll  
       2019-07-24 11:27:26 +08:00
    @mawerss1 该网站已挂
    joson1205
        10
    joson1205  
       2019-07-30 17:16:58 +08:00
    抓包看下就知道,也可以用代理重新请求看下返回是不是一样的
    win7pro
        11
    win7pro  
       2019-08-05 18:19:06 +08:00
    我看黑碟软件的闲鱼监控助手,他的日志内会有“生成 token ”这样一条,每查一次关键字会生成 token 一次,不知道走的什么接口。
    sczan1101
        12
    sczan1101  
       2019-08-11 21:00:55 +08:00
    这个月一号彻底把网页搜索关了
    iamdaguduizhang
        13
    iamdaguduizhang  
       2019-08-12 11:28:46 +08:00
    网页搜索看来是没有了,我尝试了 App,抓包发现有加密参数,那就只能逆向了吗?可有老哥有其他的办法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1068 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:25 · PVG 03:25 · LAX 11:25 · JFK 14:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.