最近公司要求爬下 http://www.kuajingjishi.com/Purchase/SearchPurchase#pageIndex=10 页面的采购信息,本以为会是比较简单的事情,结果每次爬下来都是第一页的内容
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.kuajingjishi.com/Purchase/SearchPurchase#pageIndex=2')
result = driver.find_element_by_tag_name('table')
print(result.get_attribute('innerHTML'))
求助求助~
1
aploium 2017-02-26 22:02:57 +08:00
```python
import requests data = { 'X-Requested-With': 'XMLHttpRequest' } for i in range(1,10): url='http://www.kuajingjishi.com/Purchase/SearchPurchase?pageIndex={page}'.format(page=i) r=requests.post(url, data=data) print(r.text) ``` |
2
aploium 2017-02-26 22:17:25 +08:00
它是用 ajax 加载的, 浏览器里用 F12, 选 network 那个 tab, 手动点一下那几个页面, 能看到它发出去的请求, 然后自己一模一样发好了
这个站还没对请求进行验证......orz 至于为什么 selenium 弄不到......天知道:) tips: 在请求上右键->copy->copy as cURL 然后在这个网站能直接转换为 requests 格式 https://curl.trillworks.com/ |
5
MyFaith 2017-02-27 08:38:03 +08:00
pageIndex:9
POST 的时候把这个参数加上就好了,只是一个 AJAX 加载 |
6
cranelee13 2017-02-27 10:32:01 +08:00
python 爬虫只有到完全没办法,反爬实在厉害才用 selenium + phantomjs ,绝大多数情况用 requests 应付就行。
|