爬虫相关问题请教

[crazychang]

https://neris.csrc.gov.cn/falvfagui/

需求：全量下载这里的法律法规

问题： 1.爬这个应该不会进牢子吧 O.o?

2.下载正文时需输入验证码（打码平台？）

3.下载链接 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/rdqsHeader/downloadType?secFutrsLawId=4f4da16da393400cb7a2c9c5498423a0 该链接单次有效 如果要爬是不是需要搞清楚 secFutrsLawId 的生成方式？

提前感谢各位 dalao

[ospider]

一共才 3000 多条，让实习生手工点不得了

[fish267]

挑个简单的回答：
1. 公开数据，是可以获取的，但是要注意并发，爬挂了，就是你的锅了

[yumusb]

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/lawload

不都在这里嘛

[yumusb]

又看了一下 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={title}.(pdf|docx)

[SmartTom]

闲着没事写了个获取 downurl 的伪代码
```python
import requests
import json
data = {'pageNo':1,'lawType':1}
rep = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data)
json_data = rep.json()
total_num = json_data['pageUtil']['rowCount']
data1 = {'pageNo':1,'lawType':1,'pageSize':total_num}
rep1 = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data1)
json_data1 = rep1.json()
json_list = json_data1['pageUtil']['pageList']
down_urls = []
for i in json_list:
down_url = f'''https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={i['secFutrsLawName']}.pdf'''
down_urls.append(down_url)
down_urls
```

[hackerfans]

没必要下载，本来就可以显示全文，直接爬取全文文本，生成 PDF 或 WORD

[crazychang]

@yumusb 666 老哥

[crazychang]

@SmartTom 666 老哥 请教一下这个接口地址和 lawType 这个参数是在哪里看到的呀

[crazychang]

@ospider 我是说 有没有可能 我就是那个实习生

[PonysDad]

年轻人，大胆一点。就这点胆识，何时才能吃上公粮？

[SmartTom]

@crazychang #8 这个应该是业务层面定义的枚举吧 1 代表着“最新法规” 2 代表着"行政执法文书"，对应的就是上面 tab 切换的两个菜单内容。(个人猜测)

[SmartTom]

@crazychang #8 接口地址 F12 就能看到

[crazychang]

@SmartTom 我大概也能猜到 但是想知道 您是怎么知道这个参数 和这个接口地址 存在呢

[lzy250]

@crazychang 抓包。