[python3] B 站用户数据收集...(重发)

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 1993 天前的主题，其中的信息可能已经有所发展或是发生改变。

前天发了一次贴，秒沉。果然还是在大众摸鱼日发合适一点。

写了一个爬虫，用于收集 B 站用户数据，算是学 python 的实践项目吧^_^

https://github.com/cwjokaka/bilibili_member_crawler
新手一个，应该还有 bug, 欢迎指出不足之处, 欢迎来 Star 欢迎(逃

第 1 条附言 · 2019-07-15 18:08:40 +08:00

欢迎提建议，打算业余时间会添加新特性(获取更丰富的数据、数据统计等)

欢迎

Python

Python3

收集

19 条回复 • 2019-07-16 08:26:24 +08:00

locoz

2019-07-15 09:59:35 +08:00

太惨了，帮你捞一下

cwjokaka

2019-07-15 10:23:23 +08:00

@locoz 感谢，我也自顶一下

Deteriorator

2019-07-15 10:29:08 +08:00

帮你捞一下

xwcs

2019-07-15 11:00:25 +08:00

帮你捞一下

i0error

2019-07-15 11:12:25 +08:00

捞一下

i0error

2019-07-15 11:13:51 +08:00

去看了一下，很基础啊......建议有数据了分析一波再发。

cwjokaka

2019-07-15 11:17:35 +08:00

@i0error 是的，目前只是爬取阶段，而且相关数据内容有些少

hzwjz

2019-07-15 11:41:42 +08:00

按理说，不应该是在原帖的基础之上，想办法么？重复发帖了吧

cwjokaka

2019-07-15 12:18:10 +08:00

@hzwjz 是可以，但前天发的贴沉到海底，应该上不来了←_←

SpiderXiantang

2019-07-15 12:53:23 +08:00 via Android

用 dfs 爬取的吗

cwjokaka

2019-07-15 14:01:35 +08:00

@SpiderXiantang 没有.只简单调下接口而已

hjq98765

2019-07-15 14:40:10 +08:00

捞一下，学习学习

lzj307077687

2019-07-15 14:50:10 +08:00

刚开始学 py 学习下~

cwjokaka

2019-07-15 15:56:45 +08:00

@hjq98765
@lzj307077687
共勉

cwjokaka

2019-07-15 17:16:52 +08:00

↑上去↑

cwjokaka

2019-07-15 18:05:45 +08:00

有哪里写的不足(bug)的地方可以说一说←_←(个人顶帖行为)

telnetning

2019-07-15 19:28:05 +08:00 via iPhone

楼主，是不是应该主动显示关闭下数据库连接

cwjokaka

2019-07-15 20:39:49 +08:00

@telnetning 是有这个问题，但我发现 worker 线程根本不用停下来。。。数据库连接也就不管了

cwjokaka

2019-07-16 08:26:24 +08:00 via Android

最后一顶