第一次玩爬虫有点上瘾啊，写了个百度云资源搜索。。

玩爬虫

上瘾

百度

搜索

77 条回复 • 2017-08-25 18:38:06 +08:00

1

hizoubin

2017-07-25 22:45:18 +08:00

感觉搜索效果不如 biliworld

2

yuedingwangji

2017-07-26 00:38:32 +08:00

好像还蛮不错的

3

LINAICAI

2017-07-26 01:07:32 +08:00

牛逼

4

asheshorse

2017-07-26 06:18:34 +08:00 via Android

不算全，不过还不错

5

WildCat

2017-07-26 06:36:24 +08:00 via iPhone

666
不过很想知道爬虫原理

6

shenyangno1

2017-07-26 07:29:18 +08:00 via iPhone

搜索条件中包含:和 /会报 500 错。

7

ericbize

2017-07-26 08:33:15 +08:00

专业的爬虫公司被你爬了

8

feifan00x

2017-07-26 08:44:46 +08:00

好像真的很好玩

9

a494836960

2017-07-26 09:25:44 +08:00

爬种子很好用

10

default7

2017-07-26 09:37:41 +08:00

怎么弄的？

11

Qiss

2017-07-26 09:40:32 +08:00

速度好快啊，大神用的哪家服务器？

12

believeitcould

2017-07-26 09:55:04 +08:00

匹配模式可以选吗搜出来的信息太多了想完全匹配

13

Dvel

2017-07-26 09:59:50 +08:00

速度贼快

14

1O

2017-07-26 10:01:32 +08:00

http://wiseso.cc/search?keyword=

15

frankkai

2017-07-26 10:03:12 +08:00

可以可以，很强

16

jimyan

2017-07-26 10:04:23 +08:00

牛逼

17

Hellofxq

2017-07-26 10:05:20 +08:00

看起来很好玩的样子，我也想学

18

huangzitao

OP

2017-07-26 10:18:07 +08:00

@asheshorse 目前只爬了 400w
@ericbize 爬虫是不太阳光，不过确实刺激
@Qiss 阿里的
@believeitcould 以后开发把

19

nazor

2017-07-26 10:19:34 +08:00 via iPhone

能不能采集有没有那种带密码的资源。

20

ericbize

2017-07-26 10:21:49 +08:00

@huangzitao 凭自己本事浏览的网页，没什么不阳光的，有本事你 block 了 python requests 的 UA 啊。

21

beyoung

2017-07-26 10:30:40 +08:00

各种链接不存在

22

mahone3297

2017-07-26 10:32:41 +08:00

原理是？

23

guodong110

2017-07-26 11:53:29 +08:00 via Android

http://www.fastsoso.cn 有失效检测

24

NAO

2017-07-26 12:00:41 +08:00

同想完全匹配

25

upczww

2017-07-26 12:05:49 +08:00 via iPhone

原理 site:pan.baidu.com

26

ikeeper

2017-07-26 13:07:49 +08:00

厉害了，求指导

27

cenyu

2017-07-26 13:26:02 +08:00

很厉害，赞一个

28

gao117348222

2017-07-26 14:09:22 +08:00

收藏了

29

suliuyes

2017-07-26 15:08:43 +08:00

楼上都是才上互联网吗，为什么都觉得厉害？网盘搜索有很多了啊。百度“网盘搜索”看看有多少。 #25 @upczww 也说了原理了。

30

binfengxy

2017-07-26 15:22:14 +08:00

@suliuyes site:pan.baidu.com 应该不是这个吧，我试了下 bd 没有啥显示

31

xmh51

2017-07-26 15:40:00 +08:00

@huangzitao 现在还能爬吗？百度不在主页显示分享文件后？

32

suliuyes

2017-07-26 16:08:36 +08:00

@binfengxy 百度自己屏蔽了。PS，比如抓粉丝列表也可

33

Adamla

2017-07-26 17:01:19 +08:00

为啥我搜索“拳皇”就会出现错误页面呢。

34

sola97

2017-07-26 17:06:00 +08:00

我平时用的胖次搜索，带失效检测，也能搜到不可告人的东西

35

Zioyi

2017-07-26 17:06:42 +08:00

楼主后台用什么写的

36

aksoft

2017-07-26 17:20:07 +08:00

@sola97 给个地址，让我去检查不可告人的东西

37

iphantom

2017-07-26 17:31:34 +08:00

这个速度很赞结果也很棒

38

iShawnWang

2017-07-26 17:46:42 +08:00 via iPhone

1

可以讲解下远离或者开源么... 希望能学习下代码...

39

Antidictator

2017-07-26 17:47:55 +08:00 via Android

借楼问谷歌用 site 语法没什么效果。是不是被屏蔽啦。
再借楼问原理😂😂

40

Antidictator

2017-07-26 17:49:17 +08:00 via Android

@upczww 经常在 Google 用这个语法，但是效果还不如一些类似楼主做的站呢

41

upczww

2017-07-26 17:52:13 +08:00

@Antidictator 那是别人做了二次整理的，分好类的

42

huangzitao

OP

2017-07-26 18:09:10 +08:00

@xmh51 百度网盘前几天被人差评，现在封了很多，所以你懂得
@Adamla 用的第三方中文分词器，后台看了下，有 bug
@Zioyi springboot 跟 lucene
@iShawnWang 这个也没什么难度啊，无非是爬文件分享链接。

43

66kanfengjing

2017-07-26 18:36:07 +08:00

搜索*会报 500O(∩_∩)O 哈！以前做 lucene 的时候就忘了考虑通配符的问题

44

huangzitao

OP

2017-07-26 19:01:14 +08:00

@66kanfengjing 什么都不写也 500 O(∩_∩)O 这程序不够健壮啊

45

66kanfengjing

2017-07-26 19:12:32 +08:00

@huangzitao 我用 Lucene （ Version:3.5 ）的时候用的 IK(Version:2012FF)分词器，目前还没有遇到分词器的 bug.

46

Zioyi

2017-07-26 19:32:55 +08:00

大佬你是怎么爬下来的？百度云盘有 api ？

47

huangzitao

OP

2017-07-26 19:55:56 +08:00

@66kanfengjing 👌，下次还是用低版本的算了，唉 ik 都不更新了
@Zioyi 这个要分析啊，只要能看到的，公开的，都能爬

48

zyowe

2017-07-27 10:26:57 +08:00

1

http://wiseso.cc/search?keyword=%E7%A7%81%E6%88%BF
第一条有亮点

49

NullException

2017-07-27 10:55:10 +08:00

666

50

hienchu

2017-07-27 13:41:45 +08:00 via iPhone

不错

51

sumuu

2017-07-27 14:06:59 +08:00

@zyowe

哈哈~~~牛逼.

52

WEAlex

2017-07-27 15:27:10 +08:00

有源码可以分享一下吗?最近刚把 springboot 和 docker 学习了.

53

gao117348222

2017-07-27 16:12:06 +08:00

@zyowe 稳

54

smartdie

2017-07-28 09:24:34 +08:00

可以啊，这个引擎的速度非常可观。希望能分享下实现方式或者源码。

55

huangzitao

OP

2017-07-28 11:06:31 +08:00

@WEAlex
@smartdie 源码都没注释啊，也没什么技术含量哈，主要是在本地建好索引在上传到服务器的，建索引特耗内存而且 gc 一时半会不释放

56

Hugh123

2017-07-28 17:28:59 +08:00

需要 66666666

57

Dwyanetalk

2017-07-28 18:51:43 +08:00

贤者，我对这个名字来源感兴趣

58

huangzitao

OP

2017-07-28 20:52:49 +08:00

@Dwyanetalk 哈哈我朋友想的，感觉屌爆了

59

propc

2017-07-29 07:16:22 +08:00 via Android

不错不错

60

mooncakejs

2017-07-29 20:04:42 +08:00

@ericbize 偷偷爬不查你也就算了，show 出来就不行了，殊不知有 robots 协议。

61

syl371

2017-07-29 21:22:20 +08:00

我还是觉得 www.biliworld.com 好用一点

62

1002149271

2017-07-30 15:06:38 +08:00

写这个会不会被抓？

63

wanglaihuai

2017-07-31 01:16:07 +08:00 via Android

如果加上个按照时间排序就更好了大神。

64

wilonti

2017-07-31 10:47:09 +08:00

但是我不知道用啥关键词搜...尴尬了

65

yuanfnadi

2017-08-03 23:54:39 +08:00

@huangzitao https://github.com/chuangxian/IKAnalyzer
基于 6.5 的分词器

66

huangzitao

OP

2017-08-04 07:46:41 +08:00 via Android

@yuanfnadi 好👌

67

jedihy

2017-08-08 00:41:40 +08:00 via iPhone

爬 115 吧

68

omg21

2017-08-08 14:15:23 +08:00

你是不是也建了一个数据库，把爬到的内容存进去，然后别人在你主页上搜的时候，再数据库里读取？

69

aifang

2017-08-08 17:15:54 +08:00

感觉好牛逼的样子，肯定比我牛逼，😁

70

huangzitao

OP

2017-08-09 23:33:47 +08:00 via Android

@jedihy 好的😄有时间去爬。
@omg21 嗯是的
@aifang 哈哈，耐心做其实不难

71

weilongs

2017-08-11 10:25:20 +08:00

上面那个搜私房不过瘾，http://wiseso.cc/search?keyword=DCIM

72

aosp

2017-08-11 13:43:28 +08:00

我也很好奇，现在只能抓分享动态了吗？那不是得关注很多人

73

mon3

2017-08-15 13:58:20 +08:00

@huangzitao 分享列表已经关闭了，你现在是咋爬的百度云？

74

YoungBai

2017-08-15 16:44:44 +08:00

@weilongs 好骚的操作.果然一堆私房.

75

weilongs

2017-08-16 21:19:00 +08:00

@YoungBai http://www.fastsoso.cn/search 这个搜私房,DCIM,我的照片,照片过瘾 !!

76

sunnyzhi

2017-08-25 15:48:59 +08:00

还不错，谢谢

77

huangzitao

OP

2017-08-25 18:38:06 +08:00 via Android

@sunnyzhi 老哥，不用客气