话说现在网盘搜索站还有的玩吗?

[yxwzyyk]

撸了一个搜索网站

https://www.soohub.com/

请大家吐槽~~ ：）

[Vdaming]

一直挺好奇这种站点是怎么查到所有网盘分享数据的？

[yxwzyyk]

@Vdaming 依靠爬虫啊,爬出连接,然后提取数据

[Hydjan]

爬哪些网站？还是基于百度谷歌等搜索引擎？

[yxwzyyk]

@Hydjan 贴吧就是一个很大的来源,当然各种地方都会去爬爬

[chwhsen]

不错不错，收藏一个

[cdwyd]

尽量别弄了，就因为不小心抓到一个“办证”的分享链接，被喝茶还要做笔录，十指指纹，验是否吸毒。。。

解锁人生新成就了

[yxwzyyk]

@cdwyd 😂所以弄得有某些词的屏蔽

[yxwzyyk]

@cdwyd 话说你不会有体验过吧😂

[cdwyd]

@yxwzyyk 已经弄了 异形 + 繁体 你想不到的都有

[zturns]

居然备案了。。。

[yxwzyyk]

@cdwyd =_=怎么你这么一说,弄的我挺慌的呢

[yxwzyyk]

@zturns =_=没打算搞那些乱七八糟的啊

[cdwyd]

@yxwzyyk 我那时被抓了典型 一般情况是没事 哈哈

[yxwzyyk]

@cdwyd 兄弟,=_=可否详谈,怕怕的

[hoythan]

你们用什么做爬虫

[yxwzyyk]

@hoythan python java 都有

[cdwyd]

@yxwzyyk
该说的都差不多了，重点就是尽量不备案吧。

[yxwzyyk]

@cdwyd ...... 后悔了

[Verx0]

已加入書籤收藏

[guoliguozhi03]

果汁导航： http://guozhivip.com/nav/

了解一下，“资源·软件”模块里收录了各大网盘哦~

[yxwzyyk]

@guoliguozhi03 意思你打算把我这个放进去╮(╯▽╰)╭

[m319]

其实还有一种思路，就是像 WIFI 万能钥匙一样的收集用户自己找过的资源

Chrome 扩展商店里已经有一个云盘万能钥匙就是这么干的，因为是用户自己找的资源，所以内容质量好像还行

目前的状态是收费运营，但是费用也不贵(几块钱够用一年了)，感觉这种模式似乎可行，就是需要用户量

[yxwzyyk]

@m319 好像有点意思、我去研究一下

[skschema]

用了一下，对有连接符的搜索结果处理不太好，没有把包含多个关键词的结果显示到前面。这和一些网盘搜索有点类似。

[yxwzyyk]

@skschema 这个分词、短语的搜索权重还在调整中，慢慢会做一些改进

[skschema]

@yxwzyyk 期待你的努力。这两年这类网站不少，看起来有搞头。

[zealinux]

@yxwzyyk 网盘搜索靠什么来维持网站支出？

[paradoxs]

单独的百度网盘可用性太低了

建议改成磁力链接搜索 综合站 ，里面的结果包含百度网盘就行了。

[houzhimeng]

感觉搜出的东西还是少，有些内容都是老资源

[yxwzyyk]

@zealinux 有流量了在慢慢琢磨吧

[yxwzyyk]

@paradoxs 嗯后面会慢慢加入一些新东西

[yxwzyyk]

@houzhimeng 因为才开始,所以爬取的数据还不够多,爬虫表示他已经很努力了

[coffeemayor]

不是实时爬取的吗 资源都好老

[yxwzyyk]

@coffeemayor 😂有新有老吧,因为数据量还太低,所以目前还不挑剔资源上传时间,等丰富一点会提高新数据的权重

[zoola]

@cdwyd 什么办证？就是正常的办假证吗？？还是我理解出问题了

[yxwzyyk]

@zoola 应该泛指了很多敏感词吧,不该出现的东西

[cdwyd]

@zoola 就是 办证 QQ111222 这样

[zoola]

@cdwyd 天啦噜-- 这么敏感？ 那警察叔叔干嘛不直接加这个 QQ 抓这个坏银呢🤨

[MonsterTan]

在 github 上开源吗？表示想看看实现原理，或者能给说说看？

[cdwyd]

@zoola 可能他们那个月要完成的任务是抓几个网站有问题的而不是抓几个办证的。

[yxwzyyk]

@MonsterTan 并没有开源,这东西不是都那一套吗?python 写好规则爬取和提交,接着部署到各个地方,服务器负责数据过滤和整理,然后 es 进行搜索,几个定时任务负责定期扫描去掉失效链接

[Cosinex]

资源不可靠啊 点进去都是没有的

[yxwzyyk]

@Cosinex 有些新的很快就会失效,服务器有检查到就会删除

[qyt11411]

响应式页面看着不错支持一个,就是内容还太少.

[mon3]

你的 URL 用的对称加密生成的么？
相关资源那里用的 elasticsearch 还是用的 tag?

[yxwzyyk]

@mon3 URL 就是 uuid 了, 相关资源用的是 elasticsearch, tag 是我用来作为一种可拓展的分类手段

[allen2012]

感谢楼主，感觉这个盘搜网站不错，可以搜索到很多有用的资源，
还有热门资源推荐，就喜欢楼主这种实干派！！！

[syl9617016]

还不错，页面响应式
简单直接
还在虫部落有入口

[sarlanori]

这个跟直接用搜索引擎使用 site 搜索特定的网站有什么区别呢

[yxwzyyk]

@allen2012 哈哈喜欢就好

[yxwzyyk]

@syl9617016 😂要感谢虫部落

[yxwzyyk]

@sarlanori 这个怎么说呢,这个算定制搜索吧

[sarlanori]

@yxwzyyk 我开始以为是聚合搜索，这样会比较有用，同时搜索 N 个网盘，比单独一个个搜方便多了

[yxwzyyk]

@sarlanori 别的网盘也会有😂因为才开始所以还没来得及去爬取别的网盘的资源

[soho176]

@yxwzyyk 楼主 能开源，让俺学习一下吗

[yxwzyyk]

@soho176 哈哈你想学习啥,服务器? 爬虫? 全文查找?

[soho176]

爬虫 全文查找
@yxwzyyk

[yxwzyyk]

@soho176 😂爬虫是最乱的一块代码了不好意思给人看,全文查找这东西 elasticsearch 了解一下,中文分词加上拼音分词自定义词典以及繁体简体转换,基本就能做到了

[lqkweb]

www.81ad.cn 这个也可以搜索百度云资源，带密码的也可以搜索的