首页   注册   登录
 okface 最近的时间轴更新

okface

V2EX 第 27330 号会员,加入于 2012-09-27 23:19:52 +08:00
今日活跃度排名 17704
okface 最近回复了
7 天前
回复了 okface 创建的主题 酷工作 医疗 AI 独角兽招聘爬虫专家
@leoliu168 beijing~
17 天前
回复了 okface 创建的主题 酷工作 [社/校招] 计算机辅助药物设计研究员/专家
@yangzhaofeng 当然招~这里有很多中科大校友哦,欢迎来简历!
26 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 大多数爬虫种子都是几个入口站点嘛但是我这情况是百万千万级别的搜索词提交给翻译接口,所以才会有这个需求~
26 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗷。。那分布式的 pyspider 读取种子任务是不是最好从分布式机器都能访问的数据库里读啊,然后 scheduler 会自动去重。
27 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗨老哥,再问一个 pyspider 的问题哈~我在不同机器上搭建了分布式(只启动了 fetcher 和 processor 组件),然后在 webui 的机器上启动了 project,这个 project 的 on_start 是通过按行读取本服务器的一个文件获取任务的。问题在于可能会概率性报错说找不到该文件( no such file )。我推测出现这种报错只能解释为分布式的机器不是简单的 fetcher 而是也参与了 on_start 方法?
29 天前
回复了 Biwood 创建的主题 算法 自己想到的一个算法题
@binux 老哥,问个 pyspider 的问题哈,project 过多的时候加载任务是有上限的吗,为什么 on_start 方法里一个 150 万行的文件就读了 30 万行进去
55 天前
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 测试成功啦,(访问 httpbin 发现返回的是两个服务器的 IP 地址)
特别感谢。
55 天前
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 那请问如何验证 slave 的机器确实在抓 master 的任务呢~,slave 的 processor 的日志确实监听到了队列,master 的任务会收到返回一个字段说哪个任务是 slave 抓取的嘛。什么情况下才会触发 slave 呢,高并发?
55 天前
回复了 Gr4zy 创建的主题 问与答 m3u8 格式视频下载 请教一下各位
@binux 那请问如何验证 slave
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3858 人在线   最高记录 5043   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 12ms · UTC 06:58 · PVG 14:58 · LAX 23:58 · JFK 02:58
♥ Do have faith in what you're doing.
沪ICP备16043287号-1