V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  asuraa  ›  全部回复第 62 页 / 共 70 页
回复总数  1384
1 ... 54  55  56  57  58  59  60  61  62  63 ... 70  
2017-09-23 12:27:35 +08:00
回复了 dingzi 创建的主题 VPS 迫于生计 出域名 vps.mom
多少钱啊
2017-09-21 22:11:22 +08:00
回复了 PESH 创建的主题 云计算 今晚有新的 47.91 中标不~~8 点半 阿里云的
47.52 中招+1
2017-09-20 11:12:11 +08:00
回复了 wuhang89 创建的主题 问与答 你们阿里云香港的服务器稳定吗?
有时候挺稳定 有时候就不稳定,,
www.luodaoyi.com
2017-09-19 14:51:41 +08:00
回复了 fox0001 创建的主题 Android 有没有大电池的廉价 Android 机推荐?
我买的小米 max2 非常满意
2017-09-17 10:59:02 +08:00
回复了 zhou00 创建的主题 程序员 10 点准备入台小米 Pro-i7-16g 的,大伙怎么看
小米还是不错的!

-----------来自 2017 款 MacbookPro 顶配版
300 刀都还不起?当然是禁止入境啦!
2017-09-17 10:45:23 +08:00
回复了 symons 创建的主题 程序员 讨论帖, IDE 相较于 vim 有哪些优势
vs2017 企业版路过,盗版的,反正没掏钱。
2017-09-16 15:05:08 +08:00
回复了 ncepuzs 创建的主题 VPS 求推荐支持 IPv6 的香港 VPS
@ncepuzs 你用的什么系统? centos 还是 ubuntu 网上一大堆教程啊 我就是用的这个
2017-09-15 09:53:00 +08:00
回复了 shinwood 创建的主题 VPS Linode 现在的速度是不是全线阵亡了?
只要用电信的网络 就不行了
2017-09-15 09:37:28 +08:00
回复了 ncepuzs 创建的主题 VPS 求推荐支持 IPv6 的香港 VPS
香港阿里云
2017-09-14 14:28:55 +08:00
回复了 chenrui1979 创建的主题 程序员 寻找杭州公司合作人,要求是技术大牛。
差一个程序员系列
2017-09-05 05:44:21 +08:00
回复了 asuka321 创建的主题 程序员 发现微博图片可以链接找到发图的人
卧槽还有这种操作
2017-09-05 05:31:53 +08:00
回复了 asuraa 创建的主题 Python 求助 Python 异步多线程下载又拍云图片问题
说下最终解决方案吧
1. 使用 mq 替代自带的队列,这样也方便断点续传,还有个原因是其中一个 bucket 图片大约有 7T 而我们购买的硬盘单个只有 4T 又不能做磁盘阵列,所以需要两个同时下而且不重复,于是乎就改造成了分布式的了
2. 拆分生产者和消费者,其中获得目录的服务既是消费者又是生产者,目前按照 24 楼仁兄的几个细节建议,改进了代码另外加了多处的异常判断和处理,目前非常健壮和稳定

速度:单机跑 100 个线程 两台机器一起跑,不加延时大约每秒 400 张,但是带宽会爆满,然后 mq 会断掉,所以加了延时,每个线程每次下载后加了 0.05 秒的延时后 下载速度大约每秒 300 到 360 张浮动,带宽占用百分之 80 到 95 浮动。目前很稳定。。

感谢各位
2017-09-04 12:02:22 +08:00
回复了 asuraa 创建的主题 Python 求助 Python 异步多线程下载又拍云图片问题
@ysc3839 目前没卡死了 一台电脑因为队列太大内存爆了
@mert472114271 目前没有卡死了 一直在运行
2017-09-04 00:15:24 +08:00
回复了 asuraa 创建的主题 Python 求助 Python 异步多线程下载又拍云图片问题
@NoAnyLove 按您说的几点
1. ClientSession 已改为一个
2. session.get timeout=60
3. response 使用 async with 打开

目前再跑 明日看看会不会还卡死
2017-09-03 23:40:54 +08:00
回复了 asuraa 创建的主题 Python 求助 Python 异步多线程下载又拍云图片问题
@NoAnyLove 感谢 我都试试看 谢谢
1 ... 54  55  56  57  58  59  60  61  62  63 ... 70  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2426 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 02:47 · PVG 10:47 · LAX 19:47 · JFK 22:47
Developed with CodeLauncher
♥ Do have faith in what you're doing.