Yingruoyuan 最近的时间轴更新
Yingruoyuan

Yingruoyuan

V2EX 第 214343 号会员,加入于 2017-02-10 09:08:50 +08:00
1 G 39 S 62 B
有没有方法对 windows 版微信接收到的图片自动进行批量处理
Python  •  Yingruoyuan  •  2017-10-10 15:27:42 PM  •  最后回复来自 Hzzone
10
scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
Python  •  Yingruoyuan  •  2017-07-04 16:09:46 PM  •  最后回复来自 Yingruoyuan
12
scrapy 下载图片到 4w 张左右总是会卡住
Python  •  Yingruoyuan  •  2017-06-08 12:52:23 PM  •  最后回复来自 noobpythoner
15
针对 ajax 的 post 请求,怎样转化为 Python 版?
Python  •  Yingruoyuan  •  2017-05-08 14:29:08 PM  •  最后回复来自 Yingruoyuan
2
Yingruoyuan 最近回复了
@thet,好的,了解,我重新看了下 prometheus 的使用文档,这些功能应该都可以通过在 exporter 中增加对应的 http 或者 api 的服务实现,不需要去改动源码,谢谢哈

@Qetesh,zabbix 我没有用过不太熟悉,说的不对还望指正哈,看了下文档和网上推荐的教程,好像 zabbix 在监控不同的数据库 driver 的时候需要不同的前端展示方案来配合,(比如 Oracle 用了 pyora,mysql 用的自带的 Template DB MySQL 模板,PostgreSQL 有用 libzbxpgsql 模板或者 pg_monz 模板的)有统一可以实现的方案吗?如果想扩展实现一些健康巡查的功能,可以通过他的 web 扩展那些模块实现吗?

@so1n,嗯嗯,我正打算先写些 http 的服务来实现功能模块,看下能否通过接入 exporter 来满足健康巡检的功能需求,谢谢哈


感谢各位的建议!
@thet ,如果想对 Prometheus 做二次开发,加些自己的功能进去,(比如对数据库做些健康巡查等)会比较容易实现吗?
2017-12-07 09:38:02 +08:00
回复了 nannanziyu 创建的主题 分享创造 Mac 开源工具 - 截图并通过在线 OCR API 识别文字
支持楼主,请问下楼主,我想弄个 python 版的练练手,但没有 swift 和 oc 基础,看懂你这个项目大概需要多久?
2017-10-10 15:06:40 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@NaVient,这个蛮有用的,我试下,谢谢!
@dreamcracker @bfbd @demen,谢谢
2017-10-10 10:08:42 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@zjsxwc 这是种方法,我等下试下
2017-10-10 10:07:53 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@dcty,我找了下这些目录下,没有对方发过来的图片,难道是手机端不能同时登陆的原因?
2017-07-04 16:09:46 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@rebeccaMyKid 谢谢,思路很有帮助;
只是我用的是 sqlarchemy 来插入到 mysql 里面,如果写入到文件里,在爬取结束之后我还是要导入到数据库的,所以在性能可以承受的情况下,直接导入可能会更省事些
2017-07-04 15:50:26 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@1130335361 @knightdf @seven2016,谢谢各位解惑!
我找到原因了,我的问题是因为我自己写的 sqlarchemy 的 models 模块和 scrapy 的 items.py 冲突了,pipelines 里面用 models 代替了 item,所以会出现混乱的无法找到指定的 pipeline 来进行对应操作;
解决方法是在 pipelines 中只保留一个 spider 对应一个 pipelines,这个 spider 的所有数据输出都经过这一个 pipeline 来处理,然后把各个 items 加入 pipelines.py 中,再利用 item.__class__做判断是哪一种 item 数据类型,来决定插入哪张表就可以解决了
2017-07-04 15:06:17 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@1130335361 有指定呢,在 settings.py 里面和 spider 的 custom_settings = { 'ITEM_PIPELINES':{}}里都指定了呢,但是输出数据的时候会只输出到了一张表里,比如商品信息和店铺信息都写在了商品表里面
2017-07-04 14:52:13 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@knightdf 我又 google 了一些资料,但是越看越迷糊了;
生成了 item 之后,yield 传递到 pipeline,在 pipelines.py 我定义了多个 class 来处理不同的数据,但我在 spider 里面获取到数据后该怎么让对应的 pipeline 来处理呢?
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3951 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 10:23 · PVG 18:23 · LAX 03:23 · JFK 06:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.