V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qsnow6  ›  全部回复第 85 页 / 共 86 页
回复总数  1713
1 ... 77  78  79  80  81  82  83  84  85  86  
2017-04-24 19:56:17 +08:00
回复了 URL2io 创建的主题 分享创造 URL2io — 提供简单、强大的网页正文提取服务
可以直接给爬虫用么?担心会不会爬挂了
喜大普奔
非常好用!
作者的 Issues 回复的也很快
2017-03-31 11:58:12 +08:00
回复了 qsnow6 创建的主题 Python 怎么在 pycharm 里编写 pyspider 的代码
2017-02-27 15:36:28 +08:00
回复了 qsnow6 创建的主题 Python Python 有没有生成 form-data 的模块
解决了,上面这个是 requests 的方法
2017-02-27 15:35:58 +08:00
回复了 qsnow6 创建的主题 Python Python 有没有生成 form-data 的模块
from requests.models import encode_multipart_formdata
2017-02-21 20:23:27 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
@forrestchang 函数返回的是值,调用 self.user_agent 是不会变的,嘻嘻,刚开始我也没转过来
2017-02-21 19:47:58 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
好了,再套一个类上去就搞定了


class MyFun(object):

def __repr__(self):

from fake_useragent import UserAgent
ua = UserAgent()
return ua.random

f = MyFun()
2017-02-21 19:34:46 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
看了下原来的 ua.random 的实现就是通过 __getattr__ 来实现的
2017-02-21 19:34:03 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
@Allianzcortex
是这样,这个类是一个库里随机生成 UserAgent 的方法 ;
我有一个爬虫,代码里面的变量是写好的,比如 self.user_agent
爬虫每次请求都会把 self.user_agent 作为自己的 useragent

所以我就想直接让 self.user_agent 每次都引用 ua.random

但是,发现是直接传的值过去,每次生成的内容是一样的。。
2017-02-21 19:06:27 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
@binux 在不修改他原来的类的情况下,有没有办法引用他这个 f.random
2017-02-21 18:54:05 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
@cheetah 应该怎么传
2017-02-21 18:53:06 +08:00
回复了 qsnow6 创建的主题 Python Python 的传址和传值疑问
@cheetah 对啊~~`
2017-02-21 16:56:12 +08:00
回复了 scriptkid 创建的主题 Python Python web 的一个问题,描述较长,具体看正文
webui 和扫描脚本都单独用一个进程
2017-02-21 15:57:55 +08:00
回复了 qsnow6 创建的主题 Python 怎样更优雅的过滤 HTML 标签?
@BiggerLonger 这个好!!!
现在就是在用 scrapy 写爬虫

这样就解决了!!

````
remove_tags(text, keep=('img'))
````
2017-02-21 15:29:17 +08:00
回复了 qsnow6 创建的主题 Python 怎样更优雅的过滤 HTML 标签?
@SourceMan 想看有没有现成的,造轮子水平不高。。
2017-02-20 23:43:00 +08:00
回复了 tini21 创建的主题 Python 试了下 pyspider,方向走偏了
@binux 这个 webdav 和 pycharm 交互有没有详细点的配置步骤?
2017-02-20 23:31:48 +08:00
回复了 kslr 创建的主题 问与答 Pyspider 中的自定义 result 究竟该如何使用,我一直无法触发成功
@binux thx ,我说怎么一直不生效,原来看叉眼了,一直把配置写成这样。。。。。
````
{
"result_cls": "my_result_worker.MyResultWorker"
}

````
2017-02-20 23:18:27 +08:00
回复了 kslr 创建的主题 问与答 Pyspider 中的自定义 result 究竟该如何使用,我一直无法触发成功
@binux result_cls 的脚本文件是放在当前 json 所在的目录还是放到 site-page 里
1 ... 77  78  79  80  81  82  83  84  85  86  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1111 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 18:10 · PVG 02:10 · LAX 11:10 · JFK 14:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.