这里是造数，正在写一个智能云爬虫给大家，快来玩耍

[GrahamCloud]

hello ，大家好，我们是造数 https://www.zaoshu.io 如你所见是一个新生的网站，我们想试着让用户能最简单的使用爬虫技术，这个阶段，已经能够自动识别你想爬的数据类型了.

如果你有关于爬虫的使用创意，需求。 如果你使用中感到哪里不够合。 如果你操作中发现 bug 。 请一定要告诉我。

                                                                        热切期待新需求，和反馈问题的造数团队：
                                                                          [email protected]
                                                                          www.zaoshu.io

[GrahamCloud]

会推出一些 side project 方便需求，如果想试用也可以联系我。

[crayonyi]

对标的是这个网站吗？ [https://www.import.io/]( https://www.import.io/)

[GrahamCloud]

@crayonyi 目标不一样，我们期待第一阶段做他们的功能，接下来做一些有意思的扩展。

[wjm2038]

不错

[GrahamCloud]

@wjm2038 有什么问题，或者有什么想法一定要告诉我。

[mingyun]

赞一个

[sssdjiui]

https://www.kimonolabs.com/

[lyonbot]

试玩了一下，目前感觉和 import.io 挺像的，感觉还凑合吧，希望后续能看到有趣的功能

[strwei]

不错哦

[binux]

上次就说过的，数据行都没有对其，图片价格张冠李戴，这怎么用啊。
给个例子： http://www.ikea.com/gb/en/search/?k=chair

[lhx2008]

安卓手机下有严重的错位。。

[GrahamCloud]

@lhx2008 现在刚开始做，手机适配还不行。

[GrahamCloud]

@binux 这个问题下周会上一个新版解决。
谢谢上次提出来。这两周 bug 比较多。

[crayonyi]

@GrahamCloud 如果升级下，感觉就和 https://scrapinghub.com/ 这个差不多。我也一直在做这个， 目前只完成通用爬虫部分： https://github.com/yijingping/unicrawler

[Magic347]

和 import.io 简单对比了一下，在页面异步加载数据的采集效果上还有待改进：
例如 https://item.taobao.com/item.htm?id=529572785771 淘宝商品详情页面的价格数据，
造数目前是没法采集到的，但是 import.io 是可以准确采集到的。

[GrahamCloud]

@Magic347 说得对，现在对这类支持的还是不够。

[chendajun]

@crayonyi
@GrahamCloud
提取网页正文用的什么方法， readability-lxml ？

[GrahamCloud]

@chendajun 目前只有勾选，没有提取正文。

[GrahamCloud]

@chendajun 目前只有自动勾选，没有提取正文。

[crayonyi]

@GrahamCloud 现在支持翻页吗？我在平台商没有找到，另外 a 链接地址也没有识别出来

[GrahamCloud]

@crayonyi 今天刚挂了，有的功能要以后上。

[scnace]

访问知乎的时候 CSS 和 JS 都没有加载出来 (知乎的 css 和 js 请求好像都需要 cookie. 我也不造为毛)

[lslqtz]

我希望提供 json 的数据接口，而不要 excel 。

[GrahamCloud]

@scnace
@lslqtz 问题和需求，白天处理一下。

[GrahamCloud]

现在大家所有的需求和发现的问题都会被感谢，也会被认真处理。
啧啧，谢谢大家。

[GrahamCloud]

@crayonyi 现在翻页是可以的

[wyntergreg]

别的不说
你发在这里
几天以后你会发现爬了一堆奇怪的东东

[cmisaka]

在爬淘宝的一个商品页面一直在转...

[panfake]

一直 loading ，所以采集一个页面需要这么慢？

[GrahamCloud]

@cmisaka
@panfake 感谢提出，正在处理。采集页面其实应该是非常快的。

[GrahamCloud]

@wyntergreg 现在爬的数据，确实很奇怪。

[billyellow]

赞~~~~

[popoer]

多爬几次会出验证码的网站怎么办呢？

[GrahamCloud]

目前没有这个问题。非定时任务是直接爬取，定时任务不妨试试看。

[frankmdong]

爬取到的页面能生成 RSS 地址吗

[tumbzzc]

出现 500 状态码

[byuc]

创建任务的时候没有问题，但是进入到账户页面进行爬取得时候就总是执行出错了。

[GrahamCloud]

@byuc 爬取的页面是？

[GrahamCloud]

@tumbzzc 哪个阶段出现的 500 状态？

[tumbzzc]

@GrahamCloud 输入网址之后点“点击试试”

[byuc]

@GrahamCloud 无论是什么页面，在创建完任务进行执行的时候都是提示执行出错，而删除数据的按钮也失效了。我测试过单单抓取百度首页的 LOGO ，也失效。

[xssing]

一直在分析页面中

[mythhack]

一直在分析页面中

[kukuwhu]

呵呵，上次进去随便输入一个 url 无限等待中，这次又进去输入一个简单的 url ，又是无限循环等待。。。
这都能放出来？

[GrahamCloud]

@tumbzzc
@byuc
@xssing
@kukuwhu 周末挂掉了，感谢访问！非常谢谢提出访问问题，刚做的网页谢谢大家关注。
也欢迎各种需求。

[tumbzzc]

首页的那个“点击试试”还是 500 。
注册后提交网址一直是“造数正在为你分析页面”

[GrahamCloud]

@tumbzzc 因为硬盘满了，已经修复。

[GrahamCloud]

准备上新的 Ui 界面，欢迎批评和试用。

[eminemcola]

猴

[yh7gdiaYW]

字体闪瞎我了，首页也就算了，控制台能不能别用 Heiti SC Medium ？

[GrahamCloud]

@yh7gdiaYW 现在弄得确实不太好，首页在测试，估计明天马上要上新的了。字体也会更新，求意见求批评。

[zijikai]

手机上首页不匹配，不是自响应？

[GrahamCloud]

@zijikai 确实啊，现在只对网页端 URL 功能做了很多尝试。
手机端我们会在周五上一版 UI 。

[wujunze]

最近类似的云爬虫平台很多 我记得还有一个什么 神箭手来着

[GrahamCloud]

@wujunze 好用不

[est]

还停留在 “分析页面” 这里。

[GrahamCloud]

@est 我这里显示没问题，不知道我们是不是对浏览器适配没做好，求发浏览器和系统概况。

[est]

@GrahamCloud 又好了。你们可以上一个 mixpanel 了。

[GrahamCloud]

@est 现在在完善分析用户行为的后台。 trace 的方法还不够好

[alfer]

抓了个淘宝页面玩玩，一直分析中。。。

[GrahamCloud]

@alfer 准备周末推新 ui 在各种 测试，实在不好意思。

[reticentfat]

输入了一个贴吧地址怎么输出页面和输入差不多

[GrahamCloud]

@reticentfat 输出页面是你点一下，就帮你自动识别、勾选同类数据。

[honkew]

如果是滚动加载的数据呢

比如 http://list.le.com/listn/c2_t-1_a-1_y-1_s1_md_o20_d1_p.html

[GrahamCloud]

@honkew 目前这样的还不支持，在需求队列中。

[zluyuer]

似乎对 Ajax 加载支持不好。例： http://shop.m.jd.com/search/search?shopId=1000010404

[GrahamCloud]

@zluyuer 可以期待一下我们这几天马上要出的新版。

[incrediblink]

为何我无法爬取到 http://news.163.com/16/1119/09/C67NPATB000187V5.html 上的正文，选中了正文那一个 div 之后爬出来的是一张迷之图片… 有的新闻网站有不同的历史版本，每个历史版本的界面不一样，爬起来就很麻烦。

[jmp2x]

注意下 File 协议的问题 容易造成任意文件读取 虽然在 Container 里 我们小伙伴友情测试了下 →_→

[csx163]

注册时出现邮件 TOKEN 非法

[GrahamCloud]

@csx163 求告知细节。

[GrahamCloud]

@incrediblink 正文我测试了两次还可以运行，求告知具体配置。
争取周一解决。

[csx163]

@GrahamCloud QQ 邮箱，注册时复制邮箱收到的链接到地址栏，打开地址填写资料到输入密码后出现该提示。我 QQ 邮箱为 cs-x 。

[GrahamCloud]

@csx163 现在注册还有问题是么

[GrahamCloud]

@jmp2x 感谢小伙伴，强烈感谢。

[GrahamCloud]

@crayonyi
@byuc
@csx163
@jmp2x
@reticentfat 新的 ui 上线了，希望大家看到会感到一点舒爽，另外欢迎加团队微信，微信号： Zaoshuio 。

[brucedone]

我目前想到的，对于”下一页“的解析不是那么的完善，可以考虑增加开发者模式，如果当前的选中单位不符合自己的预期的话，可以自己去编辑。总的来说，和 pyspider ，以及 portia 一样，都是很不错的东东，需要更加的打磨一下就是一个好产品了。

[GrahamCloud]

@brucedone 目前可能确实有个开发者模式能更好的服务客户。

[anexplore]

https://scrapinghub.com/portia/

[crayonyi]

新 UI 不错

[GrahamCloud]

@crayonyi 马上还有更多新功能

[cc55555]

希望可以添加将图片或文章自动发送到邮箱， Post 到 G+、 Twitter 、 Tumblr 等。

[GrahamCloud]

@cc55555 这三个估计短期内还上不了，图片在考虑

[cc55555]

@GrahamCloud 试用了一下，数据不能转发到邮箱？
能否实现将数据推送到 dropbox 等云存储？或者生成 RSS 地址？国外的很多云爬虫网站都有这两项功能。

谢谢！

[cc55555]

http://www.infosec-wiki.com/?p=308
看到了这篇文章，或许对于你有用处

[GrahamCloud]

@cc55555 可以转发到邮箱， rss 和 dropbox 还暂时在排期开靠后的部分，求加团队微信： Zaoshuio

[Limius]

@GrahamCloud https://www.howbuy.com/fundtool/filter.htm 这个网站的产品如何怕呢，发现翻页的话网址也没有变化。

[GrahamCloud]

@Limius 好问题

[figofuture]

收藏了

[ospider]

感觉和 import.io 还有些差距，加油

[GrahamCloud]

@ospider 感谢！

[ZernonHuang]

您好,目前我们公司爬某东和某宝的数据,但是被封了 IP.不知道你们的服务会不会有这样风险?可否先试用一下.

[GrahamCloud]

@ZernonHuang 您是手机看了下吧， web 端免费试用，我们的反爬比较专业，使用后可以多提意见和需求。

[yangxin0]

噗。。。明明一个简单页面提取工具，这不叫爬虫啊