V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
pc10201
V2EX  ›  Python

用 python 只搞爬虫有没有职业前途?

  •  
  •   pc10201 · 2014-02-18 20:43:50 +08:00 · 22975 次点击
    这是一个创建于 3692 天前的主题,其中的信息可能已经有所发展或是发生改变。
    好多人是因为爬虫学python的,我也是这样的
    研究过相关的多线程,异步,协程等解决方案

    也尝试接触过python的其他方向,比如Django,bottle开发web应用,用pyqt开发GUI程序

    感觉还是喜欢做爬虫或采集,不过这方面招人比较少,好多都是招Django开发的,大家有好的建议吗?
    14 条回复    1970-01-01 08:00:00 +08:00
    pyKun
        1
    pyKun  
       2014-02-18 20:46:18 +08:00
    做 OpenStack 来吧
    Shared
        2
    Shared  
       2014-02-18 20:53:19 +08:00
    如果你就喜欢研究爬虫不如更深入些,好多搜索引擎公司会要你的
    pc10201
        3
    pc10201  
    OP
       2014-02-18 21:03:33 +08:00
    @Shared 我顶多只能算采集吧,离搜索引擎级别的爬虫还有一些距离,大公司估计都是用java或c++来做爬虫的,google现在都很少用python了~
    h2ero
        4
    h2ero  
       2014-02-18 21:05:03 +08:00
    现在写爬虫都用Golang 早先是用的python
    itfanr
        5
    itfanr  
       2014-02-18 21:11:58 +08:00
    @h2ero 写爬虫Go有什么优势?
    tioover
        6
    tioover  
       2014-02-18 21:13:17 +08:00
    @pc10201 你既然喜欢爬虫那么可以往数据挖掘这条路上走下去啊,如果单纯爬虫的话……我不太清楚,不过感觉似乎没什么内容的样子
    senggai
        7
    senggai  
       2014-02-18 22:39:47 +08:00
    bengol
        8
    bengol  
       2014-02-19 00:46:11 +08:00
    @tioover 单纯的大规模爬虫就是走的计算和存储的方向了
    cassiuschen
        9
    cassiuschen  
       2014-02-19 01:06:12 +08:00 via iPhone
    @itfanr 1、Go性能比python高我想这基本上应该没有争议;2、Go对于多线程并行和互联网的支持是从设计语言的时候就在考虑的了…
    pc10201
        10
    pc10201  
    OP
       2014-02-19 09:28:11 +08:00
    @senggai 这个我会,适合数据无法从源码中直接获取的情况,缺点是速度相当慢~
    wangfengmadking
        11
    wangfengmadking  
       2014-02-19 11:10:23 +08:00
    爬虫语言不是问题,最主要的还是谁的ip资源多^.^
    wangfengmadking
        12
    wangfengmadking  
       2014-02-19 11:12:15 +08:00
    关于lz的问题,我基本觉得只搞爬虫没有多大前途,基本上没有技术门凯。
    bcpxqz
        13
    bcpxqz  
       2014-02-19 16:05:40 +08:00
    @wangfengmadking ip资源的问题你怎么搞定的?想买代理吧,又找不到靠谱的,rouji的话更又不可能。
    wangfengmadking
        14
    wangfengmadking  
       2014-02-19 20:09:39 +08:00
    @bcpxqz 因为我是个人自己爬数据用,不是工业级的。所以直接用的免费代理cyberhost。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2667 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 15:23 · PVG 23:23 · LAX 08:23 · JFK 11:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.