V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gaocegege
V2EX  ›  Scala

仿照 scrapy 的设计用 scala 写了一个爬虫框架

  •  
  •   gaocegege · 2016-01-31 18:55:10 +08:00 · 6893 次点击
    这是一个创建于 2979 天前的主题,其中的信息可能已经有所发展或是发生改变。
    homepage: http://gaocegege.com/scrala
    github: https://github.com/gaocegege/scrala

    写着玩的,用来学习 scala 的造轮子作品,代码很简单,读起来很快,有感兴趣的同学一起来呀(捂脸
    7 条回复    2016-02-01 17:01:49 +08:00
    wuhx
        1
    wuhx  
       2016-01-31 23:25:51 +08:00
    赞,才发现 v2 也有 Scala 节点,不过貌似上一条帖子是 100 多天前了

    看了一下代码,建议增加爬虫超时重试,用 akka 的 supervisor strategy 处理各种异常会非常愉快。
    gaocegege
        2
    gaocegege  
    OP
       2016-02-01 08:37:35 +08:00
    @wuhx 0.0 本身对 scala 非常不熟,感觉充满了各种 trick~supervisor strategy 容我去 Google 下~

    最近打算新加的 feature 是分布式,打算做成 manager/worker 的架构
    wuhx
        3
    wuhx  
       2016-02-01 09:51:45 +08:00
    @gaocegege 只要不涉及 type level 编程, Scala 还是很容易上手的。 分布式才是 akka 的强项啊
    gaocegege
        4
    gaocegege  
    OP
       2016-02-01 09:57:37 +08:00
    @wuhx 嗯嗯~是想把 worker 做成 stateless, long-running 的,这就需要 manager 去做服务发现,运行起来的时候去找 worker ,感觉还挺麻烦的~

    不过 akka remote actor 真的好方便~
    gaocegege
        5
    gaocegege  
    OP
       2016-02-01 09:58:12 +08:00
    @wuhx 嗯对哈哈~现在就是把 scala 当作带着函数式的 java 在用~
    wuhx
        6
    wuhx  
       2016-02-01 13:47:18 +08:00
    @gaocegege akka 的 actor 的成本低,你的 worker 反正是 stateless 的,不如设计成 per-request actor ,用的时候现做,那就就不用找 worker 了。 或者启一个 Router actor ,自动维护一个 worker queue ,你配一下 roudrobin 或者自定义规则的 dispatcher 就好了,非常方便,而且会比你自己实现的性能更好。
    gaocegege
        7
    gaocegege  
    OP
       2016-02-01 17:01:49 +08:00
    @wuhx 受教,回去试试看
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   981 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 22:00 · PVG 06:00 · LAX 15:00 · JFK 18:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.