仿照 scrapy 的设计用 scala 写了一个爬虫框架

[gaocegege]

homepage: http://gaocegege.com/scrala
github: https://github.com/gaocegege/scrala

写着玩的，用来学习 scala 的造轮子作品，代码很简单，读起来很快，有感兴趣的同学一起来呀(捂脸

[wuhx]

赞，才发现 v2 也有 Scala 节点，不过貌似上一条帖子是 100 多天前了

看了一下代码，建议增加爬虫超时重试，用 akka 的 supervisor strategy 处理各种异常会非常愉快。

[gaocegege]

@wuhx 0.0 本身对 scala 非常不熟，感觉充满了各种 trick~supervisor strategy 容我去 Google 下~

最近打算新加的 feature 是分布式，打算做成 manager/worker 的架构

[wuhx]

@gaocegege 只要不涉及 type level 编程， Scala 还是很容易上手的。 分布式才是 akka 的强项啊

[gaocegege]

@wuhx 嗯嗯~是想把 worker 做成 stateless, long-running 的，这就需要 manager 去做服务发现，运行起来的时候去找 worker ，感觉还挺麻烦的~

不过 akka remote actor 真的好方便~

[gaocegege]

@wuhx 嗯对哈哈~现在就是把 scala 当作带着函数式的 java 在用~

[wuhx]

@gaocegege akka 的 actor 的成本低，你的 worker 反正是 stateless 的，不如设计成 per-request actor ，用的时候现做，那就就不用找 worker 了。 或者启一个 Router actor ，自动维护一个 worker queue ，你配一下 roudrobin 或者自定义规则的 dispatcher 就好了，非常方便，而且会比你自己实现的性能更好。

[gaocegege]

@wuhx 受教，回去试试看