这是一个创建于 2105 天前的主题，其中的信息可能已经有所发展或是发生改变。
职位要求：
- 负责网络爬虫的架构设计、开发、监控、评估、优化
- 根据业务需求爬取指定信息
- 对爬虫的稳定性以及数据质量负责
任职资格：
- 掌握 JAVA，熟悉 webmegic、scrapy、pyspider 爬虫框架中的一种或多种。
- 熟悉大数据开发环境，熟悉 hadoop、hive、spark、Hbase 等，熟悉 linux 系统，熟悉 mysql、mongodb、redis 等。
- 三年以上工作经验，一年以上实际的爬虫项目经验，了解常见的反爬策略以及反爬突破手段，构建反反爬策略。
- 有分布式爬虫架构经验者优先。
- 本职位要求具有非常强烈的责任心。 薪资：20K-30K 15 薪 七险一金 坐标：北京朝阳区来广营附近 wechat:17671464904
Select Language