hyc5312's recent timeline updates hyc5312's recent timeline updates |
hyc5312🏢 软件工程师 V2EX member #388338, joined on 2019-03-01 14:52:51 +08:00 |
https:blog.jibug.com
heyingcai
| 分享个人开源的爬虫框架 程序员 • hyc5312 • Mar 4, 2019 • Lastly replied by runningman | 4 |
hyc5312's recent replies
Nov 19, 2020 Replied to a topic by ly61 › Java › mbp 有什么工具可以像 windows 一样在压缩工具里面修改 jar 包？或者有什么其他的方式？ |
手动把 jar 改成 zip 后缀，然后再下个 zip 工具
Mar 8, 2019 Replied to a topic by wsgzao › Python › Python 爬虫框架 Scrapy 入门与实践之爬取豆瓣电影 Top250 榜单 |
scrapy 架构很清晰，本人也基于 java 写了个爬虫框架，可以试用看看~ https://github.com/heyingcai
Mar 7, 2019 Replied to a topic by lryepoch › 程序员 › 现在的爬虫还用 Java 吗 |
py 上手快，写一个简单的爬虫也很快，适合新手上路，实际上写爬虫跟编程语言没有太多的关系，选择自己熟悉的语言都可以，爬虫重心应该在于调度，网络，反爬策略，数据清洗等等问题，本人基于 java 写了个爬虫框架，https://github.com/heyingcai/cetty 欢迎来交流~
Mar 4, 2019 Replied to a topic by hyc5312 › 程序员 › 分享个人开源的爬虫框架 |
@maoyun234 你说得没错，第一眼看起来确实很像 webmagic，但是实际上是站在巨人的肩膀上开发的，因为爬虫的套路都是差不多的，只是底层架构不一样，感兴趣的话可以去看看底层的源码，和 webmagic 的底层源码还是有比较大的局别的哦~
Select Language