这是一个创建于 1818 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
FightingX 2019-04-28 12:31:23 +08:00
我一般基于 httpclient 自己写下载器
|
 |
3
xioxu 2019-04-28 14:24:37 +08:00
虽然平时我也写 java， 但爬虫我还是喜欢用 python 的 scrapy, 简单好用， 爬虫常用场景都有内在支持。
|
 |
4
fwrq41251 2019-04-28 14:29:27 +08:00  2
|
 |
5
yestodayHadRain 2019-04-28 16:55:22 +08:00
Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的
|
 |
6
swuzjb 2019-04-28 17:23:06 +08:00
Jsoup
|
 |
7
canbingzt 2019-04-28 17:31:20 +08:00
这种框架如果没有遇到 bug 的话，更新不更新应该是无所谓的吧，能满足需求就行了啊
|
 |
8
quadrapop 2019-04-28 17:49:50 +08:00
python 写爬虫就行，反正都是保存到数据库
java 一般我们用 Jsoup，还可以 |
 |
9
uminokoe 2019-04-28 18:23:26 +08:00
歪个楼，遇到需要使用 selenium 的情况用什么框架好呢？
|
 |
10
lqw3030 2019-04-29 08:17:23 +08:00
jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie
|
 |
11
zhangjinglongi 2019-04-29 09:18:34 +08:00
dongliu 的 reuqests 也挺好用的，模仿的 python 的
|
 |
12
ala2008 2019-04-29 09:36:03 +08:00
一般使用就可以了吧
|
 |
13
xinQing 2019-04-29 21:40:08 +08:00
这个 webmagic 很成熟了啊，源码也比较简单，推荐使用～
|
 |
15
wiix 2019-05-05 02:11:17 +08:00
手撸一个
|
Select Language