简单的爬虫用什么托管比较划算？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Recommended Services

› Amazon Web Services

› LeanCloud

› New Relic

› ClearDB

这是一个创建于 2306 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫这种需求，不作为 server，不需要公网端口，流量少，占用空间小，资源耗费也不高，但是需要一直在线。
vps 的话，总觉得有点奢侈。一般 vps 会配备公网 ip，这是 vps 最核心的资源，但恰恰是爬虫所不需要的。

第 1 条附言 · 2018-09-02 15:38:22 +08:00

附加条件：因为需要爬的是 404 网站，所以只能在外网。自己的手机、电脑，都是不行的。

VPS

爬虫

公网

Server

20 条回复 • 2018-09-12 19:45:39 +08:00

eluotao

2018-09-02 15:02:19 +08:00

一个 VPS 一个月 10 元奢侈吗?

用词不当.

nicevar

2018-09-02 15:31:39 +08:00

一部老掉牙的破手机就行了

lihongjie0209

2018-09-02 15:49:14 +08:00

那你一个 VPS 多部署几个爬虫不就好了. 而且不需要 IP? 你怎么部署你的爬虫, 怎么管理, 怎么监控?

CrazyBoyFeng

2018-09-02 16:05:41 +08:00

@eluotao 奢侈是相对而言的，10 元的 vps 能建站，拿来托管个 client 程序，大炮打蚊子。每月 10 元人民币的话还可以考虑（但爬国内我不如用路由器（或者楼上的旧手机也是不错的建议）），每月 10 刀就真的算了。以爬虫的资源消耗量（低流量低带宽低占用无需公网 ip ），每月 1 刀我觉得还差不多。但是每月 1 刀的 vps 又很差，毕竟它还需要支持 vps 的全部功能，所以必定会在配置上缩水，cpu 和内存都不一定能跑得起来爬虫。
如果能有选配公网 ip （即可以不配备），流量带宽容量按量支付的容器服务，是最理想的选择。

newworld

2018-09-02 16:07:15 +08:00 via iPhone

你需要 vps 可以同时爬取大量的代理 ip 用作代理池子

Nitroethane

2018-09-02 16:20:08 +08:00 via Android

自己的电脑长时间运行不就行了

CrazyBoyFeng

2018-09-02 16:26:28 +08:00

@lihongjie0209 爬到指定内容发邮件通知的那种。
不是所有的程序托管都需要 ip 的，这是先入为主把 vps 当作这个问题的唯一答案，vps 当然必定是有公网 ip 的。但云计算平台不止是 vps 这一种形式。比如 web 程序托管的各种 app engine，就没有 ip （但提供了公网映射，毕竟是 server 程序），而是以 web 控制台代替。我这种需求比 app engine 更轻量，其实我就是想问问有没有更轻量（同时也更廉价）的解决方案。

nyaapass

2018-09-02 16:41:29 +08:00

好奇为啥自己的手机、电脑不能爬外网 404 网站...

CrazyBoyFeng

2018-09-02 17:19:45 +08:00

@nyaapass 我工作环境提供出国，所以没有自己买 vps 搭$$。但是公司的网络接入有身份认证和物理限制。所以我无法将未授权设备接入。
（如果我有正在用的 vps，就没必要来提这个问题了。）

yov123456

2018-09-02 20:15:57 +08:00 via iPhone

docker 云吧

twor

2018-09-02 20:31:16 +08:00

无脑回复搬瓦工，一年 9.9 美元

someonedeng

2018-09-03 00:51:09 +08:00

搬瓦工+1，爬虫可以扒拉 404，价格还行，跑小东西性能够了。

ioven

2018-09-03 07:41:35 +08:00

垃圾 vps 搭建酸酸乳，爬虫放在本地跑

SorcererXW

2018-09-03 08:31:44 +08:00 via Android

@CrazyBoyFeng vps 上就仅仅跑个爬虫，是大炮打蚊子。但是未来你还可以跑其他很多东西啊。

wuzhi1234

2018-09-03 08:37:15 +08:00

这么扣扣索索精打细算的，应该攒了不少钱吧

neezer

2018-09-03 11:15:14 +08:00

每个月 10 刀的 vps，这不正是我 vultr 上的机器配置么。
这个配置，你不觉得低么。。。
都 2018 年了，我还经常给我老大灌输：让人累不如让机器累的思想。。。
你买个配置高点的 vps，远比用配置低的东西轻松，代码“粗犷”点没关系，有点内存泄露没关系，想学多进程 /线程能试试。
你用手机整爬虫，能干嘛？

kljsandjb

2018-09-04 15:41:42 +08:00 via iPhone

serverless

aru

2018-09-04 18:45:07 +08:00

linode /digitalocean 这些 vps 提供商都提供按分钟（或者小时）收费的服务，可以通过 api 来开通、部署、删除机器

fancyhan

2018-09-06 19:46:07 +08:00

vultr 开动态实例，ip 封了就切

aubucuo

2018-09-12 19:45:39 +08:00

aws lambda