境外服务器上部署爬虫抓 YouTube（下载视频）， YouTube 会不会封 IP？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2948 天前的主题，其中的信息可能已经有所发展或是发生改变。

YouTube

境外

服务器

部署

28 条回复 • 2017-02-09 14:58:42 +08:00

lslqtz

2016-11-02 09:32:09 +08:00

本人反代 YouTube ，然后用户就被验证码拦了

terence4444

2016-11-02 09:33:11 +08:00 via iPhone

每次打开会有验证码

chendajun

2016-11-02 09:36:25 +08:00

@terence4444
@lslqtz
YouTube 反爬比较严格，在阿里云香港服务器上部署了爬虫，刚开始可以抓一些。现在程序直接报错。

21grams

2016-11-02 09:39:05 +08:00

封 ip 那是轻的

chendajun

2016-11-02 09:49:16 +08:00

@21grams 请问有 YouTube 具体的反爬技术介绍吗？

majinjing3

2016-11-02 09:52:41 +08:00 via Android

@chendajun 可以尝试使用代理，建立个代理池，

mudone

2016-11-02 10:23:46 +08:00

做爬虫代理池不应该是标配吗。。

chendajun

2016-11-02 10:36:18 +08:00

@mudone 1 ，代理稳定性一直是个问题（付费的 vpn 稳定性也很不好，一直在用付费代理）， 2 ， youtube 封 ip 是封死的。

jimzhong

2016-11-02 10:37:55 +08:00

当然会

Aspx

2016-11-02 10:55:20 +08:00

代理池是标配

ljcarsenal

2016-11-02 11:02:25 +08:00

gg 是世界上最大的爬虫公司当然反爬技术也是炉火纯青了

chendajun

2016-11-02 11:04:54 +08:00

@ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ？

ljcarsenal

2016-11-02 11:07:46 +08:00

@chendajun 嗯

zoudeze

2016-11-02 11:23:06 +08:00

表示 http://www.clipconverter.cc 一只很好用，干嘛要自己搞个什么东西爬视频～～～～

shuang

2016-11-02 11:41:05 +08:00

一直用的它提供的 API 接口爬视频然后下载的，跑了很长时间了，貌似没被限制过 ip

tumbzzc

2016-11-02 12:01:36 +08:00

以前爬过几千个视频，没有出现问题

chendajun

2016-11-02 12:49:37 +08:00

@tumbzzc 能具体说说你的方法不？

hujianxin

2016-11-02 13:19:19 +08:00

爬 youtube 啥意思啊，如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊，我下载几百个视频都不会有别的问题的。也可能我不理解你的意思

chendajun

2016-11-02 13:27:53 +08:00

@hujianxin 客户需要 youtube 新闻类的视频，我是把 you-get 集成到程序中，爬虫拿到网页链接后交给 you-get 去下载视频，现在 youtube 把 ip 封掉了。

wmttom

2016-11-02 14:07:08 +08:00

youtube-dl 单 ip 下了十万个视频还没被封，可能是运气好

annielong

2016-11-02 14:25:11 +08:00

有接口尽量用接口，只要不是特别频繁调用接口，一般不会封，但是模拟前台抓取页面这种，貌似会封的比较厉害

chendajun

2016-11-02 14:27:15 +08:00

@shuang 有相关文档不？

tumbzzc

2016-11-02 17:33:30 +08:00

@chendajun youtube-dl 没被封

anexplore

2016-11-02 21:19:16 +08:00

不要随便传播哦，否则要喝茶的

mingyun

2016-11-02 23:30:09 +08:00

@zoudeze 这个不错

alexapollo

2016-11-02 23:38:00 +08:00

google 和 youtube 这一套体系的反爬都比较完善，门槛比较高了，但要爬仍然能爬

justyy

2016-11-02 23:50:58 +08:00

@chendajun https://weibomiaopai.com#api 能用上么？

myself659410

2017-02-09 14:58:42 +08:00

盯上 youtube 人太多了