直播弹幕的爬虫，有人爬过吗？求指导一下啊

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2396 天前的主题，其中的信息可能已经有所发展或是发生改变。

直播平台： https://v.6.cn 爬取任意主播的房间的弹幕

弹幕

爬虫

直播

主播

17 条回复 • 2018-04-18 22:24:13 +08:00

Luckyray

2018-04-18 00:43:27 +08:00 via iPhone

六间房的不清楚，其他几家的直播弹幕我记得是 socket，没法爬吧，你得截个包看看怎么建立连接。

wzwwzw

2018-04-18 02:11:22 +08:00

点进去看了一下，结果发现是 HTTP 的请求。
[![Snipaste_2018-04-18_02-10-35.png]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)

sean10

2018-04-18 04:11:51 +08:00 via Android

github 上不少，记得有些是模拟发包请求弹幕的

wjx1993

2018-04-18 07:02:41 +08:00 via Android

@Luckyray 是的，socket 这块不太懂，求教一下👍

wjx1993

2018-04-18 07:04:50 +08:00 via Android

@sean10 没有这个平台的，有点麻烦

fgodt

2018-04-18 07:59:00 +08:00 via Android

一般弹幕都是 websocket 和 socket 你要抓包看请求找规律，然后想办法找到 key

wjx1993

2018-04-18 08:09:22 +08:00 via Android

@fgodt 抓包后看起来有点乱，看不太懂，所以没找到 key，求指导一二

A555

2018-04-18 09:18:32 +08:00

@wjx1993 我记得好几年前 b 站是可以打包下载弹幕的，不知道这功能现在还有没有

okzpy9425

2018-04-18 09:20:14 +08:00

websocket 或者自己再 socket 上封装的协议。

https://github.com/zhao94254/rebuilt 这个是我用 go 写的，你可以参考下

jijiwaiwai

2018-04-18 09:21:55 +08:00

pip install danmu

wjx1993

2018-04-18 09:28:59 +08:00 via Android

@jijiwaiwai 这个好像只有斗鱼的还可以运行

fgodt

2018-04-18 09:51:24 +08:00

抓包用来看发包顺序，key 和加解密算法就需要你反编译一些官方的东西来找了，比如安卓、flash 等这就不深说了

NotNil1

2018-04-18 09:55:22 +08:00

有些平台是有开发协议的 ,不用爬,我记得比如熊猫直接有 API,你去官网看看.

DeWhite

2018-04-18 10:41:04 +08:00 via Android

模拟发包，然后弹幕出来然后过滤。

wjx1993

2018-04-18 13:18:58 +08:00 via Android

@ljtletters 我记得应该没有，没有找到

wjx1993

2018-04-18 22:03:16 +08:00 via Android

@okzpy9425 弹幕的礼物数量可以取到吗？我没找到，求解

okzpy9425

2018-04-18 22:24:13 +08:00

@wjx1993 可以。有一个字段是礼物的。