python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(1)

斗鱼

一:前言

这些天一直想做一个斗鱼爬取弹幕,但是socket搞的不清楚,而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美使用的代码。我看了好多文章,学了写然后总结一下。也为后面数据分析做准备,后面先对弹幕简单词云化,然后再对各个房间的数据可视化。

完整代码地址:github.com/rieuse/DouyuTV

这次爬取的房间是斗鱼直播的芜湖大司马,因为他人气比较多,方便分析。主播也是我老乡,嘿嘿。然后把弹幕的信息的uid,昵称,等级,弹幕内容保存mongodb。

先看看效果

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(2)

二:运行环境
  • IDE:Pycharm

  • Python3.6

  • pymongo 3.4.0

三:实例分析

首先要想爬取弹幕要看看官方的开发文档,我放在github里面了。

  • 第一点就是协议组成:

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(3)

协议规定

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(4)

协议实现代码

  • 第二点是登录请求,之后把这个传递给sendmsg即可发送请求:

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(5)

登录

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(6)

登录实现代码

  • 第三点是获取弹幕信息

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(7)

弹幕协议

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(8)

弹幕实现代码

  • 第四点是要保存登录状态,不然过一会儿可能就获取不到数据了。

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(9)

保存登录代码

  • 补充说明

到这里这个API的主要功能已经了解了,剩下的就是具体实现,有以下几点:

  • 1.用户输入房间号,获取房间说明

  • 2.发送数据后,我们就会接受到斗鱼返回的数据,但是返回的数据是二进制所以我 们需要对数据转换编码。

  • 3.我这里爬取了斗鱼用户发送弹幕的信息有uid,昵称,等级,弹幕内容,这里的等级有的人是空的,如果不处理就会造成错误所以要使用下面处理一下。

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(10)

四:实战代码

这些代码我全部放到github中了,你们想试试的可以去个github获取一下。头条不能使用markdown格式,所以代码发出来格式就乱了。

五:弹幕的后续使用

这里我们是将弹幕的几个信息,uid,用户昵称,等级,弹幕内容保存到mongodb,后续要对数据分析就可以直接拿出来,如果我们只需要弹幕那么就可以只把弹幕信息保存到txt文档中就行了。

贴出我的github地址,我的爬虫代码和学习的基础部分都放进去了,有喜欢的朋友一起学习交流吧!欢迎大家start follw, github.com/rieuse/DouyuTV

python爬虫爬取抖音数据(利用API实时爬取斗鱼弹幕)(11)

加油

,