python爬虫爬取抖音数据（利用API实时爬取斗鱼弹幕）

斗鱼

这些天一直想做一个斗鱼爬取弹幕，但是socket搞的不清楚，而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美使用的代码。我看了好多文章，学了写然后总结一下。也为后面数据分析做准备，后面先对弹幕简单词云化，然后再对各个房间的数据可视化。

完整代码地址：github.com/rieuse/DouyuTV

这次爬取的房间是斗鱼直播的芜湖大司马，因为他人气比较多，方便分析。主播也是我老乡，嘿嘿。然后把弹幕的信息的uid，昵称，等级，弹幕内容保存mongodb。

先看看效果

二：运行环境

• IDE：Pycharm

• Python3.6

• pymongo 3.4.0

三：实例分析

首先要想爬取弹幕要看看官方的开发文档，我放在github里面了。

• 第一点就是协议组成：

协议规定

协议实现代码

• 第二点是登录请求，之后把这个传递给sendmsg即可发送请求：

登录

登录实现代码

• 第三点是获取弹幕信息

弹幕协议

弹幕实现代码

• 第四点是要保存登录状态，不然过一会儿可能就获取不到数据了。

保存登录代码

• 补充说明

到这里这个API的主要功能已经了解了，剩下的就是具体实现，有以下几点：

• 1.用户输入房间号，获取房间说明

• 2.发送数据后，我们就会接受到斗鱼返回的数据，但是返回的数据是二进制所以我 们需要对数据转换编码。

• 3.我这里爬取了斗鱼用户发送弹幕的信息有uid，昵称，等级，弹幕内容，这里的等级有的人是空的，如果不处理就会造成错误所以要使用下面处理一下。

四：实战代码

这些代码我全部放到github中了，你们想试试的可以去个github获取一下。头条不能使用markdown格式，所以代码发出来格式就乱了。

五：弹幕的后续使用

这里我们是将弹幕的几个信息，uid，用户昵称，等级，弹幕内容保存到mongodb，后续要对数据分析就可以直接拿出来，如果我们只需要弹幕那么就可以只把弹幕信息保存到txt文档中就行了。

贴出我的github地址，我的爬虫代码和学习的基础部分都放进去了，有喜欢的朋友一起学习交流吧！欢迎大家start follw, github.com/rieuse/DouyuTV

加油

,