python爬虫模块教程（Python爬虫之UserAgent的使用实例）

python爬虫模块教程

问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。

安装 pip install fake-useragent

使用案例

基本使用

注意:

fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:

有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):

可以自己添加本地数据文件(v0.1.4+)

其他功能用到的也不是很多，详细见文档吧。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接

原文链接：https://blog.csdn.net/anonymous_qsh/article/details/79349068