ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了

获取代理IP的的网站:

基本使用步骤:

# 使用代理服务器访问猫眼 # https://maoyan.com/ from urllib import request,error ''' ''' if __name__ == '__main__': url = "https://baidu.com/" # 1.设置代理地址 proxy = {'http': '218.60.8.83:3129'} # 2.创建ProxyHandler proxy_handler = request.ProxyHandler(proxy) # 3.创建Opener opener = request.build_opener(proxy_handler) # 4.安装Opener request.install_opener(opener) # 下面再进行访问url就会使用代理服务器 try: rsp = request.urlopen(url) html = rsp.read().decode() print(html) except error.HTTPError as e: print(e) except Exception as e: print(e)

运行结果

关于python网络爬虫的相关资料(Python爬虫教程proxy代理IP隐藏地址)(1)

最后,小编想说:我是一名python开发工程师,整理了一套最新的python系统学习教程,想要这些资料的可以关注私信小编“01”即可,希望能对你有所帮助

,