我们在使用爬虫的时候,如果需要高频率或者长时间去爬取一个网站的时候,都会使用代理IP,以防自己的IP被对方封禁,那么,我们要怎么来辨别自己用的是什么代理呢?
我们可以通过header来区分
1.没有使用代理服务器
REMOTE_ADDR = 自己的真实IP
HTTP_VIA = 没数值或不显示
HTTP_X_FORWARDED_FOR = 无数值或不显示
2.使用透明代理服务器(Transparent Proxies)
REMOTE_ADDR = 最后一个代理服务器 IP
HTTP_VIA = 代理服务器 IP
HTTP_X_FORWARDED_FOR = 自己的真实IP,经过多个代理服务器时,这个值类似如下:118.155.8.45, 158.187.22.169, 119.181.68.23
3.使用普通匿名代理服务器(Anonymous Proxies)
REMOTE_ADDR = 最后一个代理服务器 IP
HTTP_VIA = 代理服务器 IP
HTTP_X_FORWARDED_FOR = 代理服务器 IP ,经过多个代理服务器时,这个值类似如下:119.188.68.169, 119.188.68.231
此类代理服务器隐藏了真实IP,但是向访问对象透露了您是使用代理服务器访问他们的。
4.使用高匿名代理服务器(High Anonymity Proxies (Elite proxies))
REMOTE_ADDR = 代理服务器 IP
HTTP_VIA = 没数值或不显示
HTTP_X_FORWARDED_FOR = 没数值或不显示 ,经过多个代理服务器时,这个值类似如下:119.188.68.169, 119.188.68.231
此类代理服务器完全用代理服务器的信息替代了你的所有信息,就像你就是完全使用那台代理服务器直接访问对象一样。
以上就是辨别代理的方法,希望对大家有所帮助。
,