随着大数据时代的到来，现在互联网当中的数据信息变得日益丰富但却驳杂不堪，信息的获取成本变得更高了。但相应的是更为智能、适用性更为强大的爬虫程序也被人们开发了出来，取代了之前依靠人力手动采集信息的数据获取方式。
网络爬虫程序也被叫做网络蜘蛛，它能够通过互联网这张巨大的“蛛网”获取各处节点的信息，从而将他目标的猎物——也就是我们所需的数据“捕获”到手。
爬虫程序在爬取数据的同时还会进行整理，把数据存放在我们规划好的空间当中，等待我们的查阅。不过爬虫程序也不是完美的，在爬取数据途中会对目标服务器造成一定负荷，一旦被服务器发现往往就会被当场逮捕，封禁IP。所以一般来说，爬虫程序想要正常运行自然也少不了它的好搭档—代理IP。
,
