杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(1)

偶然一次,我在深夜难眠时,突然一道靓丽的网站从我眼前滑过,猛然使我惊醒。我发现校花网好多漂亮小姐姐的照片啊!嘿嘿,留下当手机壁纸不错,yyds!

于是,我利用了Python一次性把她们的照片下载了出来!

那么,我们该如何一次性爬取下载这些令人心动的照片呢?


我们先来看下怎么爬取一张图片的数据:

urllib模块作用和requests模块一样,都是基于网络请求的模块

当requests问世后就迅速地替代了urllib模块

比如,我们现在准备爬取这张可爱的熊熊:

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(2)

先用右键复制图片地址:

img_url = 'https://gimg2.baidu.com/image_search/src=http://pic21.nipic.com/20120606/5137861_093119370162_2.jpg&refer=http://pic21.nipic.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1634794705&t=162f415928fef44dc6fb006639dd034d'

requests方式:

response = requests.get(url=img_url, headers=headers) img_data = response.content # content返回的是二进制形式的响应数据 with open('1.jpg', 'wb') as f: f.write(img_data) # 图片就保存为 '1.jpg'

urllib方式:

# 可以直接对url发起请求并且进行持久化存储 urllib.request.urlretrieve(img_url, './2.jpg')

上述两种爬起图片的操作不同之处是什么?

使用urllib的方式爬取图片无法进行UA伪装,而requests的方式可以。不需要UA伪装的情况下,使用urllib下载图片更方便!


现在,爬取一张图片的方法我们学会了。那怎么才能批量下载小姐姐的照片呢?(我的键盘早已饥渴难耐!)

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(3)

第一步,我们先复制本页面的地址:

url = http://www.521609.com/daxuexiaohua

操作:需要将每一张图片的地址解析出来,然后对图片地址发起请求即可

写代码之前,我们先来了解下 浏览器开发者工具

分析浏览器开发者工具中Elements和network这两个选项卡对应的页面源码数据有何不同之处?

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(4)

结论:如果在进行数据解析的时候,一定是需要对页面布局进行分析,如果当前网站没有动态加载的数据就可以直接使用Elements对页面布局进行分析。否则只可以使用network对页面数据进行分析。

很显然,当前网站没有动态加载的数据。那么就可以直接使用Elements对页面布局进行分析

爬取前:我们需要使用Elements捕获出图片地址,可以看到图片地址在源码里的<li>节点里:

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(5)

复制<li>节点里的源码:

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(6)

# 此处为复制出的源码: <li><a href="/daxuexiaohua/11124.html"> <img src="/uploads/allimg/140717/1-140GF92J7-lp.jpg" width="160" height="220" border="0" alt=" 中国传媒大学上官青桐 "> </a><br> <a href="/daxuexiaohua/11124.html" class="title"><b>中国传媒大学上官青桐</b> </a> </li>

具体代码实现下载步骤:(咱们课程主要讲解爬虫的抓包方式和解析方法,具体正则写法等基础教程,可以关注我的Python基础教程)

import re import os # 1.捕获到当前首页的页面源码数据 url1 = 'http://www.521609.com/daxuexiaohua' page_text = requests.get(url=url1, headers=headers).text # 2.从当前获取的页面源码数据中解析出图片地址,并用正则写出: ex = '<li>.*?<img src="(.*?)" width=.*?</li>' # 正则写好后我们现在开始获取 img_src_list = re.findall(ex, page_text) print(img_src_list) # 我们发现打印的是[]。这是因为源码里有空格和换行 # 代码应该是: img_src_list = re.findall(ex, page_text, re.S) print(img_src_list) # 现在我们看出获取的地址只是部分,例:'/uploads/allimg/140717/1-140GF92J7-lp.jpg' # 我们可以直接在网页上复制图片地址'http://www.521609.com/uploads/allimg/140717/1-140GF92J7-lp.jpg' # 加上前缀,遍历列表,获取完整地址.进行请求 # 新建个文件夹存储图片 dirName = 'ImgLibs' if not os.path.exists(dirName): os.mkdir(dirName) for src in img_src_list: src = 'http://www.521609.com' src imgPath = dirName '/' src.split('/')[-1] # 图片名称 urllib.request.urlretrieve(src, imgPath) print(imgPath, '下载成功!!!')

结果我们就一次性下载完小姐姐的照片了!

杭州电子科技大学美女校花(看到漂亮的小姐姐心动)(7)

关注 Python涛哥,学习更多Python知识!

,