当前位置:脚本大全 > > 正文

python 操作html(Python HTML解析模块HTMLParser用法分析爬虫工具)

时间:2021-10-21 07:11:16类别:脚本大全

python 操作html

Python HTML解析模块HTMLParser用法分析爬虫工具

本文实例讲述了python html解析模块htmlparser用法。分享给大家供大家参考,具体如下:

简介

先简略介绍一下。实际上,htmlparser是python用来解析html的内置模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。htmlparser采用的是一种事件驱动的模式,当htmlparser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是htmlparser的成员函数。当我们使用时,就从htmlparser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:

(1)handle_startendtag    处理开始标签和结束标签(即单标签)
(2)handle_starttag          处理开始标签,比如<xx>
(3)handle_endtag           处理结束标签,比如</xx>
(4)handle_charref           处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref        处理一些特殊字符,以&开头的,比如  
(6)handle_data              处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment          处理注释
(8)handle_decl               处理<!开头的,比如<!doctype html public "-//w3c//dtd html 4.01 transitional//en"
(9)handle_pi                   处理形如<?instruction>的东西

实例

ok,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • from html.parser import htmlparser
  • from urllib import request
  • class myhtmlparser(htmlparser):   # 创建html解析类
  •   def __init__(self):
  •     htmlparser.__init__(self)
  •     self.gifs_urls = []     # 创建列表,保存gif
  •     self.jpgs_urls = []     # 创建列表,保存jpg
  •   # 重写htmlparser中的内置方法
  •   def handle_starttag(self, tags, attrs): # 处理起始标记
  •     if tags == 'img'# 处理图片
  •       for attr in attrs:
  •         for t in attr:
  •           if 'gif' in t and 'https' in t:
  •             self.gifs_urls.append(t)  # 添加到gif列表
  •           elif 'jpg' in t and 'https' in t:
  •             self.jpgs_urls.append(t)  # 添加到jpg列表
  •           else:
  •             pass
  •   # 自定义的方法
  •   def get_gifs(self):   # 返回gif列表
  •     return self.gifs_urls
  •   def get_jpgs(self):   # 返回jpg列表
  •     return self.jpgs_urls
  •   # 自定义的方法,获取页面
  •   def gethtml(self,url):
  •     req=request.request(url,method='get')
  •     html=request.urlopen(req,timeout=30)
  •     return html.read()
  •   # 自定义的方法,批量下载图片
  •   def downimgs(self,img_urls,n=10,path='image/'):
  •     count=1
  •     for url in img_urls:
  •       request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
  •       count=count+1
  •       if count == n + 1:
  •         print('共下载%d张图片' %(n))
  •         return
  • if __name__ == '__main__':
  •   url = 'http://tieba.baidu.com/p/2256306796'
  •   htmlparser=myhtmlparser()
  •   html=htmlparser.gethtml(url)
  •   # print(html)
  •   htmlparser.feed(str(html))   #开始解析html,自动调用htmlparser中的内置方法
  •   htmlparser.downimgs(htmlparser.get_jpgs())
  • 希望本文所述对大家python程序设计有所帮助。

    原文链接:https://www.cnblogs.com/wcwnina/p/8082761.html

    上一篇下一篇

    猜您喜欢

    热门推荐