当前位置:脚本大全 > > 正文

python爬取在线评论(Python爬虫实现爬取百度百科词条功能实例)

时间:2021-10-21 07:52:28类别:脚本大全

python爬取在线评论

Python爬虫实现爬取百度百科词条功能实例

本文实例讲述了python爬虫实现爬取百度百科词条功能。分享给大家供大家参考,具体如下:

爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。爬虫从一个或若干初始网页的url开始,获得初始网页上的url,在抓取网页的过程中,不断从当前页面上抽取新的url放入队列,直到满足系统的一定停止条件。爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的url队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页url,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索。常见的爬虫框架有scrapy等。

自定义爬虫程序一般包含:url管理器、网页下载器、网页解析器、输出处理器。

以下我写了一个爬取百度百科词条的实例。

爬虫主程序入口

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • from crawler_test.html_downloader import urldownloader
  • from crawler_test.html_outer import htmlouter
  • from crawler_test.html_parser import htmlparser
  • from crawler_test.url_manager import urlmanager
  • # 爬虫主程序入口
  • class maincrawler():
  •   def __init__(self):
  •     # 初始值,实例化四大处理器:url管理器,下载器,解析器,输出器
  •     self.urls = urlmanager()
  •     self.downloader = urldownloader()
  •     self.parser = htmlparser()
  •     self.outer = htmlouter()
  •   # 开始爬虫方法
  •   def start_craw(self, main_url):
  •     print('爬虫开始...')
  •     count = 1
  •     self.urls.add_new_url(main_url)
  •     while self.urls.has_new_url():
  •       try:
  •         new_url = self.urls.get_new_url()
  •         print('爬虫%d,%s' % (count, new_url))
  •         html_cont = self.downloader.down_load(new_url)
  •         new_urls, new_data = self.parser.parse(new_url, html_cont)
  •         # 将解析出的url放入url管理器,解析出的数据放入输出器中
  •         self.urls.add_new_urls(new_urls)
  •         self.outer.conllect_data(new_data)
  •         if count >= 10:# 控制爬取的数量
  •           break
  •         count += 1
  •       except:
  •         print('爬虫失败一条')
  •     self.outer.output()
  •     print('爬虫结束。')
  • if __name__ == '__main__':
  •   main_url = 'https://baike.baidu.com/item/python/407313'
  •   mc = maincrawler()
  •   mc.start_craw(main_url)
  • url管理器

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • # url管理器
  • class urlmanager():
  •   def __init__(self):
  •     self.new_urls = set() # 待爬取
  •     self.old_urls = set() # 已爬取
  •   # 添加一个新的url
  •   def add_new_url(self, url):
  •     if url is none:
  •       return
  •     elif url not in self.new_urls and url not in self.old_urls:
  •       self.new_urls.add(url)
  •   # 批量添加url
  •   def add_new_urls(self, urls):
  •     if urls is none or len(urls) == 0:
  •       return
  •     else:
  •       for url in urls:
  •         self.add_new_url(url)
  •   # 判断是否有url
  •   def has_new_url(self):
  •     return len(self.new_urls) != 0
  •   # 从待爬取的集合中获取一个url
  •   def get_new_url(self):
  •     new_url = self.new_urls.pop()
  •     self.old_urls.add(new_url)
  •     return new_url
  • 网页下载器

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • from urllib import request
  • # 网页下载器
  • class urldownloader():
  •   def down_load(self, url):
  •     if url is none:
  •       return none
  •     else:
  •       rt = request.request(url=url, method='get')   # 发get请求
  •       with request.urlopen(rt) as rp:         # 打开网页
  •         if rp.status != 200:
  •           return none
  •         else:
  •           return rp.read()            # 读取网页内容
  • 网页解析器

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • import re
  • from urllib import parse
  • from bs4 import beautifulsoup
  • # 网页解析器,使用beautifulsoup
  • class htmlparser():
  •   # 每个词条中,可以有多个超链接
  •   # main_url指url公共部分,如“https://baike.baidu.com/”
  •   def _get_new_url(self, main_url, soup):
  •     # baike.baidu.com/
  •     # <a target="_blank" href="/item/%e8%ae%a1%e7%ae%97%e6%9c%ba%e7%a8%8b%e5%ba%8f%e8%ae%be%e8%ae%a1%e8%af%ad%e8%a8%80" rel="external nofollow" >计算机程序设计语言</a>
  •     new_urls = set()
  •     # 解析出main_url之后的url部分
  •     child_urls = soup.find_all('a', href=re.compile(r'/item/(\%\w{2})+'))
  •     for child_url in child_urls:
  •       new_url = child_url['href']
  •       # 再拼接成完整的url
  •       full_url = parse.urljoin(main_url, new_url)
  •       new_urls.add(full_url)
  •     return new_urls
  •   # 每个词条中,只有一个描述内容,解析出数据(词条,内容)
  •   def _get_new_data(self, main_url, soup):
  •     new_datas = {}
  •     new_datas['url'] = main_url
  •     # <dd class="lemmawgt-lemmatitle-title"><h1>计算机程序设计语言</h1>...
  •     new_datas['title'] = soup.find('dd', class_='lemmawgt-lemmatitle-title').find('h1').get_text()
  •     # class="lemma-summary" label-module="lemmasummary"...
  •     new_datas['content'] = soup.find('li', attrs={'label-module': 'lemmasummary'},
  •                      class_='lemma-summary').get_text()
  •     return new_datas
  •   # 解析出url和数据(词条,内容)
  •   def parse(self, main_url, html_cont):
  •     if main_url is none or html_cont is none:
  •       return
  •     soup = beautifulsoup(html_cont, 'lxml', from_encoding='utf-8')
  •     new_url = self._get_new_url(main_url, soup)
  •     new_data = self._get_new_data(main_url, soup)
  •     return new_url, new_data
  • 输出处理器

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • # 输出器
  • class htmlouter():
  •   def __init__(self):
  •     self.datas = []
  •   # 先收集数据
  •   def conllect_data(self, data):
  •     if data is none:
  •       return
  •     self.datas.append(data)
  •     return self.datas
  •   # 输出为html
  •   def output(self, file='output_html.html'):
  •     with open(file, 'w', encoding='utf-8') as fh:
  •       fh.write('<html>')
  •       fh.write('<head>')
  •       fh.write('<meta charset="utf-8"></meta>')
  •       fh.write('<title>爬虫数据结果</title>')
  •       fh.write('</head>')
  •       fh.write('<body>')
  •       fh.write(
  •         '<table style="border-collapse:collapse; border:1px solid gray; width:80%; word-break:break-all; margin:20px auto;">')
  •       fh.write('<tr>')
  •       fh.write('<th style="border:1px solid black; width:35%;">url</th>')
  •       fh.write('<th style="border:1px solid black; width:15%;">词条</th>')
  •       fh.write('<th style="border:1px solid black; width:50%;">内容</th>')
  •       fh.write('</tr>')
  •       for data in self.datas:
  •         fh.write('<tr>')
  •         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['url']))
  •         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['title']))
  •         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['content']))
  •         fh.write('</tr>')
  •       fh.write('</table>')
  •       fh.write('</body>')
  •       fh.write('</html>')
  • 效果(部分):

    python爬取在线评论(Python爬虫实现爬取百度百科词条功能实例)

    希望本文所述对大家python程序设计有所帮助。

    原文链接:https://www.cnblogs.com/wcwnina/p/8619084.html

    上一篇下一篇

    猜您喜欢

    热门推荐