python数据存取（python异步存储数据详解）

python数据存取

python异步存储数据详解

在Python中，数据存储方式分为同步存储和异步存储。同步写入速度比较慢，而爬虫速度比较快，有可能导致数据保存不完整，一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行，互不影响，所以写入速度比较快，能够保证数据的完整性。

异步存储数据库大致看分为以下步骤：

1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2. 自定义Pipeline，实现from_settings函数
3. from twisted.enterprise import adbapi 引入连接池模块
4. from pymysql import cursors 引入游标模块
5. 在from_settings中，准备链接数据库参数，创建db_pool连接池，创建返回当前类的对象，传入db_pool
6. 实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7. 实现process_item函数
    7.1  query = self.db_pool.runInteraction(执行插入数据操作的函数对象，函数需要参数)，并接受执行返回结果
    7.2  query.addErrback(错误回调函数，函数需要参数)，添加执行sql失败回调的函数，在回调函数中对错误数据进一步处理
8. 实现插入数据操作的函数，准备sql，执行sql
9. 实现错误回调函数，在回调函数中对错误数据进一步处理 

下面，我们以天堂图片网为例，大致熟悉一下异步存储：

1. 在存储之前，可以选择手动创建数据库（表名、字段名、字段类型等自己定义），也可以选择代码创建。

2. 存储数据之前还得先拿到数据

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import scrapy from ..items import ImgItem class IvskySpider(scrapy.Spider):   name = 'ivsky'   allowed_domains = ['ivsky.com']   start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/']   def parse(self, response):     imgs = response.xpath('//li[@class="il_img"]/a/img')     for img in imgs:       alt = img.xpath('@alt').extract_first('')       src = img.xpath('@src').extract_first('')       item = ImgItem()       item['alt'] = alt       item['src'] = src         yield item

3. 自定义item，并把数据传进去

?

1 2 3 4 5 6 7 8 9 10 11

import scrapy   class IvskySpiderItem(scrapy.Item):   # define the fields for your item here like:   # name = scrapy.Field()   pass   class ImgItem(scrapy.Item):     alt = scrapy.Field()   src = scrapy.Field()

4. 接下来就是settings中的配置，代码如下（robots协议记得改为False）：

?

1 2 3 4 5

MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8'

5. 再然后自定义pipeline，并把该pipeline在settings中配置（设置优先级）：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56

from twisted.enterprise import adbapi from pymysql import cursors   class TwistedMysqlPipeline(object):     # 在调用TwistedMysqlPipeline时，第一个调用该函数   @classmethod   def from_settings(cls, settings):       #准备需要用到的链接mysql的参数     db_prams = dict(       host=settings['MYSQL_HOST'],       user=settings['MYSQL_USER'],       password=settings['MYSQL_PW'],       db=settings['MYSQL_DB'],       port=3306,       use_unicode=True,       charset=settings['MYSQL_CHARSET'],       # 指定使用的游标类型       cursorclass=cursors.DictCursor     )     # 创建连接池对象，需要传入两个参数     # 1.使用操作mysql第三方包名     # 2.连接数据库需要的参数     db_pool = adbapi.ConnectionPool('pymysql', **db_prams)       return cls(db_pool)     def __init__(self, db_pool):     # 将连接池对象赋值self.db_pool属性     self.db_pool = db_pool     def process_item(self, item, spider):       # 准备sql     # 执行sql     # 执行一个将item数据写入数据库的动作     # 1.执行操作的函数     # 2.执行函数需要的参数....     query = self.db_pool.runInteraction(self.insert_item, item)     # 执行sql出现异常错误时，回调的函数     query.addErrback(self.handle_error, item, spider)       return item     # 插入数据出现错误时，回调的函数   def handle_error(self, failure, item, spider):     print(failure)     print(item)     # 执行插入数据的函数   def insert_item(self, cursor, item):     # 创建sql     sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)"     # 执行sql     cursor.execute(sql,(item['alt'], item['src']))

6. pipeline在settings中的配置

?

1 2 3 4

ITEM_PIPELINES = {   # 'ivsky_spider.pipelines.MysqlPipeline': 300,   'ivsky_spider.pipelines.TwistedMysqlPipeline': 300, }

代码到这里就结束了。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持开心学习网。

原文链接：https://blog.csdn.net/qq_42598133/article/details/82667732