在Python中，数据存储方式分为同步存储和异步存储。同步写入速度比较慢，而爬虫速度比较快，有可能导致数据保存不完整，一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行，互不影响，所以写入速度比较快，能够保证数据的完整性。
异步存储数据库大致看分为以下步骤：
1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2. 自定义Pipeline，实现from_settings函数
3. from twisted.enterprise import adbapi 引入连接池模块
4. from pymysql import cursors 引入游标模块
5. 在from_settings中，准备链接数据库参数，创建db_pool连接池，创建返回当前类的对象，传入db_pool
6. 实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7. 实现process_item函数
7.1 query = self.db_pool.runInteraction(执行插入数据操作的函数对象，函数需要参数)，并接受执行返回结果
7.2 query.addErrback(错误回调函数，函数需要参数)，添加执行sql失败回调的函数，在回调函数中对错误数据进一步处理
8. 实现插入数据操作的函数，准备sql，执行sql
9. 实现错误回调函数，在回调函数中对错误数据进一步处理
下面，我们以天堂图片网为例，大致熟悉一下异步存储：
1. 在存储之前，可以选择手动创建数据库（表名、字段名、字段类型等自己定义），也可以选择代码创建。
2. 存储数据之前还得先拿到数据
import scrapy
from ..items import ImgItem
class IvskySpider(scrapy.Spider):
name = 'ivsky'
allowed_domains = ['ivsky.com']
start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/']
def parse(self, response):
imgs = response.xpath('//div[@class="il_img"]/a/img')
for img in imgs:
alt = img.xpath('@alt').extract_first('')
src = img.xpath('@src').extract_first('')
item = ImgItem()
item['alt'] = alt
item['src'] = src
yield item
3. 自定义item，并把数据传进去
import scrapy class IvskySpiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass class ImgItem(scrapy.Item): alt = scrapy.Field() src = scrapy.Field()
4. 接下来就是settings中的配置，代码如下（robots协议记得改为False）：
MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8'
5. 再然后自定义pipeline，并把该pipeline在settings中配置（设置优先级）：
from twisted.enterprise import adbapi
from pymysql import cursors
class TwistedMysqlPipeline(object):
# 在调用TwistedMysqlPipeline时，第一个调用该函数
@classmethod
def from_settings(cls, settings):
#准备需要用到的链接mysql的参数
db_prams = dict(
host=settings['MYSQL_HOST'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PW'],
db=settings['MYSQL_DB'],
port=3306,
use_unicode=True,
charset=settings['MYSQL_CHARSET'],
# 指定使用的游标类型
cursorclass=cursors.DictCursor
)
# 创建连接池对象，需要传入两个参数
# 1.使用操作mysql第三方包名
# 2.连接数据库需要的参数
db_pool = adbapi.ConnectionPool('pymysql', **db_prams)
return cls(db_pool)
def __init__(self, db_pool):
# 将连接池对象赋值self.db_pool属性
self.db_pool = db_pool
def process_item(self, item, spider):
# 准备sql
# 执行sql
# 执行一个将item数据写入数据库的动作
# 1.执行操作的函数
# 2.执行函数需要的参数....
query = self.db_pool.runInteraction(self.insert_item, item)
# 执行sql出现异常错误时，回调的函数
query.addErrback(self.handle_error, item, spider)
return item
# 插入数据出现错误时，回调的函数
def handle_error(self, failure, item, spider):
print(failure)
print(item)
# 执行插入数据的函数
def insert_item(self, cursor, item):
# 创建sql
sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)"
# 执行sql
cursor.execute(sql,(item['alt'], item['src']))
6. pipeline在settings中的配置
ITEM_PIPELINES = {
# 'ivsky_spider.pipelines.MysqlPipeline': 300,
'ivsky_spider.pipelines.TwistedMysqlPipeline': 300,
}
代码到这里就结束了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
python,异步存储
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。