redis新手入门教学

scrapy-redis的安装部署步骤讲解

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

  • ?
  • 1
  • yum install -y redis
  • 2. 修改配置文件

    vi /etc/redis.conf

    将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

    3. 重启redis

  • ?
  • 1
  • systemctl restart redis
  • 4. 关闭防火墙

  • ?
  • 1
  • systemctl stop firewalld.service
  • 5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

  • ?
  • 1
  • REDIS_URL = 'redis://192.168.61.130:6379'
  • 6. 修改spiders.py文件

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • # -*- coding: utf-8 -*-
  • from scrapy_redis.spiders import RedisSpider
  • class ExampleSpider(RedisSpider):
  •   name = 'myspider'
  •   redis_key = 'test_key'
  •   allowed_domains = ['www.example.com']
  •   def parse(self, response):
  •     print(1111)
  •     pass
  • 7. 可以执行这个爬虫了

  • ?
  • 1
  • scrapy runspider example.py
  • 8. 进入redis 

  • ?
  • 1
  • 2
  • redis-cli -h 127.0.0.1 -p
  • rpush test_key http://test.com
  • 即可看到爬虫开始运行了

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接

    原文链接:https://blog.csdn.net/dasgk/article/details/79883627