用scrapy框架实现捉取英雄联盟英雄皮肤图片

oskfh · 发表于 2019-3-5 14:29

本帖最后由 oskfh 于 2019-3-5 23:31 编辑

之前看到有人用多线程的生产消费者模型写了一个爬虫来捉英雄皮肤图片,我就想看能不能用scrapy框架实现,
多线程版本爬虫地址:https://www.52pojie.cn/forum.php ... ypeid%26typeid%3D29

因为框架很多东西都封装好,而且scrapy基于twisted异步IO, 效率更快

下面上图, 如果你们感兴趣,可以在下面评论, 给我几个热心值吧,哈哈哈,我会公布源码出来
源码地址: https://github.com/feng504x/my_scrapy

oskfh · 发表于 2019-3-6 14:03

时空之外发表于 2019-3-6 13:48
谢谢楼主啦，不过出了点儿问题~

这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置

oskfh · 发表于 2019-3-6 14:02

时空之外发表于 2019-3-6 13:48
谢谢楼主啦，不过出了点儿问题~

这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置

时空之外 · 发表于 2019-3-5 14:49

亲，是不是把源代码贴出来好点儿

oskfh · 发表于 2019-3-5 15:01

时空之外发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

等会啊,我上传github

oskfh · 发表于 2019-3-5 15:02

时空之外发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

等会啊,我上传 github

oskfh · 发表于 2019-3-5 23:32

时空之外发表于 2019-3-5 14:49
亲，是不是把源代码贴出来好点儿

1楼已更新github地址了

时空之外 · 发表于 2019-3-6 13:48

本帖最后由时空之外于 2019-3-6 13:54 编辑

oskfh 发表于 2019-3-5 23:32
1楼已更新github地址了

谢谢楼主啦，不过出了点儿问题~

时空之外 · 发表于 2019-3-6 14:21

oskfh 发表于 2019-3-6 14:03
这个是redis的,你本地可能没有开redis服务, 或者你去settings.py , 注销最下边的redis的配置

真的可以了，谢谢~

oskfh · 发表于 2019-3-8 18:22

好东西顶一下先啦

帐号		自动登录	找回密码
密码			注册[Register]

[Python 转载] 用scrapy框架实现捉取英雄联盟英雄皮肤图片

免费评分

个人中心