吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 3068|回复: 17
收起左侧

[Python 原创] scrapy初体验

[复制链接]
QingYi. 发表于 2021-6-27 18:54
首先需要安装scrapy : https://doc.scrapy.org/en/latest/intro/tutorial.html


目标地址: https://news.cnblogs.com/


代码以附件形式上传



把爬取到的所有内容保存到本地和数据库中


代码里面都有注释,可以参考学习





从main函数运行




QQ截图20210627184715.png


东西我都给大家填好了 只需要填入你的cookie 即可


QQ截图20210627184859.png


最后运行 效果图如下:
scrapy_cnblogs.png

总结:
关于这次scrapy的体验 让我学到只要能看到数据就可以丢给scrapy去下载,是异步的。爬取速度非常之快,不到一分钟就能爬取到了一千条+数据,数据库最多显示1000条数据了。
还是十分的简单,需要多理解消化。
ArticleSpider.7z (62.99 KB, 下载次数: 37)

免费评分

参与人数 2吾爱币 +11 热心值 +2 收起 理由
苏紫方璇 + 10 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
music984 + 1 + 1 厉害了给力

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| QingYi. 发表于 2021-6-28 13:44
本帖最后由 QingYi. 于 2021-6-28 13:46 编辑
fangqiezi 发表于 2021-6-28 13:25
你好, 可以出个  爬取一个网站链接,比如一个网站,里的所有链接,去除外网的链接,循环爬,获取到所有链 ...

理论上是可以做到。
Migroom 发表于 2021-6-27 19:40
厉害了给力

免费评分

参与人数 1吾爱币 -5 收起 理由
苏紫方璇 -5 请勿灌水,提高回帖质量是每位会员应尽的义务!

查看全部评分

 楼主| QingYi. 发表于 2021-6-27 19:46
Wapj_Wolf 发表于 2021-6-27 20:25
5分有些小贵,需要时再来,看图过瘾后飘走。
星辰一枚 发表于 2021-6-27 20:56
看着还是比较厉害,有点贵。
music984 发表于 2021-6-27 21:54
Darkline 发表于 2021-6-27 20:20
楼上的哥们  水经验呢    当我看到下载次数0再看他的回复  我笑了。

楼主真相了
 楼主| QingYi. 发表于 2021-6-27 22:19
Wapj_Wolf 发表于 2021-6-27 20:25
5分有些小贵,需要时再来,看图过瘾后飘走。

还好 CB是免费的,写这些代码有花费我的时间和精力。
nizsm123 发表于 2021-6-28 08:32
代码是不是该单独贴出来下???
叫我小王叔叔 发表于 2021-6-28 08:47
就喜欢注释全的代码,学习的好教程,感谢
 楼主| QingYi. 发表于 2021-6-28 09:49
nizsm123 发表于 2021-6-28 08:32
代码是不是该单独贴出来下???

You have a great idea
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止灌水或回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-3-29 14:12

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表