吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 1392|回复: 18
收起左侧

[求助] python爬M图片总是卡住

[复制链接]
lisongmei 发表于 2023-5-23 09:56
本帖最后由 lisongmei 于 2023-5-23 10:01 编辑

用python协程写了个爬图片的代码,但是总是下几十个或者百来个就卡住了。(截图上才200多张,到180就不动了。那上千张的话还不直接死掉)
卡一会之后有报错提示,大致意思应该是超时了吧(猜的)
走过路过的大佬,帮看看是不是哪里需要改一下啊。
图片来源网站主页 https://www.meitu131.net/
仅学术交流。
微信图片_20230523094158.png
微信图片_20230523094215.png

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

一只大菜猫 发表于 2023-5-23 10:30
有反扒吧
 楼主| lisongmei 发表于 2023-5-23 10:33

所以想知道有什么办法能一次多爬一点,我运行的时候,一次如果只下几十张没啥问题。
稍微多一点就死掉了。
Dlan 发表于 2023-5-23 10:43
....你得加上异常判断处理,那不是卡住 是报错了。 另外加上随机agent和随机IP。
 楼主| lisongmei 发表于 2023-5-23 11:33
Dlan 发表于 2023-5-23 10:43
....你得加上异常判断处理,那不是卡住 是报错了。 另外加上随机agent和随机IP。

谢谢啦,原来agent也可以随机,学习啦,
因为我单独复制图片地址进浏览器能正常打开,还寻思着IP没问题
好像有点思路了。
jidesheng6 发表于 2023-5-23 11:48
估计是有limit吧,控制一下频率,还有的是对方的服务器真的不行
liuxiao1999 发表于 2023-5-23 12:21
加上 try exption
redballoon 发表于 2023-5-23 12:56
加个信号量控制一下速度吧
yaojinxin 发表于 2023-5-23 13:34
好工具啊 有没有集成分享下啊 大佬
马马超超 发表于 2023-5-23 14:16
换浏览器头,用免费的代{过}{滤}理ip,或者你可以用selenium去爬,就是慢点
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止回复与主题无关非技术内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-3-29 19:47

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表