吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 76997|回复: 3328
收起左侧

[Windows] 【Python原创】开源美图录福利图片爬虫 V2升级版(已停更)

    [复制链接]
lihaisanhui 发表于 2020-3-11 16:28
本帖最后由 lihaisanhui 于 2020-4-10 14:24 编辑

最新动态[20/4/10]:
楼主下周一(4月13日)要开学了
如果没什么问题的话应该暂时不会更新了
中考加油!

软件说明
上次那版是我的第一个作品,问题太多,最近有点闲,又重新写了个美图录福利图片爬虫。
数据源:www.meitulu.com
目前支持:搜索/标签爬取
最新版本:v2.2
更新日期:20/4/10



更新日志
v2.2.1(20/3/17)
注:该版本为非官方修改版,修改者:@河瞬 https://github.com/heshunme/

1. 去除 搜索关键词不能有符号的限制
2. 新增 输入地址序号爬取单个图集
PS:由于我的电脑打包的exe总闪退,请自行下载源码编译运行。

V2.2
-20/4/10 最终版
1. 修复 图集标题有空格导致运行错误
2. 基本修复 有时爬图卡死问题
3. 去除 搜索关键词不能有符号的限制

-20/3/14
*1.新增 输入标签爬取模式
(注意:目前存在卡死问题,暂时还是少用,等我修复)
  2.修改 使用逻辑

  3.修改 Timeout默认值(由3s改为10s)


V2.1(20/3/12)
  1.优化 输出(给进度条加上了颜色)
  2.优化 略微提速
  3.修复 断线重连的Bug(之前的如果三次重连还失败会闪退)
目前已经在写爬标签的部分了

V2.0 全新升级 (20/3/11)
1.比第一代效率提高1.5倍以上
2.精简代码,比一代减少一半
3.改用面向对象设计,便于维护
4.优化错误处理,防止闪退

展望:增加妹子图的源,并且支持标签+搜索+id三种模式的爬取


测试情况


测试系统:Win10 1909专业版
开发环境:Python3.8.1,VSCode1.42.1.0
PS:Win7能不能用我不知道,请自测!
运行录屏:
1.gif

错误捕获:
输入检查.jpg


重要提醒【必看】
1.下载的图片会储存在运行目录\Photos文件夹
2.输入数据闪退的解决方法
有很多坛友反映软件在输入爬取数量后闪退,请右键管理员身份运行即可解决


3.请求超时、速度慢问题
最近由于本贴大火,各位坛友们都在爬这个网站,服务器当然扛不住,访问超时很正常
为此最新版把Timeout值改为10S,请大家更新下!如果还报错的话请多试几次!实在不行等待一些时间再试!


4.win7闪退问题
请在本贴
上传录屏文件+版本号并@我以确认问题,请勿直接回帖闪退二字!


版本说明
都是绿色免安装的,只是单文件和多文件之分。

Vx.x:单文件打包版,启动慢
Vx.xb:多文件,但更稳定,启动快,win7闪退的可以试试这版(记得反馈)
解压后运行mtl_spider_vx.x.exe

下载地址
  • 成品: 蓝奏云.txt (376 Bytes, 下载次数: 3285)
  • 源码:戳我前往

鉴于大家想要源码,我就放出来吧
请注意:requests,tqdm,colorama,lxml,pypinyin模块请事先安装!




声明
本软件不生产、储存内容,有关资源均来源于网络,作者不为其中内容负法律责任
仅供论坛会员学习交流,请于下载后24小时内删除,请勿用于商业用途!!!


原创不易,留点免费评分行不行?

点评

搂住能写点爬去ICO图标的功能吗?经常写软件找图标比较麻烦  发表于 2020-3-16 07:55

免费评分

参与人数 514吾爱币 +454 热心值 +443 收起 理由
全幼儿园最帅 + 1 + 1 谢谢@Thanks!
聪明的投资者 + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
2543630939 + 1 + 1 谢谢@Thanks!
Finch + 1 + 1 热心回复!
混世小菜鸟 + 1 用心讨论,共获提升!
zoushuo120 + 1 + 1 我很赞同!
jackspar + 1 + 1 谢谢@Thanks!
guoxu1130 + 1 + 1 热心回复!
朝克图 + 1 + 1 我很赞同!
y20904068 + 1 + 1 谢谢@Thanks!
jdg688 + 1 我很赞同!
棉花不好吃 + 1 + 1 搜索刘飞儿爽一把
fir335 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
行行摄摄 + 1 + 1 为什么每次搜索的结果最多是20个?
orange2478 + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
whyTTtalk + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
ansebohan + 1 鼓励转贴优秀软件安全工具和文档!
ycdcsrj + 1 + 1 我很赞同!
laolin999 + 1 谢谢@Thanks!
挥洒灵魂 + 1 谢谢@Thanks!
gfsn + 1 + 1 热心回复!
MinChao丶 + 1 + 1 谢谢@Thanks!
懒猫啊 + 1 + 1 热心回复!
酒八 + 1 谢谢@Thanks!
Andy_Tu + 1 + 1 谢谢@Thanks!
光迷影乱 + 1 + 1 一看就是老色批了
wuhuang0822 + 1 + 1 我很赞同!
Applo_crimm + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
yangjingsm + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
粽子饺子 + 1 热心回复!
sbyy + 1 + 1 谢谢@Thanks!
shadowppp + 1 下载次数好评。。
yirenjieqian + 1 谢谢@Thanks!
maozheng110 + 1 + 1 我很赞同!
jiam2020 + 1 + 1 我很赞同!
可爱小圆 + 1 我很赞同!
15235109295 + 1 + 1 我很赞同!
happy29 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
aflys00 + 1 + 1 我很赞同!
ccearth + 1 + 1 谢谢@Thanks!
jy45321 + 1 + 1 谢谢@Thanks!
暗暗蟹 + 1 + 1 我很赞同!
河瞬 + 1 + 1 谢谢@Thanks!
ing02019 + 1 谢谢@Thanks!
start100 + 1 我很赞同!
damengwuai + 1 + 1 http://www.itmtu.com/可否爬这个??
wx12138 + 1 + 1 谢谢@Thanks!
你可真傻 + 1 + 1 热心回复!
林穆清 + 1 + 1 我很赞同!
she3640 + 1 热心回复!
dujintch + 1 谢谢@Thanks!
VBird01 + 1 + 1 我很赞同!
记+忆 + 1 + 1 我很赞同!
nemo308zhang + 1 + 1 谢谢@Thanks!
abctianli + 1 热心回复!
自去经心 + 1 鼓励转贴优秀软件安全工具和文档!
sharokku4869 + 1 + 1 谢谢@Thanks!
损人害己丶 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
当我入梦 + 1 + 1 谢谢@Thanks!
天外的天 + 1 + 1 我很赞同!
羽翼 + 1 这个不错啊
亲两茶茶 + 1 + 1 这种等级的图怕还是入不了老衲的法眼哦
bill_fish + 1 + 1 我很赞同!
hiruma21 + 1 + 1 我很赞同!
干烧鱼蛋炒饭 + 1 + 1 鼓励转贴优秀软件安全工具和文档!
tunis + 1 + 1 用心讨论,共获提升!
夏520 + 1 + 1 热心回复!
儒雅随和唐傲天 + 1 + 1 用心讨论,共获提升!
starless + 1 谢谢@Thanks!
FENGBO + 1 + 1 谢谢@Thanks!
ZZJxh + 1 + 1 谢谢@Thanks!
阿萨德话噶 + 1 谢谢@Thanks!
HETAOREN + 1 + 1 我不行了~~~~
laoxiangpao + 1 + 1 我很赞同!
melville033 + 1 + 1 我很赞同!
博小弈 + 1 + 1 厉害啊
zwx1314520 + 1 + 1 热心回复!
铭焱 + 1 + 1 我很赞同!
sunline + 1 + 1 谢谢@Thanks!
许亭侯 + 1 + 1 我很赞同!
执念i_ + 1 + 1 热心回复!
时光泪眼 + 1 + 1 谢谢@Thanks!
wzxlly + 1 + 1 我很赞同!
xiao164 + 1 + 1 我很赞同!
吾爱-小牛 + 1 网站主觉得很淦
老妖大叔2020 + 1 我很赞同!
kky008 + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
律政先锋Snake + 1 热心回复!
ssp188 + 1 + 1 热心回复!
FLJX + 1 + 1 谢谢@Thanks!
yzz142 + 1 + 1 谢谢@Thanks!
大萌的微信 + 1 + 1 收藏了好几个美女的写真,真的很棒(营养已经跟不上了)
陌上人 + 1 + 1 我很赞同!
豪豪同学 + 1 + 1 我很赞同!
kdehelp + 1 + 1 谢谢@Thanks!
aym2019 + 1 谢谢@Thanks!
lyk281wl + 1 + 1 谢谢@Thanks!
bourne0325 + 1 + 1 我很赞同!
不二青年 + 1 + 1 我很赞同!
nt200685 + 1 我很赞同!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| lihaisanhui 发表于 2020-3-12 11:24
本帖最后由 lihaisanhui 于 2020-3-14 17:28 编辑

原帖已更新!
op666 发表于 2020-3-15 20:09
热门第一   http://qianye88.com/   这个网站爬一爬~~~都是高清大图。。。大伙把我顶起来。
平繁 发表于 2020-3-13 18:17
代码虽好,可不要贪杯啊,这网站的服务器估计扛不住你们造的,楼主发代码出来是为了学习进步,千万别把人机服务器搞崩了,那以后。。就没的看了
 楼主| lihaisanhui 发表于 2020-3-14 19:24
名字还没想好 发表于 2020-3-14 19:14
可以试试爬这个https://www.jdlingyu.mobi/

这个好,考虑了
醉乡不怕套路深 发表于 2020-3-11 16:33
大佬,能不能爬这个网站https://wallhaven.cc/
普桑尼克2018 发表于 2020-3-18 08:37
反正是给好评  我只需要风景画  那些   凹凸不平的  已经不适合我了。
sqchr888 发表于 2020-3-11 17:05
醉乡不怕套路深 发表于 2020-3-11 16:48
嗯,国外的,没被封已经是万幸了

难倒是我打开这个网站的方式不对?这和身体有什么关系啊
河瞬 发表于 2020-3-16 16:49
本帖最后由 河瞬 于 2020-3-17 15:54 编辑

感谢楼主!我下载了你的源码。

楼主你大可不必专门导入个sys库只为了exit,事实上Python自带有exit()可用,效果类似,这样打包后可能会增大EXE体积
希望加入直接输入对应作品号码下载的功能

另外:
我不是针对任何人,我只想说,在座的各位,都是绅士。
俺也一样

白衣国度 发表于 2020-3-11 16:52

?????????????这不是个壁纸网站吗
白衣国度 发表于 2020-3-11 16:44
醉乡不怕套路深 发表于 2020-3-11 16:33
大佬,能不能爬这个网站https://wallhaven.cc/

好网站,收藏了
非你莫鼠 发表于 2020-3-11 16:39
本帖最后由 非你莫鼠 于 2020-3-11 16:57 编辑

好贵好贵心疼我的CB

测试了下,还可以。就是一张图也就1M不到的 平均500KB ,估计这网站也没上传原图。如果能爬那种原图网站就好了
微信图片_20200311165335.png

78张。30M

78张。30M
白衣国度 发表于 2020-3-11 16:40
围观,一个一只没学好python的小白向大佬请教
18663161384 发表于 2020-3-11 16:42
了不得了不得
Snprszy 发表于 2020-3-11 16:43
感谢分享,需要研究研究
iteniphy 发表于 2020-3-11 16:43
必须把扣除的1cb再赚回来。。。
醉乡不怕套路深 发表于 2020-3-11 16:45

兄弟注意身体
Aid 发表于 2020-3-11 16:46
醉乡不怕套路深 发表于 2020-3-11 16:33
大佬,能不能爬这个网站https://wallhaven.cc/

这个站好卡
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 提醒:禁止复制他人回复等『恶意灌水』行为,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-4-20 11:12

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表