吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 2811|回复: 17
收起左侧

[Python 原创] 【原创源码】【python】爬虫--壁纸

[复制链接]
Dlam万能的猫 发表于 2022-3-18 22:28
本帖最后由 Dlam万能的猫 于 2022-3-18 22:45 编辑

【原创源码】【python】爬虫--壁纸

需要下载requests,bs4两个库

py文件放到哪里,图片就保存到哪里

代码:

import requests
from bs4 import BeautifulSoup
import re

for page in range(1, 1229):
    print('正在下载第' + str(page) + '页...')
    url = 'http://www.netbian.com/index_' + str(page) + '.htm'
    if page == 1:
        url = 'http://www.netbian.com/index.htm'  # 第一页 url 与后面不同,做一下替换
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
    response = requests.get(url, headers=headers)
    bs = BeautifulSoup(response.content, 'lxml')
    li_list = bs.find('div', class_="list").ul.find_all('li')  # 获取li标签
    for i in li_list:
        href = i.find('a')['href']
        if '/desk' in href:
            number = re.findall("\d+", href)[0]
            pic_url = 'http://www.netbian.com/desk/' + number + '-1920x1080.htm'  # 深层页面
            response2 = requests.get(pic_url, headers=headers)
            bs2 = BeautifulSoup(response2.content, 'lxml')
            final_url = bs2.find('td').a['href']  # 图片下载地址
            pic_name = bs2.find('td').a['title'] + '.jpg'  # 图片名字
            response3 = requests.get(final_url, headers=headers)
            with open(pic_name, 'wb') as f:
                f.write(response3.content)

运行截图:

运行截图

运行截图

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| Dlam万能的猫 发表于 2022-3-19 14:48
importlove 发表于 2022-3-19 10:56
感谢楼主,想请教如果需要下载验证码,或者需要进入下一层页面后怎么爬取呢?

这太难了,我直接放弃
suoai216 发表于 2022-3-18 23:54
lanlano 发表于 2022-3-19 00:06
我这种小白看不懂啊。。。跟看天书一样。。
闹森 发表于 2022-3-19 00:09
基本上是看太书📖
x3zjjj 发表于 2022-3-19 00:47
感觉我Python学了个寂寞
cy2931 发表于 2022-3-19 09:13
谢学习啦,感谢大佬
wikiyc 发表于 2022-3-19 09:43
好思路,谢谢分享。
32K 发表于 2022-3-19 10:44
好思路,拿去实践下
ncu.xxy 发表于 2022-3-19 10:52
一千多页,你试试加个线程或者协程
importlove 发表于 2022-3-19 10:56
感谢楼主,想请教如果需要下载验证码,或者需要进入下一层页面后怎么爬取呢?
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止灌水或回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-6-11 15:48

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表