迷站论坛图片一键批量下载PY源码

xkh5823

[Python] 纯文本查看 复制代码

# -*- coding: utf-8 -*-
# author: renmjchn
import requests
from bs4 import BeautifulSoup
import os
from tqdm import tqdm
import urllib3


requests.packages.urllib3.disable_warnings()


def dl_pic(url, tt):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36'}
    res = requests.request('GET', url, headers=headers, verify=False)
    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    links = soup.find_all('img', class_="zoom")
    name = tt
    pbar = tqdm(range(len(links)), desc=name)
    if os.path.exists('pics'):
        pass
    else:
        os.mkdir('pics')
    for i in links:
        pbar.update(1)
        soup2 = BeautifulSoup(str(i), 'html.parser')
        link = soup2.img['file']
        res2 = requests.request('GET', link, headers=headers, verify=False)
        cont = res2.content
        path = 'pics\\' + tt
        if os.path.exists(path):
            pass
        else:
            os.mkdir(path)
        with open(path + '\\' + str(links.index(i)) + '.jpg', 'wb+') as f:
            f.write(cont)
    pbar.close()



def dl_pic_one_page(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36'}
    res = requests.request('GET', url, headers=headers, verify=False)
    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    dic = soup.find_all('a', class_='s xst')[4:]
    for i in dic:
        soup2 = BeautifulSoup(str(i), 'html.parser')
        title = soup2.a.string
        link = site + soup2.a['href']
        dl_pic(link, title)


if __name__ == '__main__':
    site = '需要在这里修改论坛网址首页'  # 对应修改这里中文提示首页
    num = int(input('请输入需要下载的页数，默认从第1页开始下载：'))
    for i in range(num):
        url = '需要在这里修改论坛网址对于的下载页' % (str(i + 1))   # 对应修改这里中文提示对应下载页
        dl_pic_one_page(url)
    print('全部下载完成！')

q5088

沙发，感谢分享思路正需要。

luopo

这是下载哪个网站的图片啊

主骑士

流弊，谢谢分享

www.52pojie.cn

楼主，我怀疑你在开车但疑车无据

indian806

我也想知道是什么论坛啊，现在差这一步了，其他没问题了

indian806

url = 'https://www.mzitu.com/101553' % (str(i + 1))        # 对应修改这里中文提示对应下载页
这一行总是报错，求解

xkh5823

indian806 发表于 2019-7-29 11:39
url = 'https://www.mzitu.com/101553' % (str(i + 1))        # 对应修改这里中文提示对应下载页
这一行 ...

下载也就像这样，不是具体的页面，https://www.52pojie.cn/forum.php?mod=guide&view=newthread

indian806

xkh5823 发表于 2019-7-29 19:33
下载也就像这样，不是具体的页面，https://www.52pojie.cn/forum.php?mod=guide&view=newthread

你这链接，让我飞到了天际现在放代码，起码让我们知道点常见错误吧，要不然百度解决不了，没办法运行的