吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 6981|回复: 49
收起左侧

[Python 转载] 彼岸图网图片爬取

  [复制链接]
Raohz520 发表于 2021-4-24 07:47
彼岸图网图片爬取----Python

1.使用了  四个模块

import time
import requests
from lxml import etree
import os
源代码:#encoding = utf-8
import time
import requests
from lxml import etree
import os

# http://www.netbian.com/ 爬虫
if __name__ == '__main__':
    filePath = './保存图片'
    if not os.path.exists(filePath):
        os.mkdir(filePath)
    page_next = 'http://www.netbian.com/dongman/index.htm' #第一页
    header = { #UA伪装
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36 Edg/89.0.774.77"
    }
    for _ in range(1,133):
        page_text = requests.get(url=page_next, headers=header)
        page_text.encoding = 'gbk'
        tree = etree.HTML(page_text.text)
        li_list = tree.xpath('//div[@class="list"]//li')
        _next = tree.xpath('//div[@class="page"]/a[@class="prev"]/@href')
        if len(_next) == 1:
            page_next = 'http://www.netbian.com/' + _next[0]
        else:
            page_next = 'http://www.netbian.com/' + _next[1]
        for _ in li_list:
            time.sleep(0.3)
            href = _.xpath('./a/@href')
            if href != []:
                href = href[0]
            else :
                continue
            if href == 'https://pic.netbian.com/': #广告
                continue
            page_url = 'http://www.netbian.com/' + href
            title = _.xpath('./a/img/@alt')[0]
            spanIndex = title.find(' ',0,len(title)) #空格位置
            title = filePath + '/' + title[0:spanIndex] + '.jpg'
            img_page = requests.get(url=page_url, headers=header)
            _tree = etree.HTML(img_page.text)
            img_url = _tree.xpath('//div[@class="pic"]//a/img/@src')[0]
            try:
                img_file = requests.get(img_url, headers=header, stream=True)
                if img_file != None:
                    with open(title, 'wb') as f:
                        f.write(img_file.content)
                        print(title + '下载成功')
            except:
                print('异常咯,不用管')
    print('Over 全部下载完成')

免费评分

参与人数 9吾爱币 +9 热心值 +7 收起 理由
ZMQyyds + 1 用心讨论,共获提升!
调一下 + 1 我很赞同!
安道尔的鱼 + 1 + 1 谢谢@Thanks!
egbert_tao + 1 + 1 热心回复!
银狐狸 + 1 + 1 我很赞同!
傲娇小霖霖 + 1 + 1 谢谢@Thanks!
461735945 + 1 + 1 我很赞同!
bright19980322 + 1 + 1 我很赞同!
amus + 1 + 1 热心回复!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

halfone 发表于 2021-4-24 08:37
感谢分享,这样看起来舒服点。
[Python] 纯文本查看 复制代码
import time
import requests
from lxml import etree
import os
源代码:#encoding = utf-8
import time
import requests
from lxml import etree
import os

# http://www.netbian.com/ 爬虫
if __name__ == '__main__':
    filePath = './保存图片'
    if not os.path.exists(filePath):
        os.mkdir(filePath)
    page_next = 'http://www.netbian.com/dongman/index.htm' #第一页
    header = { #UA伪装
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36 Edg/89.0.774.77"
    }
    for _ in range(1,133):
        page_text = requests.get(url=page_next, headers=header)
        page_text.encoding = 'gbk'
        tree = etree.HTML(page_text.text)
        li_list = tree.xpath('//div[@class="list"]//li')
        _next = tree.xpath('//div[@class="page"]/a[@class="prev"]/@href')
        if len(_next) == 1:
            page_next = 'http://www.netbian.com/' + _next[0]
        else:
            page_next = 'http://www.netbian.com/' + _next[1]
        for _ in li_list:
            time.sleep(0.3)
            href = _.xpath('./a/@href')
            if href != []:
                href = href[0]
            else :
                continue
            if href == 'https://pic.netbian.com/': #广告
                continue
            page_url = 'http://www.netbian.com/' + href
            title = _.xpath('./a/img/@alt')[0]
            spanIndex = title.find(' ',0,len(title)) #空格位置
            title = filePath + '/' + title[0:spanIndex] + '.jpg'
            img_page = requests.get(url=page_url, headers=header)
            _tree = etree.HTML(img_page.text)
            img_url = _tree.xpath('//div[@class="pic"]//a/img/@src')[0]
            try:
                img_file = requests.get(img_url, headers=header, stream=True)
                if img_file != None:
                    with open(title, 'wb') as f:
                        f.write(img_file.content)
                        print(title + '下载成功')
            except:
                print('异常咯,不用管')
    print('Over 全部下载完成')
daxiongdeyu 发表于 2021-4-24 08:25
bright19980322 发表于 2021-4-24 08:26
feichedang_cf 发表于 2021-4-24 08:28
感谢分享,期待成品
TheZuo 发表于 2021-4-24 08:30
人生苦短,我用Python. 谢谢大佬分享
461735945 发表于 2021-4-24 08:33
漂亮,谢谢楼主。
野小子SAS 发表于 2021-4-24 08:34
这个应该怎么用
amus 发表于 2021-4-24 08:46
感谢分享!
lt1987 发表于 2021-4-24 08:47
刚好学习一下,
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止灌水或回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-3-29 14:42

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表