吾爱破解 - LCG - LSG |安卓破解|病毒分析|破解软件|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

搜索
查看: 1312|回复: 32
上一主题 下一主题

[Python] 用Python爬取百度文库0下载券的免费文档详细步骤,附可执行软件

  [复制链接]
跳转到指定楼层
楼主
guosong1213 发表于 2020-1-14 21:42 回帖奖励
以前在百度文库上搜索文档,经常会找到不需要下载券的免费文档。但是现在百度文库把免费的文档都分散到了后面,让人不容易找到。
要爬取这些文档,首先要分析百度文库的搜索内容,有的需要下载券,有的需要0下载券但是VIP专享


我们需要0下载券又没有VIP专享的文档,比如下面这样的:

我把所有0下载券的文档标题、格式、时间、大小、下载量存到数组,打印出来。
需要先遍历所有的搜索页,我分析了一下地址:
https://wenku。baidu。com/search?word=%C8%FD%C9%FA%C8%FD%CA%C0%CA%AE%C0%EF%CC%D2%BB%A8&org=0&fd=0&lm=0&od=0&pn=10
这个地址只有Word和pn这两个参数是变化的,而且很容易分析出Word是搜索的关键字,pn可以理解为页码,pn=0是第1页,pn=10是第2页。
搜索的关键词需要先经过编码再添加到地址中。

运行代码输出的部分结果:

打开第一个结果的链接,就是不需要下载券的文档,可以直接下载了:

下面是完整代码和详细注释:
[Python] 纯文本查看 复制代码
from urllib import parse
import requests
import webbrowser
from pyquery import PyQuery as pq

def getPage(keyW):
    pn = 0#从第1页开始
    try:
        while keyW != '':#关键词不能为空
            url = 'https://wenku.baidu.com/search?word=' + keyW + '&org=0&fd=0&od=0&pn=' + str(pn)
            r = requests.get(url)
            r.encoding = 'gb2312'#需要先将获取的源码进行编码再交给pyquery,否则汉字都是乱码
            doc = pq(r.text)
            len1 = len(doc('dl'))#dl是每条搜索内容的标签,这一句是获取当前页的搜索数
            if pn == 0 and len1 == 0:
                #百度文库中没有搜索不到结果的情况。如果第一页就没有结果,说明需要验证网页,
                # 因为如果搜索太频繁,百度文库会提示需要验证
                print("提示:因操作频繁,本次需要验证。验证完成后,重新搜索。")
                webbrowser.open(url, new=0)#这一句可以直接打开浏览器,自己手动在网页上验证。
                                        # 验证完跳出循环,运行结束。自己再重新执运行码。每天最多只需验证一次。
                break
            else:
                for dl in range(len1):#遍历所有结果
                    list = []
                    dl_eq = doc('dl').eq(dl)#这样获取的dl标签的源码,这一句很重要
                    if 'VIP专享' not in dl_eq.find('.ico-vip-special').text() and '0下载券' in dl_eq.find('.detail-info').text():
                    #判断是不是0下载券,又没有VIP专享
                        list.append(dl_eq.find('.log-xsend').text())#标题写入list数组
                        list.append(dl_eq.find('.ic').attr('title'))#格式写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[0])#日期写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[1])#大小写入list数组
                        list.append(dl_eq.find('.detail-info').text().split('|', 4)[2])#下载量写入list数组
                        list.append(dl_eq.find('.log-xsend').attr('href'))#链接写入list数组
                        print(list)
                if len(doc('.page-content .next'))==0:#当网页中没有下一页标签就是最后一页了。.page-content .next是下一页的class
                    print("提示:搜索完成。")
                    break
                pn = pn+10#进入下一页
        else:
            print("提示:请输入关键词。")
    except requests.exceptions.ConnectionError:
        print("提示:网络异常,请检查网络并重新搜索!")

if __name__ == '__main__':
    keyWord = "三生三世十里桃花".replace(' ', '')#去掉关键词中的空格,关键词根据个人需要修改
    keyW = parse.quote(keyWord.encode('gb2312'))#对关键词进行编码
    getPage(keyW)#需要搜索的关键词


为了方便使用,我用wxpython打包了可执行程序:

软件成品后期在论坛发布。

免费评分

参与人数 7吾爱币 +7 热心值 +5 收起 理由
剽完不给钱 + 1 我很赞同!
resu + 1 + 1 用心讨论,共获提升!
羞答答的玫瑰 + 1 + 1 我很赞同!
sunnylds7 + 1 + 1 热心回复!
qs1120 + 1 正在学python,先学下解题思路
cdwdz + 1 + 1 谢谢@Thanks!
Blocking + 1 + 1 谢谢@Thanks!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

推荐
 楼主| guosong1213 发表于 2020-1-15 00:49 <
mmr.chenbuer 发表于 2020-1-15 00:43
爬完之后下载的 在哪看看

没有下载,自己打开链接下载。因为有的文档可能是您不需要的。搜索的文档都是不需要下载券的
推荐
 楼主| guosong1213 发表于 2020-1-15 23:04 <
随梦期初 发表于 2020-1-15 18:20
很好的资源,没想到百度文库的内容也能直接下载

百度文库有不需要下载券的文档,但是不多
沙发
DDJerry 发表于 2020-1-14 22:03
3#
向往的歌 发表于 2020-1-14 22:19
不如来个成品!!!
4#
bling 发表于 2020-1-14 22:31
又是一位大佬
5#
shubiao 发表于 2020-1-14 22:33
谢谢分享
6#
suifeng418 发表于 2020-1-14 22:43
支持一下楼主
7#
diyikuai 发表于 2020-1-14 22:58
试试一下了。
8#
cdwdz 发表于 2020-1-14 22:58
好东西   期待你的成品早日发布     谢谢
9#
aa702429162 发表于 2020-1-14 23:09
可惜只能爬免费的
10#
Futuresing 发表于 2020-1-14 23:19
支持一下
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:禁止回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2020-1-28 16:02

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表