吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 8240|回复: 30
收起左侧

[Python 转载] 利用Fiddler抓包和py的requests库爬取QQ空间说说内容并写入文件

  [复制链接]
yoin 发表于 2019-9-11 18:11
Fiddler 抓取页面截图
tttttttttttttttt.jpg
可以尝试用JSON解析,应该更方便(待解决)

[Python] 纯文本查看 复制代码
#!C:\Program Files\Python36 python
# -*- coding: UTF-8 -*-
"""
@author: 东方不败
QQ空间说说爬取程序
1. 登录QQ空间,获取cookie
2. 利用Fiddler抓取QQ空间说说的URL(Fiddler显示response直接解析成Json,但是自己尝试并未成功,带研究)
3. 利用requests库爬取页面数据
4. 利用re匹配页面内容,获取说说的createTime和content
5. 文件保存写入txt文件
"""


class Spider:
    """emotionSpider类"""
    def __init__(self, cookie):
        """初始化"""
        self.page = 0       # 记录爬取页数
        self.counts = 0     # 记录爬取条数
        self.url = "https://user.qzone.com"      # 爬取的url
        self.cookie = cookie    # 登录cookie

    def get(self, url):
        """利用requests爬取页面内容,并转化成str返回"""
        import requests     # 导入requests库

        """组合headers"""
        headers = {
            "Cookie": self.cookie,
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
        }

        self.url = url

        # 特别提醒:verify=False参数必不可少,关闭HTTPS验证,否则可能报错(踩过的坑)
        try:
            response = requests.get(self.url, headers=headers, verify=False).content
            html = str(response, 'utf-8')
            return html
        except Exception as err:
            print("Error:" + err)

    def analyse(self, content):
        """利用re匹配createTime和con"""
        import re
        con = re.findall("\"con\":\"([^\"]+)", content)
        createTime = re.findall("\"createTime\":\"([^\"]+)", content)
        emotion = tuple(zip(createTime, con))
        return emotion

    def saveEmotin(self, emotion):
        """保存emotion到TXT文件"""
        for i in emotion:
            # 参数encoding='utf-8'要带,避免Unicode编码解析保存(踩过的坑)
            try:
                with open("emotion.txt", "a+", encoding='utf-8') as f:
                    f.write(i[0])
                    f.write(":")
                    f.write(i[1])
                    f.write("\n")
                    self.counts += 1
                    print("已经保存 "+str(self.counts)+" 条说说")
            except Exception as err:
                print("Error:"+err)
        self.page += 1
        print("第"+str(self.page)+"页说说爬取完毕")
        print("#"*50)


if __name__ == "__main__":
    pos = 0
    url = ":"   # Fiddler 抓取的url
    cookie = ":"  # cookie
    spider = Spider(cookie)
    while True:
        emotion = spider.analyse(spider.get(url))
        if len(emotion) > 0:
            spider.saveEmotin(emotion)
            pos += 20   # 通过pos控制下一页
            url = "https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin=65&ftype=0&sort=0&pos="+str(pos)+"&num=20"
        else:
            print("+"*50)
            print("爬取结束!!!共计爬取"+str(spider.counts)+"条说说")
            break



爬取成果
rrrrrrrrrrrrrrrrr.jpg

免费评分

参与人数 5吾爱币 +5 热心值 +5 收起 理由
Dreamll + 1 + 1 我很赞同!
天空宫阙 + 1 + 1 热心回复!
笙若 + 1 + 1 谢谢@Thanks!
xinkui + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
fishjoy + 1 + 1 用心讨论,共获提升!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

 楼主| yoin 发表于 2019-11-21 09:23
骑骡子赶猪 发表于 2019-11-21 08:30
楼主 爬虫最近老有人被逮,能科普一下那些可以爬,那些不可以爬。
除了个人隐私不能爬,其他的有那些可以 ...

推荐一个帖子:最近程序员频繁被抓,如何避免面向监狱编程
 楼主| yoin 发表于 2019-11-21 08:02
无敌的巴啦啦 发表于 2019-11-20 21:24
这是爬的谁的?不能访问的也能爬吗?

山东招考院的,不能访问的不能爬啊
坐久落花多 发表于 2019-9-11 18:30
bug132294 发表于 2019-9-11 19:06
这个不错,关键是可能发挥作用。
enteriny 发表于 2019-9-11 23:41
不错不错,很有用。
yangcg8 发表于 2019-9-12 06:22
非常不错,谢谢分享
zjgk 发表于 2019-9-12 10:16
也有啊,前天不是你也到一个很狂的贴里去了吗?
hqm2019 发表于 2019-9-12 10:40
小白弱弱的问一下能爬QQ空间图片吗
huangxu 发表于 2019-9-12 13:16
来学习下,谢谢分享
 楼主| yoin 发表于 2019-9-12 21:29
hqm2019 发表于 2019-9-12 10:40
小白弱弱的问一下能爬QQ空间图片吗

应该可以的,有时间可以研究一下
 楼主| yoin 发表于 2019-9-12 21:30
zjgk 发表于 2019-9-12 10:16
也有啊,前天不是你也到一个很狂的贴里去了吗?

很狂的贴?一头雾水
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 警告:本版块禁止灌水或回复与主题无关内容,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-3-29 15:30

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表