舆情分析之微博爬取，数据清洗，词云图生成，情感打分

wuqi001

舆情分析
1.选定热点事件
2.爬取微博评论
3.数据清洗（删除非中文与非日期字符）
4.词云图生成
5.情感得分
6.事件主题分析


2.微博评论爬取
import sys

import requests
import random
import time
#22:41第一版完成
#19.47第二版完成
#爬取微博某个事件的评论与其子评论

class Main(object):
    url = 'https://m.weibo.cn/comments/hotflow?'                    #评论主链
    url_chi='https://m.weibo.cn/comments/hotFlowChild?'             #子评论主链
    user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
        "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
        "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
        "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
        "UCWEB7.0.2.37/28/999",
        "NOKIA5700/ UCWEB7.0.2.37/28/999",
        "Openwave/ UCWEB7.0.2.37/28/999",
        "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
        # iPhone 6：
        "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
    ]
    cookies=[ ]        #此列可储存多个cookie值  
    headers = {'User-Agent': random.choice(user_agent)
               ,'Cookie': random.choice(cookies)
               # 'Referer': 'https://m.weibo.cn/detail/4497103885505673',
               # 'Sec-Fetch-Mode': 'navigate'

               }


    params = {}
    params_chi={}
    list_text = []                                  #储存评论文本
    data_text={}
    cid_list=[]
    date_list=[]
    proxies = {                                     #代{过}{滤}理
        'http': 'http://118.113.247.115:9999',
        'https': 'https://118.113.247.115:9999'
    }

    def get_max_id(self):
        try:
            try:
                response = requests.get(url=self.url, headers=self.headers, params=self.params).json()  #爬取网页
                # print(response)
            except:
                print('e')
                response = requests.get(url=self.url, headers=self.headers, params=self.params).json()  # 爬取网页
                pass
            max_id = response['data']['max_id']                          #get请求时的参数，从前一页json源码中获取
            max_id_type = response['data']['max_id_type']
            data = response['data']['data']


            for i in range(0, len(data)):
                text = data['text']
                date=data['created_at']
                self.data_text[text]=date                                 #将评论日期储存为字典的值，评论储存为键
                cid=data['id']
                # print(text)
                self.list_text.append(text)
                self.cid_list.append(cid)
            # print(self.data_text)
        except:
            max_id=self.params['max_id']
            max_id_type=self.params['max_id_type']
            print('错误！！！')
            print('爬到：',max_id,max_id_type)
            self.save_data()
            sys.exit()
        return max_id, max_id_type
    def get_max_id_chi(self):
        try:                                    #子评论最后一页爬取完之后还会继续爬取，故使用try-except代码块捕捉异常，继续执行爬取
            response = requests.get(url=self.url_chi, headers=self.headers, params=self.params_chi).json()
            # print(response)
            max_id = response['max_id']                 #子评论的json源码格式与主页评论不同，这里的max_id与max_id_type移动到了data外
            max_id_type = response['max_id_type']
            data_chi = response['data']

            for i in range(0, len(data_chi)):
                text = data_chi['text']
                # print(text)
                self.list_text.append(text)
        except:
            max_id=0
            max_id_type=0
            pass

        return max_id, max_id_type


    def __init__(self):

        num_page = int(input('请输入你要爬的页数:'))
        ID = input('请输入你要爬取内容的id：')
        # num_page=555
        # ID=4636281969312670
        return_info = ('0', '0')                                #给第一次爬取的页面初始参数,若程序中途暂停，可输入返回的值重新爬取
        for i in range(0, num_page):
            print(f'正在爬取第{i + 1}页')
            time.sleep(random.randint(0,5))                                      #多休息一会，免得被微博给发现
            self.params = {
                'id': ID,
                'mid': ID,
                'max_id': return_info[0],
                'max_id_type': return_info[1]
            }
            return_info = self.get_max_id()
            print(f'第{i+1}页爬取完毕')
        # self.cid_data()                                   #爬取子评论函数，可关闭
        self.save_data()
    def cid_data(self):
        return_info_chi=('0','0')
        print('子评论共', 10, '页')
        for i in range(10):
            print(f'子评论爬取中，第{i +1}页')
            time.sleep(1)
            self.params_chi={
                'cid':self.cid_list,
                # 'mid':self.cid_list,
                'max_id':return_info_chi[0],
                'max_id_type':return_info_chi[1]
            }
            return_info_chi=self.get_max_id_chi()

    def save_data(self):                    #保存数据
        for text in self.data_text:
            with open('weibo_10_9.txt', 'a', encoding='utf-8') as f:
                date=self.data_text[text]
                # print(date)
                f.write(text)
                f.write('\t')
                f.write(date)
                f.write('\n')


m=Main()

苏紫方璇

代码粘贴建议参考置顶帖的方式
【公告】发帖代码插入以及添加链接教程（有福利）
https://www.52pojie.cn/thread-713042-1-1.html

jamescookers988

Traceback (most recent call last):
  File "C:/迅雷下载/微信公众号爬取/微信公众号爬取/weibo.py", line 54, in <module>
    headers = {'User-Agent': random.choice(user_agent), 'Cookie': random.choice(cookies)}  #'Referer':'https://m.weibo.cn/detail/4497103885505673','Sec-Fetch-Mode': 'navigate'}
  File "C:\Users\john\AppData\Local\Programs\Python\Python38-32\lib\random.py", line 290, in choice
    raise IndexError('Cannot choose from an empty sequence') from None
IndexError: Cannot choose from an empty sequence

吴定辉

可以，学习到了

qianshang666

感谢分享，学习到了

zkq970413

感谢分享～

li20050730

学习了棒

nolimited

看起来很意思！

圣泽

看起来很意思！

bigdawn

有意思，感谢分享

siokangchen

这个有点智能啊，能自动采集热点吗？