本帖最后由 苏紫方璇 于 2024-7-22 20:49 编辑
DrissionPage是一个非常有实力的python自动化库，利用DrissionPage完成对某音评论区的爬取
略有bug，大佬们可以借鉴使用
主要是利用DrissionPage的接口监听功能去完成，不涉及二级评论。
略有不足，请大佬指正
[Python] 纯文本查看 复制代码 from DrissionPage import WebPage, ChromiumOptions
from DataRecorder import Recorder
import datetime
import re
# 初始化浏览器信息
# path = ''
# co = ChromiumOptions().set_browser_path(path).save()
page = WebPage('d')
# 获取抖音界面
page.get('https://www.douyin.com/')
# 登录
input('登录后回车：')
# 开启监听
page.listen.start('https://www.douyin.com/aweme/v1/web/comment/list/?')
# 设置保存路径
recorder = Recorder('抖音评论.xlsx', cache_size=100)
# 设置编码格式
recorder.set.encoding('utf8')
# 设置保存表头
recorder.set.head(('作者', 'uid', 'ip属地', '内容', '时间'))
# 移动焦点到视频中
page.wait(1)
# 点击屏幕暂停或播放，移动鼠标焦点
page.actions.move_to('css=.xg-video-container video').click()
# 模拟按下H键，尝试移动焦点
page.actions.key_down('H')
# 等待加载定位评论按钮
page.wait.eles_loaded('css=.kT7icnwc div svg')
page.ele('css=.kT7icnwc div svg', timeout=3).click()
# 获取评论区数据信息
text = page.ele('css=div div .qx5s_hbj').text
re_text = int(re.findall(r'全部评论\((.*?)\)', text)[0])
print(f'评论数量：{re_text}')
batal = re_text / 20
# 计算余数
remad = re_text % 20
batal = int(batal if remad == 0 else batal + 1)
print(f'预计执行次数：{batal}次')
for i in range(1, batal + 1):
# 获取评论监听接口信息
try:
res = page.listen.wait(timeout=8)
videes = res.response.body['comments']
# 数据清洗
for video in videes:
ip = video['ip_label']
text = video['text']
name = video['user']['nickname']
uid = video['user']['uid']
time = datetime.datetime.fromtimestamp(video["create_time"])
# 写入数据
recorder.add_data((name, uid, ip, text, time))
recorder.record()
# 设置数据滚动和结束逻辑
page.wait(0.5)
page.actions.move_to('css=.comment-mainContent').scroll(5000, 0)
print(f'------->第{i}次执行完成<-------------')
except:
print(f'------->第{i}次请求监听超时,自动退出<----------')
print(f'------->实际获取{i - 1}组数据<----------')
break
| 
[复制链接]
发表于 2024-7-22 15:47
|
发表于 2024-7-22 20:30
