python自动登录网页，令牌每天不定时过期

wenhao2002 · 发表于 2024-10-16 10:23

搞了一个自动爬取网页数据的脚本，最近网页改了，令牌每天不定时销毁过期。导致爬取失败，有没有办法自动更新令牌。

wenhao2002 · 发表于 2024-10-16 10:55

就是有没有办法每天自动更新Bearer值

wenhao2002 · 发表于 2024-10-16 11:19

headers = {
"Authorization": "Bearer 7682e258-9ed6-408e-a728-973a1804bff3",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
}

标红的会每天不定时过期，有啥办法可以自动更新替换

42328669425 · 发表于 2024-10-16 13:10

那你怎么获取的

wenhao2002 · 发表于 2024-10-16 14:01

42328669425 发表于 2024-10-16 13:10
那你怎么获取的

每天手动登录，再复制出来更新这个令牌。

42328669425 · 发表于 2024-10-16 14:16

wenhao2002 发表于 2024-10-16 14:01
每天手动登录，再复制出来更新这个令牌。

起码得贴网站吧虽然不太会Python
大概思路应该就是加个验证没爬成功就模拟登录，获取Bearer

kyosnow · 发表于 2024-10-16 14:36

考虑使用RPA工具

Cristy · 发表于 2024-10-16 14:48

销毁是强制销毁吗？不是的话，搞个进程在后面找找关键的请求试试。隔几分钟请求一下，把你爬网页的接口定时调用一下，一般有请求活跃 Authorization不会失效。
如果是一天强制销毁一次，这个时间不算长，这样正常使用的用户前端肯定会有一个refreshtoken 找下这个用refreshtoken 找一下刷新Authorization的请求（一般是post请求），应该能拿到新的。

188224912 · 发表于 2024-10-16 14:54

把Authorization放一个独立变量，加个失败判断，失败后重新自动获取令牌就好。重点就是你得搞定自动获取Authorization，网址也没有大家也没辙啊

xieda11 · 发表于 2024-10-16 15:16

用python的request库去把登录接口的Authorization返回值存起来，作为爬取脚本的入参

帐号		自动登录	找回密码
密码			注册[Register]

[经验求助] python自动登录网页，令牌每天不定时过期