请教一下关于文件爬取功能

dingfeifei · 发表于 2024-3-20 09:37

工作项目需要，要爬取互联网上的文档信息，但是遇到一个问题就是要登陆验证，小弟只会java，python不会，
请教下吾爱里的大神指导一下，在此万分感谢。

devilpanama · 发表于 2024-3-20 09:37

用request的话先登录，得到cookies再去请求下载，用selenium自动化的话正常登录再模拟点击下载按钮。

dingfeifei · 发表于 2024-3-20 10:15

devilpanama 发表于 2024-3-20 09:50
用request的话先登录，得到cookies再去请求下载，用selenium自动化的话正常登录再模拟点击下载按钮。

能细说一下或者有例子吗，我看下，主要爬虫这块我也是第一次着手，

devilpanama · 发表于 2024-3-20 10:37

dingfeifei 发表于 2024-3-20 10:15
能细说一下或者有例子吗，我看下，主要爬虫这块我也是第一次着手，

目标网址有么，我看看是啥验证

人二 · 发表于 2024-3-20 10:41

直接加cookie爬

dingfeifei · 发表于 2024-3-20 11:16

devilpanama 发表于 2024-3-20 10:37
目标网址有么，我看看是啥验证

https://rmfyalk.court.gov.cn/home.html 这个例库下载几个特别案例

devilpanama · 发表于 2024-3-20 11:40

zf网站，有点刑，但是也能下，刚是抓包试了，先找到搜索的接口，会返回列表，里面的id拼凑出来就是下载地址

dingfeifei · 发表于 2024-3-20 11:49

devilpanama 发表于 2024-3-20 11:40
zf网站，有点刑，但是也能下，刚是抓包试了，先找到搜索的接口，会返回列表，里面的id拼凑出来就是下载地址

我就拿几条信息，他这是公开的。就是用你之前说的request 方式吗

changesmile · 发表于 2024-3-20 11:53

登陆后拿cookie,java请求的时候加上这个cookie试试

devilpanama · 发表于 2024-3-20 11:54

dingfeifei 发表于 2024-3-20 11:49
我就拿几条信息，他这是公开的。就是用你之前说的request 方式吗

都可以用，两个方法不一样，request是找接口直接请求数据，selenium是打开浏览器模拟人工点击下载

帐号		自动登录	找回密码
密码			注册[Register]

[经验求助] 请教一下关于文件爬取功能