excel VBA使用XML获取网页内容故障

loa123

[Visual Basic] 纯文本查看 复制代码

' 创建XMLHTTP对象
Dim xml As Object
Set xml = CreateObject("MSXML2.XMLHTTP")

' 构造URL
Dim playID As String
playID = 192985
Dim url As String
url = "https://sofifa.com/player/" & playID & "/240045/"

' 设置请求头
xml.Open "GET", url, False
xml.setRequestHeader "User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 14_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Mobile/15E148 Safari/604.1"

' 发送请求
xml.send
Dim responseText As String
responseText = xml.responseText ' 捕获完整的响应文本' 检查HTTP请求是否成功
If xml.Status <> 200 Then
    MsgBox "请求失败，状态码：" & xml.Status & ". 响应文本：" & vbCrLf & responseText & ". 请检查playID: " & playID
    ' 清理资源
    Set xml = Nothing
    Exit Sub
End If

使用浏览器访问https://sofifa.com/player/192985/240045/没问题，但是使用VBA就会403访问错误。。。有什么办法解决？？

十万菠萝拍黄瓜

    Dim WinHttpReq As Object
    Set WinHttpReq = CreateObject("WinHttp.WinHttpRequest.5.1")
    WinHttpReq.Open "GET", "https://sofifa.com/player/192985/240045/", False
    WinHttpReq.setRequestHeader "user-agent", "Mozilla/5.0"
    WinHttpReq.Send
    MsgBox WinHttpReq.Status
    MsgBox WinHttpReq.ResponseText

freelive

看看是否需要增加cookie信息。

loa123

十万菠萝拍黄瓜 发表于 2024-7-6 18:59
Dim WinHttpReq As Object
    Set WinHttpReq = CreateObject("WinHttp.WinHttpRequest.5.1")
    W ...

不行。。还是403错误

52kun

从返回的HTML内容来看，网站sofifa.com正在使用Cloudflare的挑战平台来防止自动化访问。当你尝试通过VBA脚本访问该网站时，它会返回一个带有JavaScript和Cookies启用提示的页面，这是因为Cloudflare的系统检测到你的请求没有来自一个正常的浏览器环境。

为了绕过这个限制，你需要模拟一个完整的浏览器环境，这超出了VBA的能力范围。VBA本身并不支持JavaScript的执行，也不容易处理复杂的Cookies和会话管理。此外，Cloudflare的挑战可能包括人机验证，如滑块验证，这是VBA无法完成的。

解决这个问题的一些方法包括：

使用Web Scraping工具： 使用如Selenium这样的工具，它可以启动一个真实的浏览器实例并控制它，从而能够通过Cloudflare的挑战。

API访问： 如果sofifa.com提供了API，你可以直接调用API而不是试图抓取网页内容。

第三方服务： 有些服务提供通过真实浏览器访问网站的能力，例如使用Headless Chrome或Firefox通过Selenium Grid或类似服务。

遵守网站政策： 最好先检查网站的robots.txt文件和使用条款，确保你的数据抓取行为是被允许的。如果网站不允许自动化抓取，你应该尊重这一点。

如果你仍然希望使用VBA进行数据抓取，你可能需要寻找那些不使用Cloudflare或有更宽松访问策略的网站。对于sofifa.com，由于其使用了Cloudflare的保护，使用VBA直接抓取网页内容可能不是一个可行的解决方案。

loa123

52kun 发表于 2024-7-9 08:48
从返回的HTML内容来看，网站sofifa.com正在使用Cloudflare的挑战平台来防止自动化访问。当你尝试通过VBA脚 ...

用WPS的JSA可以么？

52kun

loa123 发表于 2024-7-9 13:24
用WPS的JSA可以么？

应该也不行，最好用Selenium之类的可以模拟浏览器的方法