吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 1929|回复: 4
收起左侧

[已解决] python爬取网页获取不到数据

[复制链接]
warfid 发表于 2021-7-3 18:58
本帖最后由 warfid 于 2021-7-3 20:23 编辑

[Python] 纯文本查看 复制代码
import requests
from lxml import etree

url = 'https://www.shadertoy.com/shadertoy'
data = {
    's': {"shaders": ["XsBXWt"]},
    'nt': '1',
    'nl': '1',
    'np': '1'
}
headers = {

    'Referer': 'https://www.shadertoy.com/view/XsBXWt',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'

}
resp = requests.post(url, data=data, headers=headers)
print(resp.status_code)
print(resp.text)


微信截图_20210703185038.png
爬https://www.shadertoy.com/view/XsBXWt的代码没有返回值,不知道是怎么反爬,求大腿赐教

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

kll545012 发表于 2021-7-3 19:38
你这URL里的class="newhref 是什么东西~~~还是你这是从哪复制的?
lihu5841314 发表于 2021-7-3 19:44
data='s=%7B%20%22shaders%22%20%3A%20%5B%22XsBXWt%22%5D%20%7D&nt=1&nl=1&np=1'  data改成这个就好
santus36 发表于 2021-7-3 19:52
问题应该出在嵌套dict上,你可以百度一下怎么解决

免费评分

参与人数 1吾爱币 +1 热心值 +1 收起 理由
warfid + 1 + 1 谢谢@Thanks!

查看全部评分

 楼主| warfid 发表于 2021-7-3 20:22
santus36 发表于 2021-7-3 19:52
问题应该出在嵌套dict上,你可以百度一下怎么解决

[Python] 纯文本查看 复制代码
data = {
    's': '{ "shaders" : ["XsBXWt"] }',
    'nt': '1',
    'nl': '1',
    'np': '1'
}

谢谢少了引号
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-1 06:48

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表