python使用grequests爬取豆瓣Top250

大白baymax

grequests是K神基于gevent+requests编写的一个并发发送请求的库,使用起来非常简单。语法和requests类似。使用这个grequests可以节省不少的时间。
使用前需要安装grequests库，安装方法如下:


pip install grequests




话不多说，直接上代码:

[Python] 纯文本查看 复制代码

import grequests
import re

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"
}

for i in range(0,226,25):
    lists = grequests.get(f"https://movie.douban.com/top250?start={i}&filter=",headers=headers),
    re_m = grequests.map(lists)
    result = re_m[0].text
    every = re.findall("<img width=\"100\" alt=\"(.*?)\" src=",result,re.S)
    for rest in every:
        print(rest)

由于本人技术太菜，大神们轻喷。

py学徒

我觉得，如果对爬虫有点兴趣的同学，建议自己玩转：豆瓣Top250。
豆瓣Top250 是爬虫练手的最强题目，而且也非常友好；
每个电影里的字段那么多，还是数字，可以完成很多的练习，甚至可以玩pandas，巴适的很！

建议不要走什么捷径，自己学会。
春节快乐！

ltgb

运行结果
Traceback (most recent call last)：
File "/data/user/0/coding.yu.pythoncompiler
.new/files/default.py", line 3, in <module>
import grequests
ModuleNotFoundError: No module named 'greques
ts'
[Process completed (code 1)- press Enter]

sai609

爬虫采集的目的是什么？

southerlywindly

学习一下、

shiqiangge

请教大神：可否用python爬喜马的全部音频？

大白baymax

ltgb 发表于 2024-2-17 09:00
运行结果
Traceback (most recent call last)：
File "/data/user/0/coding.yu.pythoncompiler

CMD中输入
pip install grequests

次谐波

我估计，妥妥的触发反爬

大白baymax

次谐波 发表于 2024-2-17 09:23
我估计，妥妥的触发反爬

测试过才敢贴代码，测试过再回复行嘛。

milu1123

这个库不会用啊。突然接触这个库，感觉很难用

大白baymax

milu1123 发表于 2024-2-17 10:28
这个库不会用啊。突然接触这个库，感觉很难用

语法和requests类似。