【Python】-初学笔记-爬取水果食品价格-总计408511条

surepj

初学Python爬虫，很多不懂，纯属学习，简单获取了下这个批发市场的食品价格数据。
我看不带请求头（UA、cookies、referer等）也能拿到数据，就没放进去。
没分类的总数据量有408511条（要分类的话，可以在请求时附带上数据），大家可以研究研究各种物品的价格及走势。

[Python] 纯文本查看 复制代码

import requests,pandas # 导入两个模块

url = 'http://www.xinfadi.com.cn/getPriceData.html' # 数据请求的网址
resp = requests.post(url,data={'limit':100}) # 数字为想获得的数据量，最多有408511条数据
get_data = resp.json() # 将得到的数据，解析为json格式
result = get_data['list'] # 保留有用信息
df = pandas.DataFrame(result) # pandas处理数据
df.to_csv('price.csv',index=False,encoding="gbk") # 写入csv文件
print('done!')

surepj

随遇而安8 发表于 2021-12-18 16:13
json嵌套很多层的数据，怎么取出键值对，一层一层扒开？

[Python] 纯文本查看 复制代码

{'current': xxx, 'limit': xxx, 'count': xxxx, 'list': [{'id': xxxx, 'prodName': 'xxx',  'prodCat': 'xxx',...{:}]}

当时就是拿到这样的嵌套文件，也很晕。
后来我用第6行那个：result = get_data['list'] 去掉了前面的信息，只保留list:后面的值，也就是列表套字典数据。

52小柯柯

surepj 发表于 2021-12-17 11:35
拿到json数据，不知道怎么写入csv格式数据

json不就是dict？dict转list然后写入就行，csv支持list写入，只要把dict的key忽略只留下value，然后用value组成一个list就可以啦

hgf7610

看不懂      太高深了        

mana19

楼主加油，爬虫还是很有意思的

booting_yao

楼主加油，比我厉害多了

游所为

一脸懵，楼主能带带我不

因为有钳

挺好的真不错，有时间我也想学

52小柯柯

自带csv模块更轻量一点

surepj

hgf7610 发表于 2021-12-17 10:57
看不懂      太高深了

我在代码后面有些注释，大概过程，第一步就是用requests模块获得数据，第二步用pandas把数据写入csv文件。

surepj

游所为 发表于 2021-12-17 11:22
一脸懵，楼主能带带我不

我也初学，纯属小白

surepj

52小柯柯 发表于 2021-12-17 11:22
自带csv模块更轻量一点

拿到json数据，不知道怎么写入csv格式数据