python用什么保存数据编辑起来比较方便?

netspirit

需要用python整理一些网上抓取的数据,有点类似
大概有几百个条目 每个条目有大概10个属性把
用什么格式来保存读取和修改比较方便?

要求:
1.保存的数据用python读取和修改和其他操作都很方便.就像python自带的字典一样方便
2.保存的数据自己手动查看和修改也很方便


我不会用mysql sqlite之类的


网上的教程普遍都是教你怎么保存就完了
但是什么用什么库最好,怎么样做到保存的数据读取和修改就像python字典一样方便    这些网上没有的


举个例子:比如豆瓣.我不是真的需要保存豆瓣的数据.就是举个例子:这样比较好理解


比如豆瓣里面每一个电影有名字 演员 介绍 还有其他各种信息
我想要一种格式,用python爬下来以后保存起来以后我看起来方便,我修改起来方便,然后我有什么需要我用python操作也方便.
比如我把数据都保存起来了以后我要人工看看每个条目里面有哪些演员,然后人工删掉一些演员,然后在用python编辑这个保存的数据然后在根据一些规则再去修改.
或者刚开始保存的数据不完全,比如豆瓣评分没有.然后后面要继续用脚本更新这个保存的数据.所以要兼顾我观看和编辑方便和python编辑和修改的方便.
简而言之,就是我想问python用什么格式保存数据能够做到人工和python都能够很方便的查看,编辑,修改等等之类的?
然后就是python库很多.网上的教程都是以前的了.现在可能有一些新的库更好用.我想知道用什么库做到这些东西比较方便啊?


补充说明一下 是那种类似表的数据 就是有几百行 每一行有10列
再补充一下python修改需要像修改字典一样方便 不要全读出来转换成字典然后又重新转换格式写回去的
像json这种格式对于这种类似表格的数据并不好查看.json比较适合查看单条的数据.但是对于那种类似excel的大量数据需要对比和修改的就不太方便了

a90120411

netspirit 发表于 2022-2-20 03:05
csv用python追加和修改和批量替换之类的不好操作把 @luyers @a90120411

csv和其他本地文本类型的存储格式的使用场景：
1、只适用于一些数据量小的场景，因为数据多了之后速度慢，数据没有索引。
2、对数据进行关联查询、条件查询的需求简单的场景。
3、数据交换时使用，A系统的数据共享给B系统。
------
建议：
数据库的使用是编程基础，可以从使用sqlite开始学习一下，主要是学习了解sql查询语言。
不同的格式之间都是可以相互转换的，要根据实际场景活学活用，并不是说某一种方案就一定比别的方案领先多少。

netspirit

没有采纳也没关系 能给出比较好的建议的都给你评分啊

我想吃掉你i

csv 简单粗暴

a90120411

可以了解一下Python序列化的相关技术。
通用的序列化格式也就那么几种，JSON、XML、CSV，一般场景用JSON就可以了。
处理复杂一些的最好还是弄个数据库，sqlite轻量级、mysql、MongoDB之类的。

luyers

json吧 python处理起来还是很方便的 导入json库就行了 就是人工操作稍微有点麻烦

luyers

至于CSV 你可以把它当成简化的excel表格 可以使用excel打开 记事本也行
用python操作的话 比json麻烦一点
如果你数据结构简单 可以使用这两个 复杂的话 还是推荐数据库 mysql啥的
python自带了一个数据库 sqlite 导入sqlite3就可以用了 也挺方便的

lizy169

我用的是CSV格式，python打开也方便，自己点开也方便，自己点开就跟操作EXCEL一样

SonDanmbi

你这个需求适合用mongodb，不会用的话直接用json包也行

[Python] 纯文本查看 复制代码

from json import dumps, loads

def dump2file(file_path, items):
    with open(file_path, 'w') as f:
        f.write('\n'.join([dumps(item, ensure_ascii=False) for item in items]))

def load_from_file(file_path):
    with open(file_path, 'r') as f:
        return [loads(line) for line in f.read().strip().split('\n')]

if __name__ == '__main__':
    movies = [{"actor": "张三", "name": "电影1"}, {"actor": "李四", "name": "电影2"}]
    dump2file('./movies.txt', movies)
    print(load_from_file('./movies.txt'))

zach14c

pyexcel+Excel无敌!

[Python] 纯文本查看 复制代码

import pyexcel
datas = []
for i in range(0,1000):
    datas.append({"Col1":i, "Col2":"text-" + str(i)})

pyexcel.save_as(records=datas, dest_file_name="0000.xls")

[Python] 纯文本查看 复制代码

datas = pyexcel.iget_records(file_name="0000.xls")
for data in datas:
    print(data["Col1"], data["Col2"])
    break