excel几万行以上数据筛选python脚本

LIUHJV5

最近要筛选一个表格中数据，给个发现excel无法筛选超过1w行之后的数据，然后就有了这个脚本

[Asm] 纯文本查看 复制代码

import pandas as pd
import numpy as np

try:
    # 1. 读取文件
    df = pd.read_excel('1.xlsx', engine='openpyxl')
    
    # 2. 检查目标列是否存在
    target_col = '列名'  # 替换为实际列名
    if target_col not in df.columns:
        available_cols = df.columns.tolist()
        print(f"错误：列 '{target_col}' 不存在！")
        print("可用列名:", available_cols)
        exit()
    
    # 3. 检查并处理空值
    null_count = df[target_col].isnull().sum()
    if null_count > 0:
        print(f"警告：列 '{target_col}' 中有 {null_count} 个空值，已自动处理")
    
    # 4. 安全筛选

    result = df[df[target_col].str.contains('xx', na=False)] #xx为要筛选的名称

    # 5. 保存结果
    if len(result) > 0:
        result.to_excel('结果.xlsx', index=False, engine='openpyxl')
        print(f"成功筛选出 {len(result)} 行数据，已保存到 '结果.xlsx'")
    else:
        print("未找到包含'xx'的数据行")
        
except Exception as e:
    print(f"程序出错: {str(e)}")
    print("请检查：")
    print("1. 文件路径是否正确")
    print("2. 文件是否被其他程序占用")
    print("3. 列名是否存在空格或特殊字符")

望对各位有所帮助！

苍梧老牛

对于大批量的excel 数据,,我一般是采用将 excel 导入到数据库(mysql)中再处理, 使用导入的软件为sqlyog.

苍梧老牛

xgzhsd 发表于 2025-6-10 08:47
这个只让试用

SQLyog 13.1

通过网盘分享的文件：
链接: https://pan.baidu.com/s/1fbCEQYcuSJpZLaptyAwybA?pwd=52pj 提取码: 52pj 复制这段内容后打开百度网盘手机App，操作更方便哦

火绒最新版检测通过.

jinok0877

谢谢，这个代码确实可以试一试。自己的代码动不动就一大堆。

火柴

这个还没找到实际需要使用的场景

zhiguang456

谢谢，这个脚本好像对我有用。

kulouxiaohai

这个对不同的数据表格，需要重写代码吧？

enlight

excel可以搜索着筛啊，只是有些不能选择

jun269

这个主要是哪方面的筛选呢？

52soft

数据量大的可以用

tmhacker

转CSV  用 sublime 处理