news 2026/7/7 21:39:16

高效读取 100 万行 Excel 大文件数据

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
高效读取 100 万行 Excel 大文件数据

我先尝试了市面上常见的几套方案:

方法描述性能结果结论
pandas方便但会一次性加载大内存20–40 秒太慢
openpyxl原生解析 xlsx60 秒以上最慢
pyxlsb解析 xlsb 二进制~3min30s可用但不够
CSV(Excel 转 UTF-8)纯文本读取9 秒内最快方案,无可争议

👉 大量资料与 GPT 的技术建议都指向:CSV 是读取速度最快的格式(文本解析远快于 XML / PKG 结构)

但第一次用 CSV 时却发现速度不够快,排查后发现:

❌ 用代码转换 xlsx → csv,非常慢

✅ 用原生 Excel 手动转换为 CSV UTF-8,性能最高 (WPS 转的 CSV 不是 UTF-8,会导致解析异常,不推荐)

最终测试:CSV UTF-8 格式 → 读取 80 万行,仅需 8–9 秒

性能提升超过20 倍


方案一(对比用):XLSB 版本(3.5 分钟)

from pyxlsb import open_workbook def read_xlsb_to_3d_list(file_path, sheet_name, chunk_size=10000): result = [] current_chunk = [] row_count = 0 with open_workbook(file_path) as wb: with wb.get_sheet(sheet_name) as sheet: for i, row in enumerate(sheet.rows(), start=1): if i == 1: continue row_data = [cell.v for cell in row] current_chunk.append(row_data) row_count += 1 if row_count % chunk_size == 0: result.append(current_chunk) current_chunk = [] if current_chunk: result.append(current_chunk) return result

优点:能直接读取 xlsb缺点:速度慢,不适合百万级数据


最终推荐方案:CSV 超高速版本(9 秒内)

性能最佳的做法流程

  1. 用 Excel 手动把.xlsx转为.csv (UTF-8)

  2. 使用下面的纯 Python CSV 流式读取代码

高性能 CSV 方案代码

import csv def read_csv_as_3d_list(csv_path, batch_size=10000, encoding="utf-8"): all_data = [] batches = [] current_batch = [] with open(csv_path, "r", encoding=encoding, newline="") as f: reader = csv.reader(f) next(reader, None) # 跳过表头 for row in reader: all_data.append(row) current_batch.append(row) if len(current_batch) >= batch_size: batches.append(current_batch) current_batch = [] if current_batch: batches.append(current_batch) return [all_data, batches]

实测结果(80 万行)

  • ⏱ 耗时:8–10 秒

  • ✔ 内存占用稳定

  • ✔ 三维结构满足 RPA 使用场景

  • ✔ 影刀流程执行无卡顿


经验总结

  1. 格式比工具更重要:CSV 是绝对的性能王者

XLSX 是压缩包 + XML,需要大量解析成本。

CSV 是纯文本,解析速度是数量级优势。

  1. 不推荐用 WPS 转 CSV

WPS 导出的 CSV 默认编码不是 UTF-8,会导致解析异常。

  1. 大文件一定要流式读取

不要一次性加载 DataFrame,否则内存和 CPU 都会爆。

  1. 每 1 万行切片是最佳折中

可兼顾可视化和后续处理的性能。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 10:20:45

终极Windows清理神器:快速解决C盘爆红问题完整指南

还在为C盘变红而烦恼吗?WindowsCleaner这款专为Windows系统打造的开源清理工具,能够帮你快速释放磁盘空间,让电脑运行如飞!😊 本文将为你提供从下载到使用的完整操作流程,无论你是电脑小白还是资深玩家&…

作者头像 李华
网站建设 2026/7/7 18:53:30

LobeChat日志分析技巧:排查错误与优化响应速度

LobeChat日志分析技巧:排查错误与优化响应速度 在构建现代AI对话系统时,模型能力只是用户体验的一半。另一半,往往藏在看不见的日志里——那些被轻易忽略的console.log输出,其实正是决定系统稳定性、响应速度和故障恢复效率的关键…

作者头像 李华
网站建设 2026/7/7 11:03:36

Wallpaper_Engine终极获取指南:快速获取创意工坊壁纸

想要个性化你的电脑桌面吗?厌倦了繁琐的壁纸获取过程?Wallpaper_Engine开源项目正是为你量身打造的创意工坊获取神器!这款基于Flutter和SteamCMD的工具让壁纸获取变得前所未有的简单高效。 【免费下载链接】Wallpaper_Engine 一个便捷的创意工…

作者头像 李华
网站建设 2026/7/7 7:57:31

STM32 HAL 函数大全 · 第 2 卷

UART / USART 模块(通用同步/异步收发器) 版本:v1.0 | 适用系列:STM32F0 / F1 / F3 / F4 / F7 / L0 / L4 / H7 目录 UART 模块简介 通信协议与参数配置 三大工作模式详解 HAL UART API 函数全集 中断与 DMA 回调机制 printf…

作者头像 李华
网站建设 2026/7/7 7:25:00

哔哩下载姬完整使用指南

哔哩下载姬完整使用指南 【免费下载链接】downkyi 哔哩下载姬downkyi,哔哩哔哩网站视频下载工具,支持批量下载,支持8K、HDR、杜比视界,提供工具箱(音视频提取、去水印等)。 项目地址: https://gitcode.co…

作者头像 李华