本帖最后由 androllen 于 2025-8-27 19:02 编辑
项目简介
MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。
MinerU诞生于书生-浦语的预训练过程中,我们将会集中精力解决科技文献中的符号转化问题,希望在大模型时代为科技发展做出贡献。
主要功能
- 删除页眉、页脚、脚注、页码等元素,确保语义连贯
- 输出符合人类阅读顺序的文本,适用于单栏、多栏及复杂排版
- 保留原文档的结构,包括标题、段落、列表等
- 提取图像、图片描述、表格、表格标题及脚注
- 自动识别并转换文档中的公式为LaTeX格式
- 自动识别并转换文档中的表格为HTML格式
- 自动检测扫描版PDF和乱码PDF,并启用OCR功能
- OCR支持84种语言的检测与识别
- 支持多种输出格式,如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
- 支持多种可视化结果,包括layout可视化、span可视化等,便于高效确认输出效果与质检
- 支持纯CPU环境运行,并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
- 兼容Windows、Linux和Mac平台
快速开始
在线体验MinerU的效果:
本地部署
使用 pip 或 uv 安装
# 将当前 Python 环境中的 pip 工具升级到最新版本
pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple
# 使用 pip 从阿里云镜像源安装名为 uv 的 Python 包
pip install uv -i https://mirrors.aliyun.com/pypi/simple
# 使用 uv 工具安装或升级名为 mineru 的包,并且安装的是带有 core 可选依赖的版本
uv pip install -U "mineru[core]" -i https://mirrors.aliyun.com/pypi/simple
可视化调用
使用gradio webui 或 gradio api调用
# 使用 pipeline/vlm-transformers/vlm-sglang-client 后端
mineru-gradio --server-name 127.0.0.1 --server-port 7860
# 或使用 vlm-sglang-engine/pipeline 后端
mineru-gradio --server-name 127.0.0.1 --server-port 7860 --enable-sglang-engine true
在浏览器中访问 http://127.0.0.1:7860 使用 Gradio WebUI 或访问 http://127.0.0.1:7860/?view=api 使用 Gradio API。
已知问题
- 阅读顺序基于模型对可阅读内容在空间中的分布进行排序,在极端复杂的排版下可能会部分区域乱序
- 对竖排文字的支持较为有限
- 目录和列表通过规则进行识别,少部分不常见的列表形式可能无法识别
- 代码块在layout模型里还没有支持
- 漫画书、艺术图册、小学教材、习题尚不能很好解析
- 表格识别在复杂表格上可能会出现行/列识别错误
- 在小语种PDF上,OCR识别可能会出现字符不准确的情况(如拉丁文的重音符号、阿拉伯文易混淆字符等)
- 部分公式可能会无法在markdown中渲染
功能介绍图
普通用户:每天可解析2000页
官网入口:https://mineru.net
github仓库:https://github.com/opendatalab/MinerU
官网下载地址:https://mineru.net/client
离线本地版本
双击 main.exe 启动
百度链接: https://pan.baidu.com/s/1hYZwIdxCImgnLaqDxjbKNg?pwd=ey8z
123链接:https://www.123865.com/s/BZRBvd-b7Dod?pwd=hp6s
通过网盘分享的文件mineruBat.zip MD5: 0820328fd00f92bf1c1a7c872cfce3de
功能
1.支持包含数学公式的 PDF 转换为 可以复制黏贴的汉字
2.支持包含文本的 PDF 转换为 可以复制黏贴的汉字
3.支持包含图片的 PDF 转换为 可以复制黏贴的汉字
4.支持包含表格的 PDF 转换为 可以复制黏贴的汉字
初始版本与全新版本的区别
| 版本 |
空间大小 |
环境 |
模型 |
升级 |
分享他人使用 |
必要条件 |
| 全新版 |
68M |
需要下载 |
需要下载 |
可以 |
可以 |
需要联网下载环境与模型 |
| 初始版 |
2.6G |
不用下载 |
不用下载 |
不可以 |
不可以 |
解压即可使用 |
如果想体验全新版请移步 MinerU 2.0下载地址:https://www.52pojie.cn/thread-2047252-1-1.html
|