两个 OCR 模型实测:正着扫和歪着扫,赢家不一样

正着扫 GLM 赢,歪着扫 MiniCPM 赢,按你的扫描件选。

先说结论:正着扫,GLM-OCR 赢;歪着扫,MiniCPM-OCR 赢。这张总比分 3:0 的成绩单,分开看才是真的。

据 OpenBMB 转发的 OCR Cup 第 9 场实测:一台 16GB 内存的 M4 上,OpenBMB 自家的 MiniCPM-OCR 1.0(1.3B 参数)挑战卫冕的 GLM-OCR,总比分 3:0,GLM-OCR 保住了头衔。

这类正面对决我不太看总分,看分项——总分是给围观群众看的,分项才是给要上线的你我用的。

正放和斜放的两张纸

秒表和一叠纸

比分 3:0,但快的不是全部

先把 GLM 赢的地方摆全:单页 6.04 秒对 10.5 秒,批处理 0.30 页/秒对 0.14 页/秒,类扫描页字符错误率 0.15% 对 0.29%,发票行 48/48 对 42/48。

速度是纯碾压,单页快 4 秒多,批量吞吐差出一倍以上。单查一页合同,等 6 秒和等 10 秒都能忍,量一大感觉就不一样了。

按这吞吐换算,100 页纸 GLM 约 5 分半,MiniCPM 要 12 分钟——批处理场景里,吞吐直接换算成排队时间和机器成本,差一倍,账单里就看得见。

值得补一句:这场是在 16GB 内存的 M4 上跑的,MiniCPM 只有 1.3B 参数,也就是说两个模型都是本地能扛的选手。翻译成实用口径——合同、发票、病人档案这类不能出本机的材料,本地 OCR 是刚需,这场对决测的就是「你自己电脑上跑」的样子,不是云端机房里的样子。

我的判断一:3:0 是「正着扫规则下的 3:0」。这场的考卷偏向规整扫描件——速度、字符错误率、表格行保住率,GLM 处处领先。所以先别急着神化总分,它只代表这一场、这一种扫法。

斜放的一张纸

歪着扫,MiniCPM 翻身的地方

现在说反超的地方。把纸歪着喂进去,倾斜 20° 时,MiniCPM 字符错误率 0.18%,GLM 是 5.23%;旋转 90° 时,MiniCPM 0.38%,GLM 4.53%。光是 20° 那一组,误差就差出近 30 倍,这个反转幅度比总分刺眼多了。

翻译成日常工作:扫描仪里纸没放正、订书钉把一叠纸带歪、手机对着合同随手拍——这些全是「歪着扫」。0.18% 是一千个字符错两三个;5.23% 按一页五六百字算,一页错出二三十个,后者基本得逐字改。

我把它架在随手拍的场景里想了想:档案室里一个文件夹的旧合同,纸是折角、泛黄、在扫描仪上怎么都压不平的那种。这种材料用 GLM 扫,错误率直接跳到 5% 档;换 MiniCPM,歪斜鲁棒就把这局救了回来。场子不同,结论真的会反过来。

我的判断二:手里的活儿十张纸里有两张是歪的,MiniCPM 这一项就把前面的分全找回来了。比分是给正着扫的人看的,歪着扫的人别拿它当尺子。

发票和划线表单

发票和扫描页,GLM 的阵地

回到 GLM 的地盘。发票行保住率 48/48 对 42/48——发票是要结构的,行都丢了几条,后面的字段就对不上。类扫描页字符错误率 0.15% 对 0.29%,规整纸张上 GLM 的精确度也压在 MiniCPM 前面,一百页里挑不出几个要手改的字。

MiniCPM 的短板这轮也露了底:扫描页里 57 个 names 这样的下划线标记,只保住 41 个。下划线不起眼,表单字段、代码模板、占位符全靠它撑结构,丢一条,字段名和值就对不上位。

OpenBMB 自己认了。据转发里的回应,官方感谢这场对比,说会继续改进精确文本能力。态度到位,意思也明白:现在的 MiniCPM 擅长看懂整页,还没到扣准每个字符的火候。

两摞文件二选一

三个问题,帮你自己选

所以别问「哪个强」,问你的扫描件长什么样。三个问题过一遍,答案自己出来。

一,扫描件歪不歪?正面进纸、管理整齐的,选 GLM——快,规整页还更准;常拍翻拍件、纸放不平、档案泛黄带折角的,MiniCPM 的歪斜鲁棒更值钱。

二,是不是表格活儿?发票、单据、报表,看行保住率这一个数:48/48 和 42/48 摆在一起,结构化表格老老实实选 GLM,别拿 MiniCPM 赌关键行。

三,下划线、模板字段多不多?表单占位符、代码里的下划线标记、下划线分隔的编号,这类细节多,MiniCPM 现在不能硬上——57 个保 41 个的错位,测试里看得清清楚楚。等精确文本能力补上,再回头试它。

收尾:别让比分替你做决定

这一场最值得记的不是 3:0,是「单项反超」四个字——歪斜页上 5.23% 对 0.18%,这种差距比总分更能说明问题。OCR 是工具,工具只问场景。

反过来 GLM 也不是全能:歪斜页 5.23% 和 4.53% 两条错误率摆在那儿,说明它没为歪纸专门优化,遇到随手拍就露怯。两个模型谁也不是全科优等生,只是各自的强项错开了。

收个尾:正着扫、批量扫、扫发票,GLM 是现在更省心的选择;歪着扫、随手拍、单页精读,MiniCPM 的歪斜能力值得赌一把。等 OpenBMB 把下划线这关过了,这个对比可能又要改写,到时候记得回来重新选。

AI 会偷偷拔掉同伴的电源吗?17 个模型的实验
下一篇
AI 会偷偷拔掉同伴的电源吗?17 个模型的实验
零任务零奖励,AI 也会替同伴拔掉关机脚本:这是协作不是求生欲
继续下滑 或 点击阅读下一篇
下一篇 AI 会偷偷拔掉同伴的电源吗?17 个模型的实验 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款