设计师输了:一个匿名模型拿了 1931 分

匿名模型 Gestalt 首次在盲投中压过人类设计师基准

11 月 19 日实时榜出来的时候,我先看的是名字。排第一的 Gestalt,我不认识。往下翻到第二名,是「人类设计师基准」,1739 分,胜率 74%。再往下才是 Claude Fable 5.2 的 1713。也就是说,在这套用真人设计需求搭起来的测试里,第一次有一个模型的分比人类参考组高。Contra Labs 和 BenchFlow 的这份 Frontier Design Benchmark,把「AI 画得好看」这个含糊说法,换成了一个能查到票数的排名。

但真正让我坐直的不是这个第一名。是同一张榜上并排挂着的那列单站成本——127 美元一站的模型排第三,1.31 美元一站的模型排第五。这两件事同时成立,才是这轮设计能力变化的实质。

设计师盲投榜单

桌面上的设计草图

先说这个测试是怎么搭的

榜单背后是 33 个真实设计需求。27 个改编自 Contra 平台上跑过的真项目,另外 6 个来自合作创业公司实际雇的 Contra 设计师。每个任务要求交付一个能跑的网站,范围从节日票务站到博物馆语音导览 App。这些 brief 不是论文里编出来的题目,中位数 138 个词、1050 美元预算,75% 叠了两个以上约束,比如指定品牌素材加上一个具体业务目标。

评审是 35 位专业设计师盲投,五轮,累计 4,311 票。投票结果用 Bradley-Terry 模型换算成 Elo,跟国际象棋那套一个思路。为了验可信度,组织方把设计师随机切成两半分别排名,两套排名的 Spearman 一致性是 0.95。这个数字差不多等于说:同一批人看两遍,结论基本不飘。

我的判断:138 个词的中位 brief 是个关键设计。它比「帮我做个网站」具体,又比甲方真发过来的需求文档粗糙。这个长度刚好能区分「会堆漂亮组件」和「读得懂意图」,也刚好是模型还能吃下的量。这种设计是有意为之的,测试方在给模型留一个它够得着的难度。

笔记本上的评分表

票是怎么数的,我得说清楚

榜上有两个数字口径,容易被混着用。11 月 18 日发布时的快照,Gestalt 是 1928 分、胜率 89%,423 票里赢了 378 场。11 月 19 日实时榜是 1931 分、胜率 90%,95% 区间 86% 到 92%,样本 420 票。后面所有引用我都按 11 月 19 日这版写。

更硬的一条证据是直接对比。设计师在 Gestalt 和人类 golden 的 28 次正面对决里,20 次选了 Gestalt。而且 Gestalt 的 95% 置信区间和人类基准不重叠——这不是擦线反超,是两条区间本身分开。

前六名挤在 1638 到 1713 这 75 分里:人类基准 1739,Claude Fable 5.2 1713,Opus 5.5 1691,GPT-6.1 Sol 1668,Sonnet 5.5 1667,Kimi K3.1 Pro 1663。后九名从 1434 一路掉到 1121。两组之间差 204 分。这条沟比榜首之争重要得多,它说明眼下这一代主流模型在设计这件事上已经不太分得开了。

成本数据对比表

价格那一列才是重点

把成本列调出来对照,画风立刻变了。Claude Fable 5.2 单站 127.22 美元,排第三。Opus 5.5 是 24.26,Sonnet 5.5 是 20.49。GPT-6 Astra 只要 7.33,排第八。Kimi K3.1 Pro 是 1.91 美元一站,排第六,分数 1663,跟 127 美元那位的 1713 只差 50 分。GPT-6.1 Sol 更极端,1.31 美元一站,1668 分,排第五。

这就是我说的成本曲线被改写。以前讨论 AI 做设计,绕不开一个隐含前提:能用,但不便宜,或者便宜但只能出草稿。这张榜上,1.31 美元和 127 美元之间差了将近 97 倍价格,换来的是 45 分 Elo 的差距——按 Bradley-Terry 的换算,45 分大概是七成胜率对六成出头。花百分之一的价格买到九成多的水平,对任何要批量出落地页、活动页的团队,决策题立刻从「能不能用 AI」变成「哪个价位够用」。

我的看法是:这份榜最有价值的地方不在第一名,在这条成本轴。第一名的故事听着爽,但没人能复现。成本轴上的每个点都是可下单的选项,甲方明天就能拿这个数去谈预算。

设计评审讨论现场

佐证和否决都来自同一批人

除了 Elo,组织方还跑了 34 维的设计评分表,看字级层次、间距、对比度、元素是否完整渲染这些能被人逐项勾的东西。这套评分和 Elo 的相关系数是 r = 0.94。另外有个「AI Slop 检测器」,用 0 到 100 打分,衡量一个页面看起来有多像 AI 批量生成的。

这个 0.94 我读作好消息:设计师凭感觉投出来的名次,和他们按条目打出来的分,方向一致。它不是两个独立证据在互相印证,而是同一批人的两种表达方式对上了。真要说它能证明什么,只能证明「投票结果不是乱投的」。

我的一点保留:评分表能勾的项,恰恰是模型最擅长的项——对比度够不够、字重分不分得开、元素有没有渲染崩。人类设计师那部分说不出口的东西,比如这个页面的气质对不对、这个留白是不是刚好、这个按钮放在这里会不会让人犹豫半秒,评分表测不到。所以 Elo 高不等于人更爱用,它等于设计同行在盲看时更常选它。这两件事在真实项目里经常不一致。

匿名账号与问号

那个没人认领的第一名

Gestalt 背后是谁,Contra Labs 没公布,我也查不到。榜上就写着「匿名隐身模型」。这件事的好处是不会有人因为品牌先验去加分——盲投是真的盲。坏处更直接:没法核实、没法复现、没法追责,也没法知道它是不是某个已知模型的另一个版本。

我的判断是,这个匿名更像一次方法宣示,不是一次产品发布。把匿名模型塞进同一个盲投池,让设计师在不知道来源的情况下投票,等于是在证明这套评测能扛住品牌光环。对做评测的人来说这很聪明,对想用模型的人来说,这条信息暂时不能转化成任何采购决定。

合同签署与钢笔

真人签字这件事还没解决

榜单测的是「一份 brief 交出来的网站,同行盲看更常选哪个」。真实商业项目里,链条要长得多:客户要改三轮,法务要过文案,品牌方要保底调性,上线后要担责。这一整段里,签字的是人。AI 出的稿子进了这套流程,价值会被反复稀释,责任却一点没减。

所以我不会跟人说「AI 设计超过人类设计师了」。更准确的说法是:在 33 个带真实预算的 brief 上,在 35 位设计师的盲投里,一个匿名模型被选中的概率比人类参考组高。这句话窄,但它站得住。至于你团队该用 1.31 美元那个还是 20 美元那个,答案不在榜上,在你们的返工率里。

7000 亿参数的腾讯,为什么不追 3 万亿
下一篇
7000 亿参数的腾讯,为什么不追 3 万亿
700B 打 3 万亿,单任务 0.26 元的账才是答案
继续下滑 或 点击阅读下一篇
下一篇 7000 亿参数的腾讯,为什么不追 3 万亿 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款