594B 的开源模型来了,但先别急着买显卡

594B 的开源大模型来了,显存账先算清楚再动手

全篇一图看懂

机房成排的服务器机柜

先说清楚它是什么

先说结论:Inkling 2 Small 这次开源是真的,能商用也是真的,但它是个数据中心级的大模型,不是下载到自家电脑上就能跑的小玩具。

它出自 Thinking Machines Lab,也就是前 OpenAI 首席技术官 Mira Murati 创办的公司,拿手的是 1M token 超长上下文和原生多模态。我的判断很直接:诚意足,但「开源」和「人人能跑」是两回事,想跟风买显卡的,先把这篇看完再决定。

时间线也值得记一笔。据官方新闻稿,初版 11 月 5 日上线,当时只在 Tinker 平台上以 API 形式提供、权重闭源,官方承诺等外部安全测试和红队做完再开源。如今承诺兑现,Apache 2.0 许可的权重在 11 月 12 日前后开放下载。

规格上它是混合专家模型,594B 总参数、每次只激活 17B。图像由视觉 transformer 编码,支持图像加文本输入、文本输出。参数听着唬人,实际跑起来在哪一步吃显存,下面细说。

电脑与显卡,估算显存的场景

跑 594B 要多大的显存

这里有个最容易踩的坑:MoE 看着像小模型,部署时却是所有专家的权重都得装进显存,激活 17B 只省算力,不省显存。

粗算一下,594B 参数按 FP16 存,光权重就要 1.2TB 上下;压到 FP8 也要 600GB 左右,这还没算 KV cache 和激活值。结论很直接:单卡没戏,这是八卡起步的活儿,普通玩家先把钱包放回口袋里。

算完显存再算账单。据 The Decoder 报道,Artificial Analysis 给 Inkling 2 Small 打了 31 分智能指数,比上一代高了 18 分,已经接近 Gemini 3.8 Flash 的水平。

另一面是,它每个任务生成的 token 更多,成本大约是上一代的 6 倍。分数好看,钱包受罪。拿不准就先调 Tinker 的 API 压两周单,我的习惯是先确认它能干活,再谈租卡买卡的事。

除了大,它还有什么看头

1M token 的上下文窗口是另一个硬货。什么概念?一部长篇小说全文塞进去还有富余,几十份合同、一整仓技术文档、一个核心仓库的代码,都能一次丢进去,让模型在完整上下文里找答案,而不是翻一段忘一段。对做知识库、做文档问答的团队,这是实打实的卖点,会直接改变产品该怎么设计。

多模态它也选了省事的路:图像由视觉 transformer 直接编码进模型,不用再接一套外置 OCR 或者视觉模型。拍张表格照片、丢一张架构图,都能直接当输入用。真用起来,比「先转文字再喂模型」的老流程顺得多,这也是我说它像「弹药库里的万金油」的原因——单点不一定最强,胜在什么活都能接。

笔记本屏幕上的开源许可代码

Apache 2.0 意味着什么

还有个细节值得单独说:官方把「外部安全测试和红队跑完」当成开源的前置条件,而不是发完再补救。据官方口径,这套流程走完才放权重,节奏上比「先开源再打补丁」稳妥,对打算拿它上生产的团队是个加分项。

Apache 2.0 是最宽松的开源许可之一,比 Meta、Mistral 常用的那套更放开:可以商用、可以改、可以拿去微调,改完也不用把改动公开。

Tinker 平台本身就支持微调,配合宽松许可,等于把「拿大模型做产品」的门槛压到最低。我的判断是,这一手既是诚意也是商业布局——权重开源引流,托管和微调服务留在自家平台赚钱。

配套也没拖后腿。据官方消息,vLLM 在发布当天就宣布 Day-0 支持 Inkling 2 Small,主流推理框架立刻能用。对刚开源的模型来说,Day-0 支持是成熟度的硬指标,说明官方把工具链当正经事做,不是发完权重就撒手不管。对我这种爱折腾的人,这比参数表上的数字更让人安心。

适合谁,不适合谁

适合谁:手上有卡、或者预算够租云 GPU 的团队;要拿 1M 上下文处理长文档、做图像加文本的多模态任务、又看重宽松商用许可的,值得认真试。

路线不复杂:先在 Tinker 上微调,再自己部署。不适合谁:只想在本机跑个模型玩玩的个人用户,先别急着买显卡,等官方出小模型,或者直接调 API,都比自己搭一柜子机器划算。

把账再理一遍:Inkling 2 Small 是近期最值得关注的开放权重模型之一,Apache 2.0 是真金白银的诚意,vLLM 当天支持说明配套成熟,31 分的智能指数也不是虚的。

可它生来就不是给桌面电脑准备的,594B 的显存账和 6 倍成本都摆在那儿。搞生产的团队可以上手,搞玩具的个人先等等——显卡先别买,省下的钱够你调半年 API,还不用操心电费。

下一篇 黄仁勋辞任,英伟达这台印钞机还转吗 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款