先说结论:能跑,而且这次不是喊口号。据 Thinking Machines Lab 2026-11-20 的开源公告,Inkling 2 Mini 以 Apache 2.0 放出权重,总参数 26.4B,每 token 只激活约 3.4B。
4 位量化的权重约 17.6GB,一台 24GB 内存的机器就能把它塞进去;16GB 是地板,起得来但得挑低位宽。先把这个内存账算清楚,再决定要不要腾硬盘。
我是星驰,做数码实测,习惯先问「跑得动跑不动」,再看榜单。这篇按官方和 Unsloth 指南的口径,把它拆成三件事:要多少内存、26B 为什么能跑得动、值不值得换掉你手里那个本地模型。


先说结论:能跑,但先看内存
据 Unsloth 的量化指南,权重档位是这样分的:1 位约 9GB,2 位 10-11GB,3 位 13-15GB,4 位 17-18GB(推荐 UD-Q4_K_XL 17.6GB),8 位约 24GB。视觉投影器 mmproj 另外要 639MB,走图像输入时别漏算这一笔。
分界线就很清楚了:16GB 内存是地板,能起来但只能挑低位宽;24GB 才谈得上 4 位满血。指南的写法是最低 16GB 可跑、24GB 可跑满精度。我的判断是,16GB 的轻薄本就老实按 2 位或 3 位试,别硬上 4 位,否则系统自己先被挤没了。
翻译成体感:16GB 的机器大概只够开一个编辑器加一个终端,浏览器得收敛着用;24GB 的话,一边跑模型一边还能留点余量给系统和别的软件。这不是精确测算,是分档给的经验线,真卡不卡还得看你自己的后台有多重。
跑法也不算少:transformers 直跑,llama.cpp 或 Llama App 吃 GGUF,MLX 已经并进 mlx-lm,SGLang 和 vLLM 都是 Day-0 支持。
Mac 上走 Ollama 得 32GB 内存起步,NVIDIA DGX Spark 也能上。选哪个看你手上是什么机器、要不要智能体编码那套工具链——同一份权重,后端不同,手感差挺多。

循环架构:24 层当 48 层用
这模型最有意思的地方不是参数量,是层怎么算。它只有 24 个解码层,但第 6 到 17 层这 12 层,每个 token 会循环跑 3 次,等价 48 次层访问。所以你看到 26.4B 的总参数,实际每次只激活约 3.4B,算上循环后权重激活约 5.4B。
MoE 那侧每层 128 个专家、top-8 路由,hidden size 是 2304。注意力这块,每个 6 层块里 5 层是滑窗、窗口 1024 token,1 层全注意力;24 个 query head 对 8 个 KV head。上下文最长 1M token,文本和图像都能进。
这套配置的取舍也在里面:1024 token 的滑窗意味着长文档的细节要靠那层全注意力兜住,1M 上下文是进得去,但别指望每个角落都一样清楚。据官方说明,长上下文和推测解码的路子都往 SGLang 那边靠。
划重点:循环层等于把「多思考、少输出」写进了骨架上。同一批权重反复过几遍,深度上来了,吐出来的字还是那点。官方另发了可变循环研究版 TML-d24-varloop-research,能跑 1 到 5 次循环;据官方口径,无 CoT 时间视野从 1 次循环的 16 秒升到 3 次的 37 秒。
我的判断是,这个设计对本地部署特别友好:吃内存的是权重,吃算力的是层访问,层数少、反复用,正好是笔记本这种「内存不大、但愿意等」的机器喜欢的形状。

账本:它比同尺寸模型强在哪
数字摆出来比较直接。据 Unsloth 和官方口径,DeepSWE v1.1 上它是 48.2%,Qwen3.8-27B 是 42.2%;SWE-bench Pro v2 Hard 77.9%,对手 73.8%。
另外三项:SWE-bench Verified 79.2%、BrowseComp 79.0%、DeepSearchQA 85.3%,Artificial Analysis 智能指数给到 20.1。编码、检索、智能体这几类任务,基本都站在同尺寸档的前面。
榜单之外还有个更软的口径:Hugging Face 团队说经过他们的 vibe 测试,这模型「至少与 Qwen 3.8 27B 相当」。这话听着客气,其实挺关键——同尺寸档里没人说它明显更强,说的是打得有来有回。
官方演示里有两段我印象很深:一台 MacBook Pro 开飞行模式、完全离线,几分钟里做出一个能玩的飞行模拟器;另一台离线 MacBook 撑起一个有 20 个常驻智能体的小镇模拟,叫 Thinkyville。演示证明不了它比谁强,但证明不联网也能干活这条线它守住了。
补个背景:上一代 Inkling 2 Small 是 594B 参数,被嫌太大。Mini 就是对这个批评的直接回应,总参数一路砍到 26.4B。我的判断是方向对了,但别把它当成云端大模型的替身,它替掉的是「你本来得联网才能干的那部分活」。

谁该下载,谁再等等
该下的:24GB 内存以上的 Mac,或者带独显的台式,天天用智能体编码,想让模型离线跑在本地、不愿把代码传到别人服务器的人。SWE-bench 那组成绩说明它在改代码这件事上有底子。
该再等的:16GB 轻薄本还要同时开浏览器和编辑器的,低位宽跑起来会很难受;指望它当通用聊天助手的,官方定位写得清楚是擅长智能体编码,别拿它写小说;还有想一键装完就不管的,量化和后端选择这关你躲不开。
还有一类人我建议先观望:把本地模型当生产力、指着它吃饭的,先想清楚你手头的活是不是「改代码」这一类。它强在智能体编码,别的位置不一定接得住。按任务选模型,比按榜单参数选模型靠谱。
我的判断是:这是一次值得动手的发布,但不是必须马上动手的发布。Apache 2.0 的权重放出来了,你可以先下下来放着,等某个周末有空再折腾。开源的好处就在这,不用抢首发。
常见问题
问:得花多少钱?权重本身免费,Apache 2.0 放出来谁都能下。要花的钱在硬件上:24GB 内存是舒服线,16GB 是最低线。真金白银的部分,是你本来要不要换机器。
问:会不会很慢?看你怎么跑。每 token 激活约 3.4B、算上循环约 5.4B,量小是它的本钱;慢主要慢在循环层反复过,那是多思考的代价。SGLang 那边能开 DSpark 三层草稿的推测解码,愿意折腾就再快一点。
问:和 Qwen 比呢?按现有口径,几个编码类榜单它略高,Hugging Face 团队的说法是至少相当。差距没到碾压级别,选谁更多看你习惯哪套工具链、以及手里内存够不够。
问:图像输入能用吗?能,文本加图像都支持。记得视觉投影器 mmproj 另占 639MB,算内存的时候把它加进去,别到跑图那一步才发现塞不下。