12GB 显存能跑 1250 亿参数大模型？Strata 实测解读
开源引擎实测：12GB 显卡跑起 125B 大模型
12GB 显存能跑 1250 亿参数的大模型？刚看到 Strata 开源的消息，我第一反应是不信。但它真做到了：Qwen3.8-Flash-Next 跑在了普通游戏电脑上，这个 1250 亿参数的多模态大模型，几个月前还只能指望服务器。
不过它不是魔法。显存只是入场券，真正的门槛在内存和硬盘。我把它的文档和跑分翻了一遍，把门道拆给你看。
Strata 是什么，火到什么程度
Strata 是开发者 Niko1221 开源的本地推理引擎，MIT 协议，9 月下旬才上线。10 月初被 IT之家等媒体报道后，一周之内 GitHub 星标从 7 千多涨到 2.3 万，是目前最火的开源推理项目之一。
它只干一件事：让普通游戏电脑本地跑 125B 参数的 MoE 大模型。以前本地能玩的大模型大多在 7B 到 32B，70B 级就得 48GB 显存起步。Strata 硬是把 125B 塞进了 12GB 显存的机器，把"服务器专属"变成了"游戏电脑能玩"。
凭什么是它：MoE 的"专家"机制
关键在模型本身。Qwen3.8-Flash-Next 是阿里 Qwen 团队的多模态模型压缩版，内部像一支 24576 人的专家团队，但每个词只调约 10 个专家干活（激活参数约 6B）。既然每次只有一小撮人上班，就没必要让全队都挤在显存里，这是 Strata 能成立的前提。
传统 CPU 卸载的做法，是把整层模型搬进显存算完再换下一层，大量带宽花在搬运根本没被调用的专家上，又慢又卡。Strata 换了个思路，官方管它叫"厨房理论"。
厨房理论：GPU、内存、SSD 各干各的
常用的东西放台面，其余放储藏室。Strata 把模型拆到三层：
- 显存是台面：高频专家常驻显存，边聊边学习哪些专家常用，多 1GB 显存大约能多装 700 个专家；
- 内存是储藏室：全部 24576 个专家放进内存，显存里没有的由 CPU 原地计算，和 GPU 同时干活、互不等待；
- SSD 是地下室：28.8GB 的 n-gram 查找表放硬盘，每个词只读几行。
除了分工，还有一招"猜了再验"：模型内置的小助手一次猜 3 个词，大模型一次验完。输出完全一样，但整体快 1.6 到 1.8 倍。
实测多快：94 token/s 是怎么来的
官方在 RTX 5070（12GB 显存）+ 64GB 内存的平台上测过：
- Q2_0（2bit）生成 94 token/s，读长文 2650 token/s；
- IQ2_XS 79、IQ3_XXS 62、IQ3_S（3bit，质量最稳）53 token/s；
- 对照：同一模型用原生 llama.cpp 跑只有约 20 token/s；
- 24GB 的 RTX 3090，官方预估能到 100-140 token/s。
人阅读也就每秒五六个字，94 token/s 已经比人读得快。但要泼盆冷水：这是 2bit 量化的成绩，不是模型的真实水平。
泼点冷水：12GB 显存只是入场券
想入手前，有几点先看清楚：
① 真正的门槛是内存。官方推荐 64GB；只有 32GB 的话，只能跑砍掉一半专家的 Coder 版（写代码不错，中文偏弱）。跑满版首次启动要锁 35-55GB 内存，机器会卡 1-3 分钟，属于正常现象。
② 94 token/s 是 Q2_0 的成绩。2bit 量化信息损失明显，写代码、长文生成这类活别指望它，日常用官方推荐 IQ3_S。
③ Strata 不是通用推理框架，是围着 Qwen3.8-Flash-Next 一款模型特化的运行时。换别的模型架构，它的缓存策略不一定适用，别当万能工具。
想玩的话：最低配置和安装
- 显卡：NVIDIA RTX 20/30/40/50 系或 AMD RX 7000/9000 系，12GB 显存起步（8GB 能跑但慢）；
- 内存 32GB 起步、64GB 推荐；磁盘留 80GB 空闲，NVMe SSD 强烈建议；
- 系统 Windows 10/11 或 Linux，NVIDIA 驱动 580 以上；
- 安装：下载仓库后，Windows 双击 START-HERE.bat、Linux 跑 setup.sh，自动装好并从 Hugging Face 拉约 70GB 模型；
- 跑起来后浏览器打开 127.0.0.1:8080 就能聊，也提供 OpenAI/Anthropic 兼容接口，Cursor、Claude Code 这些工具都能直接接上。
一句话总结
Strata 最大的价值，不是"12GB 跑 125B"这个数字，而是把大模型推理从"显存军备竞赛"里解放出来，用多级存储的思路重新组织了硬件分工。显存焦虑可以缓一缓了，内存焦虑倒是要来了。
