AI 智能体不用显卡也能跑?AMD NPU 实测指南

XDNA 2 首次支持 Unsloth,百款智能体可本地推理。

本地 AI 推理

先说结论

先说结论:值,但别急着掏钱。你手上要是已经有一台 Ryzen AI 的笔记本,这套东西几乎等于白捡;要是为了它专门换机,我劝你再等两个月。据 AMD 新闻室 11 月 20 日的消息,XDNA 2 成了第一个被 Unsloth Desktop 支持的 NPU 架构,一百多个智能体应用能直接接进来。

名单挺长:Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain、GitHub Copilot、OMP、VS Code 都收到官方点名。它的接口是 OpenAI 兼容的,工具填一个 base url,活就交给本机 NPU 了。

我照着官方给的路径走了一遍:下载 Unsloth Desktop,模型挑选器里勾上 NPU 过滤,点 Enable NPU,它会自己装 FastFlowLM 并检查驱动,然后下 Q4NX 模型开聊。全程没碰命令行,唯一卡住我的地方是驱动,这个后面细说。

用了一下午,最直接的感受是风扇不吵。CPU 和 GPU 都闲着,NPU 在那儿慢慢吐字,我另一边还能拿核显渲染视频。官方举的例子就是这个:NPU 跑本地聊天模型的同时,Radeon GPU 还在干活。

笔记本芯片

NPU 是什么,跟显卡啥关系

NPU 是嵌在处理器里的神经网络加速单元,专门算矩阵乘加这类活儿。它不像显卡那样有大片显存和几千个核心,胜在省电、常驻、不抢资源。AMD 这一代叫 XDNA 2,跟 Ryzen AI 的 CPU、核显做在同一块芯片里。

跟显卡的关系,一句话:分工,不是替代。显卡强在吞吐,跑大模型的预填充快,但它一开就吃功耗、占显存、风扇起飞。NPU 慢一些,可它能在你打游戏、剪片子的时候悄悄干活。据 Unsloth 文档,这就是他们做 NPU 支持的核心动机。

还有个细节容易被忽略:NPU 不直接跑 GGUF,只吃 Q4NX 的 4-bit 量化模型,想用现成 GGUF 得先转。格式这件事卡住了不少第一次上手的人,我第一次就下错了,白等半天。

我的判断是,这东西更像当年的核显——单看不惊艳,但你不用为它单独买单。真正的价值不在峰值速度,在于「一直在」。智能体要常驻、要轮询、要随手唤起,这种活交给 NPU 比交给显卡合理得多。

AMD 处理器

支持哪些机型

能上的是三类,据 AMD 官方:Ryzen AI 300 系列(Strix Point、Krackan Point)、Ryzen AI Max 系列(Strix Halo)、Ryzen AI 400 系列(Gorgon Point)。

这三个系列的共同点是都带 XDNA 2 NPU。老一代的 XDNA 1 不在名单里,别抱希望;另外我观察 Krackan Point 机型多为轻薄本,配的内存普遍不大,跑大模型前先查配置。

系统这边,Windows 11 直接可用;Linux 要内核 7.0 以上,自带 amdxdna 驱动,旧内核得装 amdxdna-dkms。我在 Linux 上踩的就是这个坑,驱动没就位之前 Enable NPU 一直转圈,装完 dkms 才认出 NPU。

内存这件事得提前算清楚。官方给的模型表里,35B 要 64GB 系统内存,27B 要 48GB,12B 和 9B 要 32GB,4B 和 1.7B 的 16GB 就够。买机器之前先想清楚你要跑多大的模型,别买回来发现内存不够。

速度仪表盘

速度到底行不行

直接上官方文档的实测数字,这些是 AMD 和 Unsloth 一起放出来的:Qwen3-VL-4B 3.9GB,20.5 tok/s;LFM3-1.7B 1.5GB,40.7 tok/s;Gemma4-12B 8.7GB,6.8 tok/s;Qwen3.5-9B 7.6GB,9.5 tok/s。

这组数字同出官方文档:Qwen3.8-27B 18.1GB,只有 2.0 tok/s;Qwen3.6-35B-A3B 20.6GB,17.2 tok/s,但要 64GB 内存。35B 是 MoE,激活参数少,所以反而比 27B 的稠密模型快,看着反直觉,其实合理。

20 tok/s 是什么概念?大概就是你能顺畅读完一句话,它已经把下一句写好了。2 tok/s 就难受了,比手打字还慢,读起来一顿一顿。我拿 4B 那档跑日常问答,体感够用;27B 那档只能当「泡杯茶再回来」的活儿。

时间轴上也值得说一句:短提示词的首字延迟比长文档要短得多,因为预填充那一步 NPU 本来就不擅长。所以你是拿它做对话、做工具调用,体验还行;拿它一次性啃两万字 PDF,那真是等。

台式机与笔记本

适合谁,不适合谁

适合三类人。一是已经有 Ryzen AI 笔记本、又想在本机跑智能体的;二是想让 AI 常驻但不想让风扇一直响的;三是拿笔记本当主力机、显卡还要留给游戏和渲染的。

不适合的也清楚。想要最快出字速度的,去买独显;想跑 70B 以上大模型的,NPU 这条路暂时不通;手里的机器还是 XDNA 1,或者干脆是 Intel、苹果平台的,这套跟你就没关系。

我的判断:这是给「AI 当背景进程」这个场景准备的工具,不是给「AI 当主力算力」准备的。你要是天天开着一堆智能体帮你盯网页、整理文件、回消息,那它的价值就出来了;要是指望它替你跑训练、做微调,那还是关掉省电。

还有个现实因素:工具链还很新,官方 11 月 20 日才放出来,模型列表就那么几个。现在就上,你等于在给一个刚开门的店排队,好处是不用等将来涨价,坏处是可能得跟着改配置。

常见问题

我的笔记本能跑吗?

看处理器型号。Ryzen AI 300、Ryzen AI Max、Ryzen AI 400 这三个系列、带 XDNA 2 NPU 的机型才行,系统要 Windows 11,或者内核 7.0 以上的 Linux,老一代 XDNA 1 别抱希望。

跟显卡比差多少?

方向不同。显卡吞吐高、跑大模型快,NPU 胜在省电常驻、不占显存;据官方文档,35B 的模型在 NPU 上是 17.2 tok/s,27B 只有 2.0 tok/s,差了一个量级。

装起来麻烦吗?

不算麻烦。下载 Unsloth Desktop,模型挑选器里过滤 NPU,点 Enable NPU 让它自动装 FastFlowLM 和查驱动,再下 Q4NX 模型就能开聊,全程不用敲命令。

能直接用 GGUF 模型吗?

不能直接用。NPU 跑的是 Q4NX 的 4-bit 量化格式,手里现成的 GGUF 得先用工具转换,官方给了转换路径;我第一次就下错格式,白等半天。

跑起来电脑会很热吗?

比显卡轻得多。NPU 是低功耗单元,官方举的例子就是 NPU 跑聊天模型时 GPU 还在渲染视频,两边互不抢,风扇也不容易起飞。

Claude 给每句话都盖了水印,你发现了吗
下一篇
Claude 给每句话都盖了水印,你发现了吗
SynthID-Text 给 Claude 加水印,目前只有官方能检测
继续下滑 或 点击阅读下一篇
下一篇 Claude 给每句话都盖了水印,你发现了吗 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款