NPU 的意义不是更快,是让 GPU 空出来。
—— LeisureLinux
11 月 19 日,AMD 和 Unsloth 同时发布消息:Unsloth Desktop 现在可以用 AMD Ryzen AI 的 NPU 跑本地模型,从 XDNA 2 及之后的架构开始支持。
Phoronix 的标题是「现在支持」,读起来像是 Linux 上的 NPU 刚被点亮。事实并非如此。今年 3 月,Lemonade 10.0 和 FastFlowLM 0.9.35 就已经在 Linux 上把这条路打通了。
这次的变化是:一个图形界面把整条链路包了起来,并一次性接上了 100 多个 agent 应用。这两件事的分量不同,值得分开看。
本文依次讨论三个问题:
- 这条链路是怎么串起来的
- 速度表里有哪些容易被忽略的信息
- Linux 上需要满足哪三个前置条件
这条链路是怎么串起来的
先把分层说清楚,因为它决定了你实际会碰到什么。
第一层:硬件与驱动
XDNA 2 NPU 内建在 Ryzen AI 处理器里。Linux 侧依赖内核的 amdxdna 驱动。
第二层:推理运行时
FastFlowLM 负责在 NPU 上跑模型,Lemonade 负责模型服务。两者都是 AMD 的开源项目。Unsloth 说自己管理的是独立副本,有自己的运行时、配置和模型目录,下载版本按 SHA-256 校验锁定。
第三层:应用接口
Unsloth Desktop 暴露一个 OpenAI 兼容的 /v1/chat/completions 端点,embedding 走 Anthropic 兼容的 /v1/messages。
所谓「100 多个应用」,含义很直接:只要你的工具认 OpenAI 的接口,就能接到 NPU 上。
AMD 官方列出的名单里有 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain、GitHub Copilot。这个名单说明,它的定位不是「聊天工具」,而是给 agent 用的推理后端。
这也解释了 AMD 反复强调的「低功耗持续推理」。agent 是长时间挂着跑的,和人聊天那种「问一句答一句」的负载完全不同。让这类负载走 NPU,把 GPU 留给游戏、渲染和训练,这才是核心卖点,而不是「比 GPU 快」。
速度表里,有一行不该被忽略
Unsloth 文档给了具体数字,比新闻稿更有参考价值。下面是它列出的 NPU 模型与实测速度:
| 模型 |
大小 |
建议内存 |
tok/s |
| LFM3-1.7B |
1.5 GB |
16 GB |
40.7 |
| Qwen3-VL-4B |
3.9 GB |
16 GB |
20.5 |
| Qwen3.6-35B-A3B |
20.6 GB |
64 GB |
17.2 |
| Qwen3.5-9B |
7.6 GB |
32 GB |
9.5 |
| Gemma4-12B-IT |
8.7 GB |
32 GB |
6.8 |
| Qwen3.8-27B (MTP) |
18.1 GB |
48 GB |
2.0 |
最后一行值得单独说:Qwen3.8-27B 在这份表里只有 2.0 tok/s,首 token 耗时 3.8 秒,基本没法用于对话。整张表的规律很清楚:模型越大,NPU 越吃力。
把表按模型大小排序,会看到一条很陡的曲线:1.7B 能跑到 40.7,4B 掉到 20.5,9B 是 9.5,12B 是 6.8。而 35B 的 MoE(激活参数只有 3B)还能维持 17.2。这印证了 MoE 在受限硬件上的价值。
实用的结论是:NPU 适合小模型和 MoE,不适合密集大模型。 如果你想用 NPU 跑 27B 密集模型来替代 GPU,这张表已经给出了答案。
还要注意格式限制。NPU 只跑 FastFlowLM 的 Q4NX(4-bit)模型。你自己的 GGUF 可以在 Export 页面转成 Q4NX,转换在 CPU 上进行。但转换完的模型目前还不能直接从 NPU 模型列表加载,这是一个明确的未完成项。
Linux 上要过三道关
Phoronix 特意向 AMD 确认过:Linux 构建上这套支持也能正常工作,不限于 Windows。这是好事,但 Linux 侧的前置条件比 Windows 更硬。
第一步:内核 7.0+,或者安装 DKMS
你需要 amdxdna 驱动。内核 7.0 或更新版本自带该驱动。老内核则要使用 amdxdna-dkms。
踩坑提示: 内核 7.0 相当新。运行 LTS 发行版的机器大概率要走 DKMS 路线。DKMS 意味着每次内核升级都要重新编译,出问题的环节也更多。
第二步:更新 NPU 固件
固件版本不够,驱动装了也没用。文档里这一条只有一句话,实际排障时却往往最费时间。固件过旧时系统不会提示「固件太旧」,而是报出各种看起来无关的错误。
第三步:解除 memlock 限制
需要把 memlock 设为 unlimited。NPU 要把模型锁进内存,默认限制不够用。这一项改的是系统级配置,不是应用级配置。
支持哪些机器
支持的处理器包括 Ryzen AI 300(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)和 Ryzen AI 400(Gorgon Point),都必须带 XDNA 2 NPU。系统要求 Windows 11 或 Linux x64。
注意「x64」这个限定:没有 ARM 版本。 对使用 ARM 机器的人来说,这是硬门槛,不是配置问题。
NPU 到底解决什么问题
这件事的意义不在于「AMD 也能跑本地模型了」,因为 Lemonade 和 FastFlowLM 早就能跑。真正的变化是:门槛从「会配 Linux 的 NPU 环境」降到了「点两下鼠标」。
开发者在三月能跑通,和普通用户在十一月能跑通,是两件不同的事。后者才决定一项技术能不能普及。接入 100 多个 agent 应用,本质上是在说:接口通了,剩下的交给生态。
但速度表也如实标出了限制。NPU 不是 GPU 的替代品,它是把「长时间挂着的轻推理」从 GPU 上挪走的专用通道。1.7B 跑 40 tok/s、35B MoE 跑 17 tok/s,这两行才是它的真实定位。27B 密集模型的 2 tok/s 则是它的边界。
对 Ryzen AI 笔记本用户来说,这是个不错的增量。以前 NPU 在 Linux 上基本是块闲置硬件,现在至少能挂一个 agent 在后台运行,不和 GPU 抢资源。
它能否成为主流,取决于接下来两件事:Q4NX 转换后的模型能否直接加载,以及内核 7.0 何时进入主流发行版。这两个问题解决后,才算真正成熟。如果你想继续了解大模型的选择与应用,可以到云栈社区的模型与 Skill 板块看看。
来源:LeisureLinux