找回密码
立即注册
搜索
发回帖 发新帖

5393

积分

0

好友

697

主题
发表于 2 小时前 | 查看: 12| 回复: 0

NPU 的意义不是更快,是让 GPU 空出来。

—— LeisureLinux

11 月 19 日,AMD 和 Unsloth 同时发布消息:Unsloth Desktop 现在可以用 AMD Ryzen AI 的 NPU 跑本地模型,从 XDNA 2 及之后的架构开始支持。

Phoronix 的标题是「现在支持」,读起来像是 Linux 上的 NPU 刚被点亮。事实并非如此。今年 3 月,Lemonade 10.0 和 FastFlowLM 0.9.35 就已经在 Linux 上把这条路打通了。

这次的变化是:一个图形界面把整条链路包了起来,并一次性接上了 100 多个 agent 应用。这两件事的分量不同,值得分开看。

本文依次讨论三个问题:

  1. 这条链路是怎么串起来的
  2. 速度表里有哪些容易被忽略的信息
  3. Linux 上需要满足哪三个前置条件

这条链路是怎么串起来的

先把分层说清楚,因为它决定了你实际会碰到什么。

第一层:硬件与驱动

XDNA 2 NPU 内建在 Ryzen AI 处理器里。Linux 侧依赖内核的 amdxdna 驱动。

第二层:推理运行时

FastFlowLM 负责在 NPU 上跑模型,Lemonade 负责模型服务。两者都是 AMD 的开源项目。Unsloth 说自己管理的是独立副本,有自己的运行时、配置和模型目录,下载版本按 SHA-256 校验锁定。

第三层:应用接口

Unsloth Desktop 暴露一个 OpenAI 兼容的 /v1/chat/completions 端点,embedding 走 Anthropic 兼容的 /v1/messages。

所谓「100 多个应用」,含义很直接:只要你的工具认 OpenAI 的接口,就能接到 NPU 上。

AMD 官方列出的名单里有 Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain、GitHub Copilot。这个名单说明,它的定位不是「聊天工具」,而是给 agent 用的推理后端。

这也解释了 AMD 反复强调的「低功耗持续推理」。agent 是长时间挂着跑的,和人聊天那种「问一句答一句」的负载完全不同。让这类负载走 NPU,把 GPU 留给游戏、渲染和训练,这才是核心卖点,而不是「比 GPU 快」。

速度表里,有一行不该被忽略

Unsloth 文档给了具体数字,比新闻稿更有参考价值。下面是它列出的 NPU 模型与实测速度:

模型 大小 建议内存 tok/s
LFM3-1.7B 1.5 GB 16 GB 40.7
Qwen3-VL-4B 3.9 GB 16 GB 20.5
Qwen3.6-35B-A3B 20.6 GB 64 GB 17.2
Qwen3.5-9B 7.6 GB 32 GB 9.5
Gemma4-12B-IT 8.7 GB 32 GB 6.8
Qwen3.8-27B (MTP) 18.1 GB 48 GB 2.0

最后一行值得单独说:Qwen3.8-27B 在这份表里只有 2.0 tok/s,首 token 耗时 3.8 秒,基本没法用于对话。整张表的规律很清楚:模型越大,NPU 越吃力。

把表按模型大小排序,会看到一条很陡的曲线:1.7B 能跑到 40.7,4B 掉到 20.5,9B 是 9.5,12B 是 6.8。而 35B 的 MoE(激活参数只有 3B)还能维持 17.2。这印证了 MoE 在受限硬件上的价值。

实用的结论是:NPU 适合小模型和 MoE,不适合密集大模型。 如果你想用 NPU 跑 27B 密集模型来替代 GPU,这张表已经给出了答案。

还要注意格式限制。NPU 只跑 FastFlowLM 的 Q4NX(4-bit)模型。你自己的 GGUF 可以在 Export 页面转成 Q4NX,转换在 CPU 上进行。但转换完的模型目前还不能直接从 NPU 模型列表加载,这是一个明确的未完成项。

Linux 上要过三道关

Phoronix 特意向 AMD 确认过:Linux 构建上这套支持也能正常工作,不限于 Windows。这是好事,但 Linux 侧的前置条件比 Windows 更硬。

第一步:内核 7.0+,或者安装 DKMS

你需要 amdxdna 驱动。内核 7.0 或更新版本自带该驱动。老内核则要使用 amdxdna-dkms。

踩坑提示: 内核 7.0 相当新。运行 LTS 发行版的机器大概率要走 DKMS 路线。DKMS 意味着每次内核升级都要重新编译,出问题的环节也更多。

第二步:更新 NPU 固件

固件版本不够,驱动装了也没用。文档里这一条只有一句话,实际排障时却往往最费时间。固件过旧时系统不会提示「固件太旧」,而是报出各种看起来无关的错误。

第三步:解除 memlock 限制

需要把 memlock 设为 unlimited。NPU 要把模型锁进内存,默认限制不够用。这一项改的是系统级配置,不是应用级配置。

支持哪些机器

支持的处理器包括 Ryzen AI 300(Strix Point、Krackan Point)、Ryzen AI Max(Strix Halo)和 Ryzen AI 400(Gorgon Point),都必须带 XDNA 2 NPU。系统要求 Windows 11 或 Linux x64。

注意「x64」这个限定:没有 ARM 版本。 对使用 ARM 机器的人来说,这是硬门槛,不是配置问题。

NPU 到底解决什么问题

这件事的意义不在于「AMD 也能跑本地模型了」,因为 Lemonade 和 FastFlowLM 早就能跑。真正的变化是:门槛从「会配 Linux 的 NPU 环境」降到了「点两下鼠标」。

开发者在三月能跑通,和普通用户在十一月能跑通,是两件不同的事。后者才决定一项技术能不能普及。接入 100 多个 agent 应用,本质上是在说:接口通了,剩下的交给生态。

但速度表也如实标出了限制。NPU 不是 GPU 的替代品,它是把「长时间挂着的轻推理」从 GPU 上挪走的专用通道。1.7B 跑 40 tok/s、35B MoE 跑 17 tok/s,这两行才是它的真实定位。27B 密集模型的 2 tok/s 则是它的边界。

对 Ryzen AI 笔记本用户来说,这是个不错的增量。以前 NPU 在 Linux 上基本是块闲置硬件,现在至少能挂一个 agent 在后台运行,不和 GPU 抢资源。

它能否成为主流,取决于接下来两件事:Q4NX 转换后的模型能否直接加载,以及内核 7.0 何时进入主流发行版。这两个问题解决后,才算真正成熟。如果你想继续了解大模型的选择与应用,可以到云栈社区的模型与 Skill 板块看看。

来源:LeisureLinux




上一篇:MCU 加 NPU 还是加缓存?六家厂商的三种方案与选型思路
下一篇:RTX 5060游戏本650美元入手:百思买开箱机配置与价格
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-21 11:37 , Processed in 0.077008 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表