树莓派AI HAT+ 2发布：为树莓派5带来40TOPS生成式AI边缘计算

一年多前，专为树莓派 5 设计的 AI HAT+ 扩展板正式亮相，它搭载了 Hailo-8（26 TOPS 版本）与 Hailo-8L（13 TOPS 版本）神经网络加速器。这款板卡将所有 AI 处理任务置于设备本地完成，为用户提供了货真价实的边缘人工智能能力，不仅确保了数据隐私与安全，还免去了订阅昂贵云端 AI 服务的需求。

尽管 AI HAT+ 在加速基于视觉的神经网络模型（如目标检测、姿态估计和场景分割）方面表现卓越，但它却无法运行当下日益流行的生成式人工智能模型。如今，树莓派兴奋地推出了旨在填补这一空白的首款产品 —— 树莓派 AI HAT+ 2。

解锁树莓派 5 的生成式人工智能潜能

树莓派 AI HAT+ 2 的核心升级在于集成了全新的 Hailo-10H 神经网络加速器，能够提供高达 40 TOPS（INT4 精度）的推理性能，确保生成式 AI 负载在树莓派 5 上顺畅运行。所有处理均在本地完成，无需网络连接，从而继承了前代产品的低延迟、高稳定性、强隐私性、安全性和成本效益优势。

与前代产品不同，AI HAT+ 2 配备了 8GB 板载专用内存，这使得加速器能够高效处理规模远超以往的大型模型。结合升级的硬件架构，Hailo-10H 芯片能够轻松为大语言模型、视觉语言模型以及其他各类生成式 AI 应用提供加速支持。

得益于板载内存，AI HAT+ 2 在运行基于视觉的模型（例如基于 YOLO 的目标检测、姿态估计等）时，其计算机视觉性能与前代 26 TOPS 版本基本持平。同时，它也能与树莓派的相机软件栈深度集成。对于已有 AI HAT+ 软件生态的用户，向 AI HAT+ 2 的迁移过程基本可以做到无缝衔接。

预装模型与应用案例

产品发售时，用户可直接安装以下大语言模型：

更多、更大规模的模型正在适配中，将于产品上市后不久陆续开放下载。

下面快速浏览几个基于实际硬件运行的示例。这些示例均构建于 Hailo-ollama 大语言模型后端（可从 Hailo 开发者专区获取）与 Open WebUI 前端之上。用户通过浏览器即可在熟悉的聊天界面中进行操作，所有处理均在树莓派 5 连接 AI HAT+ 2 的本地环境中完成。

• 示例一：智能问答
  使用 Qwen2 模型回答简单问题。模型资源可参考 HuggingFace 上的 Qwen2 集合。

• 示例二：代码生成
  采用 Qwen2.5-Coder 模型完成一项编程任务。相关资源可查看 HuggingFace 上的 Qwen2.5-Coder 集合。

• 示例三：语言翻译
  借助 Qwen2 模型完成简单的法语到英语的翻译工作。

• 示例四：视觉理解
  展示视觉语言模型对摄像头实时捕捉画面进行场景描述的能力。

支持自定义模型微调

当前热门的生成式 AI 模型，如 ChatGPT、Claude 等大语言模型，其参数量可达千亿甚至万亿级别。而为了适配边缘设备的板载内存，在树莓派 AI HAT+ 2 上运行的模型参数量通常在 10 亿至 70 亿之间。这类轻量级模型的设计目标并非在通用知识储备上与巨头媲美，而是在特定、受限的数据集内高效运行。

为了突破这一局限，用户可以对 AI 模型进行针对具体场景的微调。在初代 AI HAT+ 上，用户可以利用相关图像数据集对 YOLO 等视觉模型进行重新训练，这一功能在 AI HAT+ 2 上依然适用，可通过 Hailo Dataflow Compiler 完成。

此外，AI HAT+ 2 新增了对基于低秩适配技术的大语言模型微调的支持。该技术能在冻结预训练模型大部分参数的基础上，高效地针对特定任务定制模型。用户可以通过 Hailo Dataflow Compiler 为任务编译适配模块，随后在树莓派 AI HAT+ 2 上运行优化后的模型。

获取资源与开发者支持

树莓派 AI HAT+ 2 现已上市，售价 130 美元。详细的安装指南可查阅树莓派官方文档。

对于开发者而言，Hailo 在 GitHub 上提供了丰富的开源实战资源，包括视觉及生成式 AI 应用示例、演示和开发框架，涵盖 VLM、语音助手、语音识别等多个领域。同时，Hailo 开发者专区也提供了 Dataflow Compiler 和 hailo-ollama server 的相关文档、教程及下载资源。

想了解更多前沿的开发者资讯和技术动态？欢迎访问云栈社区，与更多技术爱好者交流探讨。