在竞争白热化的人工智能芯片赛道，一家由前谷歌工程师创立的美国创企正成为新的焦点。
2月24日，AI芯片公司MatX宣布完成5亿美元（约合人民币34亿元）的B轮融资。据外媒报道，MatX目前的估值已达数十亿美元，成功跻身独角兽行列。这家公司的目标是打造一款名为 MatX One、专为大语言模型（LLM）优化的芯片，预计在一年内完成流片。
MatX 由 Reiner Pope 和 Mike Gunter 于2022年创立。其中，Reiner Pope 曾为谷歌的芯片和AI模型开发软件，而 Mike Gunter 曾是谷歌张量处理单元（TPU）的硬件工程师。如今，这家公司的团队规模已发展到约100人。
MatX One：宣称兼具高吞吐与低延迟
MatX 对其首款芯片 MatX One 的定位颇为激进。官方宣称，这款芯片能实现远超其他芯片的吞吐量，同时延迟也最低。其技术核心在于一个可分割的脉动阵列（splittable systolic array）架构。
脉动阵列本身以高能效和面积效率著称，但在处理小型矩阵运算时，利用率往往不高。MatX 声称他们的设计克服了这一缺点，使其在小型矩阵上也能实现高利用率。
根据公司披露的技术细节，MatX One 的设计思路是结合两种主流存储方案的优势：将权重（Weights）存储在速度极快的片上 SRAM 中以实现低延迟，同时将键值对（KVs）存储在大容量的高带宽内存（HBM）中以支持长上下文。这种设计，加上对数值计算的优化，据称能让其在运行大语言模型时，实现比任何已发布系统都高的吞吐量，同时保持与纯 SRAM 优先设计相当的延迟。
更有甚者，MatX 的测试表明，在每平方毫米计算性能这一指标上，其规划中的芯片性能可以超越英伟达即将推出的 Rubin Ultra。
大神背书：Karpathy 的投资逻辑与行业洞见
本轮融资由前OpenAI研究员Leopold Aschenbrenner创立的投资公司Situational Awareness与Jane Street领投。包括前特斯拉AI总监、OpenAI联合创始人 Andrej Karpathy，以及Alchip、Marvell等供应链投资者也参与其中。
Karpathy 在社交媒体上分享了他的投资思考。他认为，随着对大模型生成Token需求的激增，为LLMs底层的内存与计算资源进行精准协同优化带来了重大机遇。他指出，由于芯片制造工艺的限制，计算单元通常面临两种截然不同的内存池：一是紧邻计算单元、速度极快但容量极小的片上SRAM；二是容量巨大但访问延迟较高的片外DRAM（如HBM）。
“如何为LLM的核心工作流（如推理、训练）设计最佳的物理架构，平衡内存与计算，以实现最优的吞吐量、延迟和成本比，这可能是当下最具吸引力也最具回报的智力难题之一。” Karpathy 写道。他进一步分析，对于在紧凑智能体循环中对长上下文进行推理解码这一关键工作负载，目前无论是HBM优先（如英伟达）还是SRAM优先（如Cerebras）的阵营都难以完美兼顾，而这正是MatX试图破解的课题。
技术目标：瞄准大规模模型训练与推理
根据MatX官网展示的信息，其芯片定位非常明确：
- 核心特性：宣称拥有最高的单位面积浮点运算能力（FLOPS/mm²）；优秀的横向扩展（scale-up）与纵向扩展（scale-out）互连能力，可支持包含数十万张芯片的集群；提供可直接控制硬件的编程模型。
- 性能指标：对于大型的100层混合专家模型，其芯片每秒可输出超过2000个token。
- 目标负载：专注于大模型场景，包括训练、强化学习、推理的预填充和解码阶段。特别适合大型混合专家模型和大型稠密模型，对模型大小无上限要求，但不适用于小模型、卷积网络或推荐系统。
当前，主流AI芯片如英伟达和谷歌的产品主要依赖HBM来处理训练所需的海量计算。而另一些公司则采用SRAM方案，以更快地处理单个用户的推理查询。MatX 的创始人兼CEO Reiner Pope 表示：“我们的立场是，实际上可以在同一个产品中同时实现这两点，而且这样会得到一个更好的产品。”
他在社交平台上进一步解释：“与其他HBM厂商不同，我们拥有足够的SRAM和互连带宽，足以支持将权重存储在SRAM中……除了内存系统，我们还拥有最高的FLOPS/mm²。”
未来规划：瞄准2027年出货
据外媒报道，MatX 预计在今年完成MatX One芯片的最终设计，并希望与台积电合作，在2027年开始出货。对于整个智能与数据云生态而言，一家新的、拥有强大技术背景和资金支持的竞争者入局，无疑将加剧高端AI算力市场的竞争态势。其产品能否如期落地并兑现性能承诺，将是未来几年行业关注的焦点。
想了解更多前沿技术动态和深度解析，欢迎来到云栈社区参与讨论。 | 
发表于 18 小时前
|
查看: 1|
回复: 0
