Google Private AI Compute深度解析：基于硬件隔离与临时数据设计的私有推理方案

Google近日发布了Private AI Compute系统。该系统旨在利用Gemini云端模型处理AI请求，同时致力于保护用户数据的私密性。Google将其描述为一种旨在“解锁Gemini云端模型的全部速度和能力”的技术，并声称其“能让你获得更快、更有用的响应”。

为应对隐私担忧，Google基于其开发的隐私增强技术（PET），设计了具有多层保护机制的Private AI Compute来处理推理过程。

硬件隔离与信任链

该系统为CPU和TPU工作负载采用了基于AMD的硬件可信执行环境（TEE），以实现“对内存和计算进行加密，并与宿主机隔离”。Google将其Titanium硬件安全架构扩展到了TPU硬件，从第六代Google Cloud TPU（Trillium）开始，以满足Private AI Compute的要求。该架构还使用Noise和应用层传输安全（ALTS）等协议，在可信节点间建立加密通信通道。Google会对可信节点进行认证，以验证其完整性，这被视为建立安全通道的一部分，据称能使用户数据免受更广泛的Google基础设施的影响。

应对特权访问滥用的防护措施

Private AI Compute包含专门设计以应对特权访问滥用的防护措施。该系统以临时性方式运行，“输入数据、模型推理结果和计算数据仅在满足用户查询所需的时间内保留”，Google称这能防止攻击者访问历史数据。关键的云原生服务运行在基于AMD硬件TEE的机密计算平台上，前端服务则在机密虚拟机中运行。Google表示，这种方法保护了虚拟机中的工作负载免受宿主机影响，并通过认证验证代码。此外，系统还使用由第三方操作的IP盲转中继来将流量隧道传输至Private AI Compute，Google称此举消除了将用户IP地址或网络识别信息与特定查询关联起来的能力。

实际应用与行业趋势

Private AI Compute允许设备端功能在保持隐私保护的同时，访问扩展能力。例如，在最新的Pixel 10手机上，该技术让Magic Cue能“提供更及时的建议，从而更有帮助”。Pixel的录音机应用也利用Private AI Compute来“汇总更广泛语言的转录内容”。

Private AI Compute反映了行业向注重隐私的人工智能系统发展的广泛趋势。苹果的Private Cloud Compute和Meta的Private Processing都追求类似的目标，即在将AI工作负载卸载到云端的同时，实施基于密码学和硬件的保护。

安全验证与开源参考

有评论指出，已有研究论文详细说明了可信执行环境可能遭受的攻击方式，此外还存在TEE制造商持有密钥并在被强制或自愿情况下可能与他人共享访问权限的明显风险。

作为外部审计方，NCC Group确认Private AI Compute的系统设计符合隐私和安全指南。审计范围包括对Private AI Compute系统的架构审查、对Oak会话库的密码学安全评估，以及对IP盲转中继的安全分析。

对于关注私有AI推理的开发者，可以探索GitHub上提供的开源框架OpenPCC。该仓库为那些希望研究或实验私有AI架构的人提供了技术细节。