在QCon旧金山2025大会上，LinkedIn工程经理Nishant Lakshmikanth深度解析了如何系统拆解传统批处理推荐架构，实现实时个性化推荐的同时显著提升运营效率。
原有架构负责"可能认识的人"和"关注的人"等核心产品功能，存在三大瓶颈：数据新鲜度低、延迟高、计算成本高。旧系统中，推荐结果会为全体用户预计算，不论用户是否登录，这导致大量计算资源浪费和静态过时的推荐结果。一次流水线事故可能造成数天的更新延迟，直接影响核心业务指标。
LinkedIn将这次重大迁移规划为循序渐进的四个架构阶段：
离线评分：起点是重型批处理计算，高延迟且需要海量预计算存储
近线评分：中间过渡阶段，提供小时级或天级数据新鲜度
在线评分：关键转折点，模型推理根据用户当前会话和意图实时执行
远程评分：最终目标，将重型模型评分迁移到高性能云环境，通常利用GPU加速推理
这一框架支持两条并行迁移路径：离线到在线评分、近线到在线新鲜度，将重心从预计算转向动态执行。
成功关键在于架构层面的根本性解耦：将候选生成流水线与在线评分服务分离。
动态候选生成：候选生成不再依赖静态列表，转而使用实时搜索索引查询、基于嵌入的检索解决新用户和内容冷启动问题，并结合即时用户上下文动态获取相关候选集。
智能评分：在线评分服务使用上下文丰富的特征存储，支持现代模型如图神经网络和Transformer模型进行精确排序。团队特别实施了双向建模技术，从发送者和接收者双视角评估连接关系，获得更优结果。
关于大语言模型的应用，Lakshmikanth明确了成本性能权衡：由于计算开销较高，LLM主要应用于候选生成和后排序流程，在不过度影响延迟敏感型实时核心排序循环的前提下发挥价值。
向实时架构的转型已带来可量化的成果：
成本优化：清理批处理依赖使离线计算和存储成本降低超90%，部分核心流程总计算成本降低达68%
会话级新鲜度：系统实现会话级数据更新，即时响应用户点击、搜索和资料浏览行为，显著提升用户参与度和连接率
平台灵活性：模块化设计简化了系统维护，支持更快速的模型实验，实现前沿模型快速部署和无缝回滚
这些架构原则现已应用于其他关键业务场景，包括LinkedIn职位推荐（更好解析职业意图）和视频推荐（内容新鲜度至关重要）。 | 
发表于 前天 04:54
|
查看: 10|
回复: 0
