基于ASR+LLM+RAG的视频广告推广品类精准识别与自迭代方案

技术背景与核心挑战

在视频内容爆发式增长的当下，品牌广告植入场景日益复杂，如何快速、精准地判断视频中推广的产品品类，成为内容运营与竞品分析的核心需求。传统的解决方案主要依赖关键词匹配与规则引擎，面临着三大技术痛点：

1. ASR转写准确性不足，导致后续处理的输入数据质量低下。
2. 产品表述存在异构性，同一产品有多种口语化或错误表述方式。
3. 模型泛化与迭代能力弱，难以应对新品涌现和表述变化。

为解决上述问题，本文提出一套基于 “ASR + LLM + 向量知识库（RAG）” 的分层技术方案。该方案通过语义修复、历史常见词匹配与知识检索融合，旨在实现推广品类的高精度识别，并具备自迭代优化能力。

技术架构设计

整个方案的流程如下图所示，形成了一个从输入到输出，并包含反馈闭环的系统。

[视频语音输入] → [ASR转写层] → [文本预处理层] → [精准匹配层] → [模糊检索层] → [识别结果输出]
        ↑                                                                        ↓
[映射case反馈]   ←                            [人工审核反馈]

各模块核心功能与技术选型

1. ASR 转写层

语音输入 → [降噪预处理（远场降噪 + 双声道分离）] → [语音转写] → 原始文本输出

• 功能：将视频中的语音流转换为原始文本，是整个流程的数据源头。
• 技术选型：采用专业的ASR引擎，并针对性配置“远场降噪”、“口语化清洗”等参数，以提升嘈杂环境下的转写准确率。

2. 文本预处理层

ASR原始文本 → [语义纠错（错字/口音修正）] → [语序规整] → [字段校验] → 预处理结构化文本

• 功能：利用LLM对ASR产出的原始文本进行语义修复，修正因口音、噪音导致的上下文逻辑错误。例如，将“手机苹果 IPHONE15”修复为“苹果手机 iPhone 15”。
• 处理流程：包括错别字修正、口语化语序规整（如“苹果手机”转为“手机苹果”），以及过滤无核心信息的无效文本。

3. 精准匹配层

• 功能：实现标准化文本与已知产品信息的精准映射，分为两级匹配，旨在用最低成本处理已知案例。
• 一级匹配：基于MySQL存储的标准产品库（包含产品ID、标准型号、品类、品牌等字段），采用“全量字符串匹配+前缀匹配”策略。若命中，则直接输出品类结果。

预处理文本 → [全量字符串匹配（标准型号完全命中）] → 命中则输出品类

• 二级匹配：基于“人工历史确认库”进行匹配。该库存储了“错误表述 - 标准型号”的映射关系，用于解决经过文本修复后仍存在的典型错别字或简称问题。例如，将“手机华硕11U”映射到“华硕 ZenFone 11 Ultra”。

4. 模糊检索层

• 功能：解决未命中精准匹配的模糊、异构表述的识别问题，是处理长尾需求的核心。
• 流程：

预处理模糊文本 → [文本向量化] → [余弦相似度检索（Top-K结果）] → [LLM判断映射匹配] → 识别结果输出

• 知识库构建：采用向量数据库存储产品知识。将“标准型号”、“常见别名”等文本信息转换为向量嵌入（Embedding）。
• 检索逻辑：将模糊表述（如“某品牌14寸笔记本”、“米14U”）向量化后，在向量数据库中进行余弦相似度检索，召回Top-K个最相似的产品描述，再交由LLM结合上下文判断最匹配的标准型号与品类。

5. 常见映射Case闭环模块

• 功能：实现系统自迭代优化的关键，通过回收人工审核案例反哺系统，不断提升精准匹配层的覆盖范围。
• 流程：
  1. 人工审核：通过轻量化平台对系统识别错误的案例进行标注，形成“错误表述-标准型号”的配对。
  2. 自动入库：审核通过的案例自动同步至“常见Case映射库”。
  3. 同步更新：映射库更新后，同步至文本预处理层（更新修复词典）和精准匹配层，用于后续识别。
  4. 效果监控：统计相同错误表述的复发率，评估优化效果。

关键技术难点与解决方案

难点一：单LLM节点拆分——降低负载与提升准确率

• 问题：若使用单个LLM节点同时处理“语义修复”、“产品提取”和“识别生成”任务，会导致输入上下文过长，模型注意力分散，准确率下降。
• 解决方案：采用模块化设计，将任务拆分为三个独立的LLM调用链：
  1. 文本修复模块：专注修正ASR文本的错漏。
  2. 产品提取模块：从修复后的文本中提取疑似产品关键词。
  3. 结果生成模块：综合精准匹配与检索结果，生成最终的标准品类识别结果。这种人工智能领域的任务分解思想，有效提升了各环节的专注度和整体准确性。

难点二：知识库检索优化——提升模糊表述召回率

• 问题：对于“米14U”、“某品牌扫地机器人”等信息不全的模糊表述，传统关键词检索召回率低。
• 解决方案：
  1. 知识库增强：在标准产品信息基础上，额外补充“常见错误表述”、“产品简称”、“品牌别名”等维度。例如，为“小米14 Ultra”补充“米14U”、“小米14超”等向量条目。
  2. 混合检索策略：采用“向量检索 + 关键词过滤”的混合模式。先通过向量检索获得一批相似结果，再利用关键词（如品牌核心字、型号数字）进行二次过滤，从而精准锁定目标。

难点三：LLM参数优化——提升识别稳定性

LLM的温度（Temperature）、Top-P等参数直接影响各模块输出的准确性和稳定性。不同任务阶段需要针对性调参，以避免“过度创作”或“信息遗漏”。

以下是适配本场景的推荐参数配置：

应用场景	核心目标	温度	Top-K	Top-P	长度惩罚
ASR文本修复	精准修正错漏，保留关键信息	0.2	20	0.7	1.1
产品关键词提取	无遗漏、无冗余提取	0.1	10	0.6	1.1

参数配置原理简述：

• 温度：值越低，输出越确定、保守，适合需要高准确性的提取任务。
• Top-K/Top-P：用于控制生成时的候选词范围，平衡输出的多样性（召回）与确定性（精度）。
• 长度惩罚：值大于1可鼓励更简洁的输出，避免冗余描述。

效果反馈

从识别准确率来看，不同层级的匹配策略效果排序为：关键词匹配 > 历史常见Case映射匹配 > 知识库模糊检索匹配。随着“常见映射Case库”的不断沉淀，更多案例会被沉淀到精准匹配层及其二级匹配中，系统整体准确率将随之持续上升。

总结

本文提出的“ASR+LLM+向量知识库（RAG）”分层方案，有效解决了视频广告推广品类识别中的输入质量差、表述异构、模型僵化三大核心痛点。该方案不仅实现了高精准度的识别，更通过设计反馈闭环实现了系统的自迭代优化。

这套方法论可扩展至各类AI识别场景，其核心思考逻辑具有通用性：首先保证输入数据的质量，接着对LLM进行基础参数调优以适配具体任务，最后通过持续沉淀常见案例并反馈系统，驱动模型效果持续进化。对于希望构建类似智能识别系统的Java或Python开发者而言，此架构提供了清晰的工程实现路径。