PandaAI：面向量化金融的闭环神经符号智能体——市场感知与约束搜索

摘要

本文提出PandaAI，一个针对量化金融领域的闭环神经符号大语言模型（LLM）智能体。不同于在图像识别等领域表现卓越的深度学习，金融数据因其固有的低信噪比和高度非平稳性，给序列决策带来了巨大挑战。PandaAI利用LLM的推理能力，通过市场机制建模和受约束的阿尔法生成，桥接了通用LLM推理与金融严谨性之间的鸿沟，并抑制了LLM生成结果的“金融毒性”。

PandaAI对领域特定LLM进行了微调，并将其集成到一个模块化架构中，形成闭环系统。与优化孤立预测指标的传统模型不同，PandaAI被设计为一个神经符号智能体，能够在复杂、真实的金融环境中以明确的风险意识进行导航。在沪深300股票数据上的广泛实验表明，PandaAI的Rank IC（秩信息系数）比最先进的时间序列模型高出18.2%，最大回撤低25.7%。其受约束的LLM生成和双通道自适应方法为LLM在高风险序列决策场景中的部署提供了通用范式。

简介

深度学习在众多领域取得了巨大成功，但金融数据因其固有的低信噪比（SNR）——即经济上有意义的可预测模式（信号）与主导价格波动的随机、不可预测波动（噪声）之间的相对强度——和非平稳性（如趋势行为、波动率聚集、经济体制转换时的结构性断裂等），对深度学习构成了严峻挑战。

为了解决这些问题，本文整合了量化投资方法，通过挖掘公式化的阿尔法因子（$f$）来辅助决策，而非仅依赖原始数据。量化投资任务被建模为一个序列决策过程，目标是在满足风险约束集 $C$ 的前提下，优化投资组合权重 $w_t$ 以最大化累积收益。阿尔法因子 $f$ 是一个符号表达式，将市场历史映射到截面信号向量 $s_t \in \mathbb{R}^N$。与无约束的代码生成不同，可行的金融因子必须遵守特定的结构约束（如维度齐次性）和风险约束（如衰减率）。金融时间序列违反平稳性假设，本文通过引入一个潜在的机制状态 $z_t$ 来形式化这一问题，该状态捕捉市场的动态特征。因此，市场感知策略必须隐含 $\pi(a|s, z_t)$，根据推断出的机制 $z_t$ 动态调整参数。

文章主要贡献在于：

• 受约束的MCTS阿尔法挖掘（LLM引导）： 设计了一个LLM引导的受约束蒙特卡洛树搜索（MCTS）阿尔法挖掘框架，将金融硬约束整合进LLM生成的全生命周期，以解决无约束方法产生的因子的“金融毒性”问题。
• 基于双通道自适应的市场机制潜在建模： 提出市场机制潜在变量建模和双通道自适应机制，将高维市场动态因子压缩为连续潜在状态 $z_t$，实现LLM符号推理与量化模块数值优化的统一市场感知。
• 量化金融全生命周期的闭环更新系统： 构建了一个覆盖量化金融全生命周期的闭环更新系统，结合快速逻辑约束归纳和慢速参数自适应，实现对非平稳金融市场的持续自适应。

相关工作

阿尔法空间探索

介绍了从遗传编程（GP）到深度强化学习（DeepScalper）、符号回归（DSO, AlphaGen），再到利用大语言模型（LLM）如AlphaGPT进行因子挖掘的发展趋势。尽管搜索能力显著提升，但鲁棒性仍是主要问题，生成方法容易过拟合，产生具有“金融毒性”的因子。

市场动态与自适应

金融市场是非平稳的，分布漂移对静态模型构成严峻挑战。尽管RevIN和DoubleAdapt等自适应机制在股票预测中成功应对了概念漂移，但将它们迁移到基于LLM的智能体上仍处于探索阶段。

自主智能体与闭环系统

现有通用和金融特化的智能体框架（如Generative Agents, TradingGPT）展现了规划和工具使用的潜力，但大多在开环模拟中运行，缺乏严格的金融硬约束和执行反馈的闭环，限制了模块间的协同优化。本文的PandaAI旨在将这些分散组件整合到一个统一的闭环系统中。

方法

PandaAI框架的有效性源于三个机制驱动的假设：

• $H_1$（情境化假设）： 明确建模市场机制（$z_t$）并将所有下游任务基于此条件，将比假设平稳性的模型产生更稳健、更具情境感知的策略。
• $H_2$（受约束创造力假设）： 在MCTS搜索中，用第一性的金融约束（$C$）指导基于LLM的阿尔法生成，将比无约束生成方法产生具有更优样本外鲁棒性和更低金融毒性的因子。
• $H_3$（元自适应假设）： 一个基于回测证据（$E$）同时更新模型参数（$\theta$）和约束逻辑（$C$）的闭环反馈机制，将能够实现对非平稳市场的持续自适应。

市场动态模块（M）

该模块将市场感知实现为一个连续的潜在机制流形。

潜在状态构建： 使用Barra风险因子（风格和行业暴露度）通过轻量级自动编码器（Autoencoder）压缩为低维潜在状态 $z_t$，保留市场的连续动态特性。

双通道自适应： 为让 $z_t$ 同时与LLM的符号推理和执行模块的数值优化交互，设计了双通道适配器：

• 符号适配器（通道1）：将 $z_t$ 映射为 $k$ 个可学习的软标记（Soft Tokens），预置到LLM的输入嵌入序列中。
• 数值适配器（通道2）：将 $z_t$ 映射为标量控制参数，例如风险厌恶系数 $\lambda_t$ 和流动性参与率 $\gamma_t$。

LLM驱动的阿尔法研究模块（R）

该模块将阿尔法挖掘视为一个有向无环图（DAG）上的约束搜索问题，实现了LLM引导的MCTS框架。整个过程包含四个阶段：

选择： 使用修改的UCT算法，其探索常数 $c$ 由市场状态 $z_t$ 动态调节。

扩展： LLM作为策略网络。公式生成通过“提示-检查-重生成”循环，将 $C$ 注入提示，并通过静态语法规则 $G_{\text{forbidden}}$（即 $C$ 的子集）作为硬过滤器，拒绝无效候选。

模拟： 候选因子进行回测，通过节点价值函数 $V(f)$ 进行评估。$R_{\text{perf}}$ 是回测指标，$R_{\text{model}}$ 是RLHF对齐分数，$\lambda \cdot \mathbb{I}(\cdot)$ 是对违反动态约束（如日换手率高于50%）的软惩罚。

反向传播： 评估信号反向传播更新节点统计信息，引导LLM收敛到“有效且稳健”的阿尔法子空间。

微调模块（T）用于CQ2

CQ2（COT定量LLM）基于DeepSeek-Coder-33B架构，通过两阶段微调：

监督微调（SFT）： 使用包含市场状态标签的金融指令数据集和思维链（CoT）金融推理数据集，训练模型在特定市场语境下进行条件生成和显式推理。同时注入 $z_t$，并利用知识蒸馏（KL散度损失）防止灾难性遗忘。

基于人类反馈的强化学习（RLHF）： 通过执行驱动的奖励信号对齐生成行为。训练了一个7B的奖励模型（RM）来预测人类偏好，并使用PPO优化策略，最大化包含KL正则项的奖励 $R(x, y)$。

市场感知决策模块（P & E）

投资组合优化（P）： 求解基于机制的凸优化问题 $w_t$，其中 $\lambda(z_t)$ 在高波动机制下自动增大，优先保证资本保全。

执行控制（E）： 根据推断的流动性状况，执行策略 $\pi_{\text{exec}}(a|w_t, z_t)$ 动态选择TWAP或VWAP等算法，缩小模拟与现实的差距。

更新模块（U）：闭环

该模块通过双时间尺度机制实现 $H_3$（元自适应假设）：

快速循环（符号规则归纳）： 当在回测证据 $E$ 中发现显著的失败聚类时，系统通过对比提示，利用LLM提取逻辑谓词（例如，“高动量阶段禁止反转算子”），并立即追加到约束集 $C$ 中。

慢速循环（参数自适应）： 将成功的轨迹（经过验证的CoT痕迹和盈利的执行）存储到经验回放缓冲池中。通过LoRA以5%的数据回放比例定期更新模型参数 $\theta$，在保留结构先验的同时适应分布漂移。

实验

实验基于沪深300指数成分股数据，严格按时间分割（2015-2022训练/微调，2023验证，2024样本外测试），测试期严格在DeepSeek-Coder-33B发布之后，确保智能体导航从未见过的市场动态。输入数据为60天的OHLCV序列，标签为标准化后的5日前向收益。回测考虑了15bps双边佣金和5bps滑点，以及50%的日换手率上限。

整体表现

与LSTM、Transformer和StockMixer等神经网络基线相比，PandaAI在IC（0.021）、Rank IC（0.058）、ICIR（0.193）、年化收益（19.0%）和最大回撤（-44.8%）等指标上全面领先，证明了其挖掘合理公式化阿尔法因子的能力。特别是其生成的因子1的t统计量高达9.9667。

消融分析

实验验证了三个核心假设：

$H_1$（情境化假设）验证： 生成了5个对照因子（Factor 2: 未微调LLM; Factor 3: 微调但不注入 $z_t$; Factor 4: 阿尔法研究模块无 $z_t$; Factor 5: 投资组合模块无 $z_t$）。结果证明，完全装备的框架（Factor 1）在所有5个指标上均优于消融组，验证了 $H_1$。

$H_2$（受约束创造力假设）验证： 生成了关闭约束集 $C$ 的因子6。结果显示，尽管其原始ICIR（0.2484）高于因子1（0.193），但其日均换手率超过80%，在扣除交易成本后净收益大幅下降。相比之下，在约束下生成的因子1保持了预测能力和可交易性的健康平衡，验证了 $H_2$ 对于生成鲁棒且实际可行的因子至关重要。

$H_3$（元自适应假设）验证： 生成了关闭快速循环的因子7和关闭慢速循环的因子8。结果表明，缺少任一循环都会导致因子质量下降。例如，因子7的IC降为0.0133，因子8的IC降为0.0067，完整系统下的因子1性能最好，从而验证了 $H_3$。

总结

本文提出了PandaAI，一个将微调后的领域特定大语言模型集成到闭环系统中的神经符号框架，旨在解决金融数据中低信噪比和非平稳性的固有问题。通过显式建模潜在市场机制（$H_1$）、用金融先验约束LLM引导的MCTS搜索以生成鲁棒、低毒性的阿尔法因子（$H_2$），以及通过符号约束归纳和执行反馈的参数更新来闭合环路（$H_3$），PandaAI实现了跨市场动态、阿尔法挖掘、投资组合优化和真实执行的适应性、情境感知的量化决策。