通用模型的痛点
近年来,以GPT为代表的大语言模型(LLM)通过在海量文本数据上学习,掌握了人类的语言与逻辑,其成功范式也启发并推动了时间序列基础模型(如TimeGPT)的发展。其中,金融市场因其数据的独特性和复杂性,成为检验这类模型能力的关键且极具挑战性的场景。其核心挑战在于通用时间序列模型的预训练目标与金融数据特性之间存在显著的不匹配。
预训练语料与数据特性的不匹配:现有的通用时序基础模型,其预训练语料多集中于电力负载、交通流量等物理过程数据,金融数据的占比极低。这使得模型学到的更多是如“日内用电周期”、“交通早晚高峰”这类由物理规律驱动的、平稳且可预测的模式。然而,金融K线序列普遍具有低信噪比和强非平稳性的特征,这与通用模型在物理数据上形成的归纳偏好相悖,导致其金融预测性能有时甚至不及简单的线性模型,更难以在多样化的量化场景中实现有效泛化。
多元序列的“语义”理解缺失:一根标准K线包含了开盘价、最高价、最低价、收盘价、成交量、成交额这六维信息,构成了一种信息高度密集的“市场语言”。交易者通过分析K线组合的形态(如长下影线、十字星)来解读价格动能、波动率与市场情绪。然而,无论是传统的计量经济学模型(如ARIMA)、经典的机器学习模型(如LSTM),还是现有的通用时序基础模型,它们处理数据的方式本质上是数值计算。模型将这些六维数据视为一组独立或相关的浮点数向量,缺乏将多根K线作为一个具有特定金融语义的整体(即形态)来认知的机制。这种底层逻辑的差异,使得传统模型难以有效捕捉那些对交易决策至关重要的结构化模式。
为了解决上述双重困境,清华大学李健团队推出了Kronos——一个基于仅解码器(Decoder-only)Transformer架构、专为金融K线数据设计的统一预训练框架。Kronos的核心思想在于,首次将K线序列视作一种具备内在逻辑的“市场语言”,其中的K线及其组合不再是孤立的数字点,而是承载市场状态、资金意图与趋势方向的语义单元,彼此间存在语法与上下文依赖关系。
Kronos架构解读
Kronos的架构清晰分为两大核心模块:分词器(Tokenizer) 与自回归模型(Autoregressive Model)。前者负责将连续的K线数据转化为离散的语义单元,后者则负责学习这些单元之间的序列规律。
第一阶段:为K线编写“词典”——分词器
在自然语言处理(NLP)中,文本被切分为词或子词(Token)作为基本处理单元。Kronos借鉴了这一思想,其目标是找到金融市场语言的最小语义单元,该单元可能由单根或多根K线构成。
- 连续数据的离散化:原始的六维K线数据(开盘、最高、最低、收盘、成交量、成交额)是连续值,无法直接作为离散的Token。Kronos设计了一个Tokenizer Encoder,采用二元球面量化(Binary Spherical Quantization, BSQ) 技术,将这些连续数据映射为分层的离散Token。
- 分层Token设计:为了同时捕捉市场的宏观趋势与微观结构,每个Token被分解为两部分:
- 粗粒度子Token:对原始K线数据的低保真近似,负责捕获核心的价格趋势和成交量量级等宏观特征。
- 细粒度子Token:作为粗粒度表示的残差或细节补充,负责刻画精确的价格幅度、微观波动等高精度信息。
- BSQ的技术优势:金融数据是连续的,理论上有无限可能的状态。传统的等距离散化方法会强行拆分数值相近(如100.1与100.2)但语义可能相似的数据点,且面临状态空间爆炸的问题。BSQ通过将高维向量投影到超球面上并寻找相似聚类,使得形态和方向相似的K线波动被编码为同一个Token,类似于NLP中将“高兴”和“喜悦”视为同义词,这赋予了Kronos天然的噪声鲁棒性。
- 重建验证:量化后的Token会通过一个Tokenizer Decoder尝试重建原始K线序列,以确保离散化过程没有丢失关键信息。至此,Kronos成功地为金融市场构建了一本专属的《K线词典》。
第二阶段:学习市场“语法”——自回归预训练
拥有了离散的Token后,下一步是让模型学会“阅读”并预测Token序列,即学习市场语言的语法。Kronos采用了与GPT相同的自回归预训练目标,其Decoder-only架构使其天生具备序列生成能力。
- 两阶段预测机制:在预测时,模型严格遵循顺序依赖:
- 首先,基于历史Token序列,预测下一个Token的粗粒度子Token(把握宏观方向)。
- 然后,通过交叉注意力(Cross-Attention) 机制,结合已预测的粗粒度信息,进一步预测对应的细粒度子Token(补充微观细节)。
- 大规模预训练:研究团队使用了一个涵盖全球45个交易所(包括上海证券交易所、纳斯达克、东京交易所以及加密货币、外汇市场)超过120亿条K线的庞大数据集对模型进行预训练。在这个过程中,Kronos学习了跨资产、跨市场的普遍性波动规律。
- 强大的零样本迁移能力:论文实验表明,在包含美股等全球多市场数据上预训练的Kronos,直接迁移到未参与预训练的A股市场进行预测时,其预测精度(RankIC)的衰减仅为5%-10%。相比之下,传统时序模型在相同跨市场零样本设定下,性能衰减高达35%-45%。这证明了Kronos确实学习到了具有一定普适性的“金融语言语法”。
Kronos可能的应用
Kronos的核心能力——理解和生成符合金融语义的K线序列,为其开辟了多个潜在的应用方向。
- 量化策略的压力测试与“平行宇宙”回测:传统回测受限于单一的历史路径,难以区分策略盈利是源于逻辑优势还是运气(幸存者偏差)。利用Kronos的合成数据生成能力,研究者可以基于某段历史起点,生成成百上千条“可能发生但并未发生”的后续市场路径。如果一个策略在真实历史中表现优异,但在Kronos生成的大多数“平行宇宙”中表现糟糕,则说明该策略的稳健性存疑。这实现了从单一历史回测到统计意义下压力测试的跃升。
- 降低深度学习量化研究的数据门槛:对于个人开发者或中小机构而言,获取长期、高频的规整历史数据成本高昂。Kronos提供了一种“小样本真数据 + 大规模合成数据”的可行路径。开发者可以购买近期的高质量数据作为“种子”,利用Kronos生成海量涵盖不同市场 regime(如趋势、震荡、暴跌)的合成数据,从而构建足量且多样化的训练集,极大降低了使用深度学习进行量化交易策略研究的数据壁垒。
关于Kronos的讨论
Kronos自发布以来,在获得认可的同时也引发了一些讨论,焦点主要围绕其“实盘价值”。
部分质疑指出,其在论文中的样本外测试周期较短(如仅使用2024年数据),对于需跨越牛熊市检验的量化策略而言可能不足;同时,论文以MSE、MAE等预测误差为主要评估指标,而非直接的策略收益曲线,让人怀疑其实战有效性。
从量化实战的角度看,这些质疑是合理且必要的。任何直接使用原始预测信号进行交易的行为都可能面临风险。
然而,从人工智能研究的范式来理解,Kronos本质上是一个生成式基础模型,其首要任务是“理解和重建市场”,而不是“战胜市场”。在LLM领域,评估标准通常是Token预测准确率。对于高频数据,一年的样本所包含的Token数量在统计学上已足够验证模型是否收敛。较低的MSE意味着模型能很好地学习市场波动的一般规律,但这与发现能够持续盈利的Alpha信号是不同层次的任务。就像GPT-4能写出优秀的Python代码,但无法可靠预测股价一样。
因此,正确的“打开方式”不应是直接使用其裸预测信号,而是将其作为一个强大的、理解金融时序语义的基础设施或特征提取器,在其之上构建具体的策略逻辑与风控体系。Kronos的真正价值在于,它首次为金融K线数据提供了一种统一的、语义化的表示和学习框架,为时序分析带来了新的视角与方法论启迪。
|