模型上线后,准确率不一定能一直保持在训练时的水平。比如一个贷款风控模型,刚上线时预测得还挺准,过了几个月,误判开始增加。排查代码没有发现问题,模型服务也没报错,但业务效果就是在变差。
遇到这种情况,我一般不会急着重新训练模型,而是先看数据:是线上输入的数据变了,还是输入变化不明显,但模型的预测能力下降了?这两个问题分别指向数据漂移和模型漂移。
一、先把两种漂移分清楚
数据漂移(Data Drift)指模型上线后,输入数据的分布发生了变化。
举个例子,训练模型时,用户年龄集中在 25~40 岁;上线一段时间后,新用户中 40 岁以上的人明显增多。模型收到的数据与训练时不太一样了,即使业务代码一行没改,也可能影响预测结果。
模型漂移(Model Drift)则更关注模型效果的变化。严格来说,这不是一个完全统一的术语,在工程实践中通常用来描述模型在真实业务数据上的预测表现逐渐变差。
两者有联系,但不能直接画等号。
输入数据变了,模型效果不一定下降;输入分布看起来没变,特征与真实标签之间的关系也可能发生变化。比如以前高频购买的用户更容易复购,现在促销策略调整了,这种变化不一定能从输入特征的分布中直接看出来。
我更习惯把排查分成两步:先检查输入数据,再检查模型效果。
二、用 Python 检查数据漂移
先准备两份数据:一份是模型训练时保存的参考数据,一份是最近线上采集的数据。
这里用 Pandas 和 SciPy 做一个简单检测。对于连续数值特征,可以使用 KS 检验,比较两组数据的分布是否存在显著差异。
import pandas as pd
from scipy.stats import ks_2samp
def detect_drift(reference, current, columns, alpha=0.05):
results = []
for col in columns:
old = reference[col].dropna()
new = current[col].dropna()
if len(old) < 30 or len(new) < 30:
continue
stat, p_value = ks_2samp(old, new)
results.append({
"feature": col,
"ks_stat": round(stat, 4),
"p_value": round(p_value, 6),
"drift": p_value < alpha
})
return pd.DataFrame(results)
调用时,把训练集和线上最近一段时间的数据传进去即可:
report = detect_drift(
reference=train_df,
current=online_df,
columns=["age", "income", "order_count"]
)
print(report)
结果里重点看两个字段:
ks_stat:衡量两组经验分布之间的差异,越接近 1,说明差异可能越明显。
p_value:在两组数据来自同一分布的假设成立时,观察到当前差异或更极端差异的概率。低于设定阈值时,可以认为有统计学证据表明两组分布不同。
注意,p_value 小不代表模型一定变差。样本量特别大时,很小的分布变化也可能被检验出来。代码还会跳过任一组有效样本少于 30 条的特征,这些特征不会出现在报告中。
另外,这段代码主要针对连续数值特征。对于性别、渠道、设备类型等类别特征,可以比较各类别占比,或者使用卡方检验。不要把所有字段都直接丢进 KS 检验。
三、检测到漂移,先别急着重训
假设检测报告如下:
feature ks_stat p_value drift
age 0.082 0.013 True
income 0.021 0.842 False
order_count 0.116 0.001 True
年龄和订单数量的分布存在统计学上的显著差异,而收入字段没有发现显著差异。
接下来要做的不是立即重新训练,而是找到变化从哪里开始。
我通常会先检查三件事:线上数据的字段定义有没有变,数据采集链路有没有异常,以及业务流量结构是否发生了变化。
比如 order_count 原本表示过去 30 天订单数,某次数据加工调整后变成了过去 7 天订单数。模型看到的特征分布会随之改变,但这不是用户行为的自然变化,而是数据口径出了问题。
这种情况下重新训练,可能只是让模型重新学习错误数据。
还有一点容易被忽略:如果线上数据中突然出现大量空值,或者某个字段统一变成了默认值,也可能影响模型预测。漂移检测之外,还应该监控缺失率、异常值比例和字段取值范围。
四、模型漂移,要看真实预测效果
数据漂移只能告诉我们输入发生了变化,无法直接证明模型性能下降。
真正判断模型效果,需要等线上真实标签回来。例如,风控模型预测用户是否违约,至少要等到一部分用户的实际还款结果产生,才能计算准确率、召回率、AUC 等指标。
可以用下面这段代码,对比模型最近一段时间的效果:
from sklearn.metrics import roc_auc_score
def compare_auc(reference, current):
for name, data in [
("reference", reference),
("current", current)
]:
valid = data[["label", "score"]].dropna()
if valid["label"].nunique() != 2:
print(f"{name}: 标签类别不足,跳过 AUC")
continue
auc = roc_auc_score(
valid["label"],
valid["score"]
)
print(f"{name} AUC: {auc:.4f}")
这里假设 label 是真实标签,score 是模型输出的正类概率。
如果参考数据的 AUC 为 0.89,而近期数据降到了 0.76,就值得进一步排查。不过,这只是示例数值,不代表检测到漂移后一定会出现这种下降。
实际项目里,还得注意标签延迟、样本选择偏差,以及参考集和当前集是否采用了相同的评估口径。没有真实标签时,可以先监控预测分数分布、正类预测比例等指标,但这些只能作为预警信号,不能替代真实效果评估。
五、线上监控别只盯一个指标
数据漂移和模型漂移最好放在同一套监控流程里。
数据侧关注特征分布、缺失率和异常值;模型侧关注 AUC、召回率、误报率等业务指标;运行侧还要看请求量、预测耗时和异常日志。
当特征分布变化、模型指标下降同时出现时,才更有理由怀疑数据变化正在影响模型表现,但仍需进一步排查原因。
阈值也不能随便设。比如每次 KS 检验都使用 0.05 作为报警条件,字段多、检查频率高时,很容易出现误报。可以结合业务容忍度、历史波动范围和持续时间设置告警规则,而不是某个字段一变就触发重训。
漂移检测真正有价值的地方,不只是发现数据变了,而是尽早发现模型可能正在失去原来的适用条件。
先定位数据口径,再确认分布变化,最后用真实标签评估模型效果。否则,花时间重新训练了一遍,线上问题可能还在那里。