接上篇:

模型评估与模型监控——混淆矩阵

模型评估与模型监控——AUC 计算示例

模型评估与模型监控——KS & Gini 计算示例

模型评分稳定性监控目的在于生成一个能够代表总体的分布随时间变化的指数,这种情况出现的原因在于评分卡开发时使用的是历史数据,而新近客户评分描述的是客户当前行为,比较当前行为和历史行为的差异可以得到变化。

一般来说,差异的产生可能在于:

群体稳定性指标PSI

群体稳定性指标(PSI)是用来衡量整体评分卡在开发样本时点与现行评分时点的客户占比的差异程度。PSI指标越小,表示评分客户在两个时点的评分组别占比越稳定;PSI指标越大,则表示评分客户在两个时点的评分组别占比差距越大,母体越不稳定。

PSI指标仅显示母体分布是否发生变动,无法表示母体往高分分组或者低分分组转移,需要搭配评分分布表才能判断变化方向。

PSI 计算公式:

bpa模型和adpss模型资料(模型评估与模型监控)(1)

其中:

各评分组别的占比差距 = 现行评分客户时点的客户占比 - 开发样本时点的客户占比

占比权重 = ln(现行评分客户时点的客户占比/开发样本时点的客户占比)

PSI 度量标准:

计算示例

bpa模型和adpss模型资料(模型评估与模型监控)(2)


碎片时间,关注收藏。

,