评价指标模型方法 -模型的评价评分模型的评价指标【摘要】如何评价一个评分模型的判别能力,一般在统计上用 ROC、CAP、K-S 统计量、 GINI 系数统计量等图形工具或统计指标
其中 ROC 曲线是较受欢迎的,而 K-S 统计量、 GINI 系数等和 ROC 曲线之间有一定的联系
【关键词】评分模型评价指标如果把业务上的二分类问题从统计角度理解,都在于寻找一个分类器,这个分类器可能是 logistic 模型,也可以是多元判别模型,还可以使其它复杂形式的模型
一、ROC 曲线ROC,英文全称 Receiver Operating Curve,翻译成中文,简称受试者工作特征曲线
其在统计实务中应用甚广,尤其应用于处理医学研究中的“正常组 ”和“异常组 ”区分建模问题,用于评价分类模型的表现能力
ROC 曲线原理
要说清楚 ROC 曲线的原理, 我们从一个简单的分类实例问题说起
假如我们有了基于商业银行企业贷款数据建立违约 -非违约的业务分类模型,比如说我们是预测的所有样本的违约概率或者信用评级得分,比如信用评级得分,我们获得了关于两类样本的分布图形:图两类样本的违约率经验分布1
基本假设上面的图例可以看成一个基于银行债务人违约率分类的分类器
左边的分布表示历史样本数据中违约者预测得到的违约率的分布;右边的分布相应表示非违约者的分布,其中C 点表示决策者做出决断的切分点,对于该点有这样的经济意义:一旦我们确定了C 点,不考虑其他业务处理,的样本被预测为违约者,反之被预测为非谓语这
对于一个固定的 Cutoff 点,我们可得到一些有实际意义的量化指标:HR=,表示在 C 点左边,对 Defaulters的信用得分分布中,基于C 点做决策时候,被正确命中的比率,这里H 表示被正确预测的违约者的样本个数, ND 表示违约样本的总数
HR= , 表 示 在C 点 左 边 , 对non