【连载】《大数据学习手册》：定量模型评估指标
发布时间：2022-10-28 11:24:25 所属栏目：大数据 来源：
导读： 模型评估，即模型质量的评估。对于定量预测模型，主要从下面几个方面进行评估：1）模型对数据的拟合程度；2）预测值的准确程度或误差情况；3）模型能否用于未来的预测，即泛化能力。
评估指标
对
评估指标
对
|
模型评估，即模型质量的评估。对于定量预测模型，主要从下面几个方面进行评估：1）模型对数据的拟合程度；2）预测值的准确程度或误差情况；3）模型能否用于未来的预测，即泛化能力。 评估指标 对于定量预测模型，常用的评估指标可以分为三大类： 一类是拟合程度：判定系数和调整判定系数； 二类是预测值误差指标：MAE、MAPE、RMSE等； 三类是信息损失准则指标：AIC、BIC、HQIC等。 预测值误差指标 判定系数，表示的是模型的整体质量情况，要求越大越好（最大只能为1）。 当模型应用于业务场景时，会得到具体的预测值，那么预测值的准确程度或误差程度又如何评估呢？ 常用的预测值的误差程度，有三个指标。这三个指标，因为表示的都是误差，所以要求是越小越好（最小只能为0）。 平均绝对偏差 平均绝对偏差（Mean Absolute Error, MAE），即历史数据的误差的绝对值的平均值，其计算公式如下： 平均误差百分率 平均误差百分率（Mean Absolute Percentage Error,MAPE），即历史数据的误差百分率的绝对值的平均值，其计算公式如下： 一般情况下，平均误差率MAPE的合适范围： 年预测，误差率小于3% 月预测，误差率小于5% 日预测，误差率小于10% 时段预测，误差率小于15% 以上为经验值，仅供参考，一般需要根据实际场景确定合适的范围。 根均方差 根均方差（Root Mean Squared Error, RMSE），即历史数据的误差的平方和的平方根，其计算公式如下： 这三个误差指标，MAE表示的是绝对的误差值；而MAPE表示的是相对的误差值（百分率），容易理解；而RMSE，表示的也是绝对的误差值（与MAE类似），一般情况下，MAE和RMSE差不多大。但是，由于RMSE是先将误差平方（放大），再开根号，如果模型中存在预测离群值（即误差过大的值），那么RMSE值会对MAE值大得多。所以，MAE和RMSE一起看可判断模型中是否存在预测离群值。 信息损失准则 前面讲过，理论上，模型的拟合程度是越高越好，误差是越低越好，但是，过高的有可能出现模型过拟合（即模型看起来很好，但在实际应用中效果很差）。很多的研究表明，模型的过拟合一般与模型的复杂度有关。 因此，在选择最优模型时，不但要求拟合程度最高（误差最低），我们还要兼顾模型的复杂度（比如，前面介绍的调整判定系数，其实就考虑过自变量的个数）。 本小节，将介绍其它几个指标，叫做信息损失准则指标。 AIC AIC（Akaike Information Criterion），赤池信息准则，其计算公式如下： 其中，n为样本个数，k为参数个数。 在回归模型中，k即为自变量个数，但在时序预测模型中，k为阶数。 BIC BIC（Bayesian Information Criterion），贝叶斯信息准则大数据学习，其计算公式如下： 其中，n为样本个数，k为参数个数。 HQIC HQIC（Hannan-Quinn Information Criterion），HQ信息准则，其计算公式如下： 其中，n为样本个数，k为参数个数。 这三个指标，都是在误差项SSE的基础上，增加了惩罚项（参数个数）。模型越复杂，指标会变得越大。但总体上，要求信息损失准则指标，越小越好。 一般情况下，BIC适合大样本量，AIC适合小样本量，而HQIC适合中等样本量。 由于考虑了模型的复杂度，所以这三个指标常用于最优模型选择，可避免模型过拟合。 小结 关于模型评估的指标，需要理解和掌握如下的概念和指标即可。 （编辑：PHP编程网 - 金华站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330481号