本章作为本书的序章，是作为机器学习/深度学习中最初不容易学习到的知识合集。
第一小节，我们来详细讲讲不同的误差函数。误差函数作为机器学习/深度学习中误差下降的metrics，他的适用范围和影响，会对预测精度及学习效果产生极大的影响。初学者往往会在这些误差函数中迷失，我们就借此机会，来详细列举 7 个误差函数及其适用范围，其中 1 - 5 是适合于分类，6、7适合于回归。
我们在这里使用其误差函数名来做区分，以免造成误解。
1. Classification Accuracy - 分类准确性
适用性：该模型适用于模型中 “每个类别都具有同等数量的样本” 的情况。
例如，考虑我们的训练集中有98％的A类样本和2％B类样本。然后，通过简单地预测属于A类的每个训练样本，我们的模型可以轻松获得98％的训练准确度。但是，如果模型预测精度为60％A类样品和40％B类样品，则实际的测试精度下降至60％。60%的精度看上去分类准确性很好，但却会造成B类样品分类的极大错误。
真实问题中，当模型中类别的数量不一致时，使用该方法会造成少数样本的错误分类成本非常高。如果我们处理罕见但致命的疾病，那么未能诊断病人疾病的成本远远高于将健康人送到更多测试的成本。
2. Logarithmic Loss - 对数损失
对数损失或对数损失，通过惩罚错误分类来起作用。它适用于多类分类。使用Log Loss时，分类器必须为每个类分配所有样本的概率。假设有N个样本属于M类，则Log Loss计算如下：
对数损失没有上限，它存在于[0，∞）范围内。接近0的对数损失表示更高的准确度，而如果对数损失远离0则表示更低的准确度。
适用性：通常，最小化对数损失可为分类器提供更高的准确性。
3. Confusion Matrix - 混淆矩阵
混淆矩阵，输出的是一组矩阵，通过矩阵呈现了模型的表现。
让我们假设我们有一个二进制分类问题。我们有一些属于两个类的样本：是或否。此外，我们有自己的分类器，可以预测给定输入样本的类。在165个样品上测试我们的模型时，我们得到以下结果。
解释以下上述4个象限含义：
真实的肯定（True Positives）：我们预测为YES和实际产出的情况也是YES。
真正的否定（True Negatives）：我们预测为NO且实际产出为NO的情况。
误报（False Positives）：我们预测为YES且实际产出为NO的情况。
假阴性（False Negatives）：我们预测为NO且实际产出为YES的情况。
矩阵的精度可以通过平均“主对角线”上的值来计算，即
混淆矩阵构成了其他类型指标的基础，因此我们接下去说说使用到他的指标。
4. Area Under Curve （AUC）- 曲线下面积
曲线下面积（AUC）是最广泛使用的评估指标之一。它用于二进制分类问题。分类器的AUC等于分类器将随机选择的正例排名高于随机选择的负例的概率。在定义AUC之前，让我们先了解两个基本术语：
真阳性率（灵敏度）：真正阳性率定义为TP /（FN + TP）。真阳性率对应于所有正数据点正确认为为正的正数据点的比例。
假阳性率（特异性）：假阳性率定义为FP /（FP + TN）。对于所有负数据点，误报率对应于被错误地视为正数的负数据点的比例。
灵敏度和特异性率均具有[0,1]范围内的值。 FPR和TPR均以阈值（例如（0.00,0.02,0.04，...，1.00））计算并绘制图表。 AUC是[0,1]中不同点处的假阳性率与真阳性率曲线下的面积。
因此，AUC的范围为[0,1]。值越大，我们的模型的性能越好。
5. F1 Score - F1得分
适用性：F1 Score用于衡量测试集的准确性
F1分数是精确度和召回率之间的谐波平均值。 F1得分的范围是[0,1]。它告诉您分类器的精确程度（正确分类的实例数），以及它的稳健性（它不会错过大量实例）。
高精度但较低的召回率，使您获得极其准确，但它却错过了很多难以分类的实例。 F1得分越高，我们的模型表现越好。在数学上，它可以表示为：
F1 Score试图在精确度和召回之间找到平衡点。
精度：正确结果的正确数除以分类器预测的正结果数。
召回率：正确阳性结果的数量除以所有相关样本的数量（所有样本应该被确定为阳性）。
6. Mean Absolute Error - 平均绝对误差
适用性：平均绝对误差是原始值和预测值之间差异的平均值。它为我们提供了预测与实际输出相距多远的度量。但是，它们并没有让我们知道错误的方向，即我们是在预测数据还是在预测数据。
在数学上，它表示为：
7. Mean Squared Error - 均方误差
均方误差（MSE）与平均绝对误差非常相似，唯一的区别是MSE取原始值与预测值之差的平方的平均值。
适用性： MSE的优势在于它更容易计算梯度，而平均绝对误差需要复杂的线性编程工具来计算梯度。因为，我们忽略了误差，较大误差的影响变得更加明显，然后更小的误差，因此模型现在可以更多地关注较大的误差。
网友评论