📢 转载信息
原文链接：https://machinelearningmastery.com/uncertainty-in-machine-learning-probability-noise/
原文作者：Jason Brownlee
在机器学习中，不确定性（Uncertainty）是一个需要解决的关键问题。当我们使用模型对数据进行预测时，我们希望了解模型的预测有多可信。例如，如果一个模型预测某张图片是猫的概率是90%，那么这个90%的概率数字意味着什么？
在许多情况下，我们希望这个概率值能够可靠地反映我们对预测结果的信心程度。这被称为概率校准（Probability Calibration）。
本文将探讨机器学习中的不确定性是如何产生的，以及如何将其量化。
机器学习中的不确定性
不确定性可以分解为两个主要来源：数据中的不确定性，以及模型中的不确定性。
数据不确定性
我们用于训练模型的数据集通常是不完美的，这引入了不确定性。
噪声（Noise）
噪声（Noise）是数据中的一个常见问题，指的是数据中与真实世界过程无关的随机变化或误差。噪声的存在使得即使是完美的模型也无法完美地拟合数据。
噪声可能存在于输入特征（X）或输出标签（y）中。标签噪声（y中的噪声）在分类问题中尤其具有挑战性，因为它会影响模型学习的真实目标。
不完整性（Incompleteness）
我们的训练数据集可能无法完全代表我们希望模型处理的整个数据空间，这被称为不完整性（Incompleteness）。这意味着模型在遇到训练数据中未曾见过的样本时，其预测可能会非常不确定。
模型不确定性
即使数据集是完美无瑕的，模型本身也会引入不确定性。
模型误差（Model Error）
模型误差源于模型架构或选择的偏差。如果模型的复杂度不足以捕捉数据的真实潜在关系，它就无法完美地拟合数据，即使在理想情况下也是如此。例如，使用线性模型来拟合非线性数据。
参数不确定性（Parameter Uncertainty）
当我们使用训练数据来估计模型的参数（权重和偏差）时，我们得到的只是对真实参数的估计。由于我们只使用有限的训练数据，这个估计必然带有不确定性。不同的训练数据集（即使来自同一分布）将产生略微不同的模型参数估计。
概率校准：校准你的信心
对于分类任务，模型通常输出一个概率分布，表示输入样本属于各个类别的可能性。例如，对于一个二分类问题，输出通常是一个介于0到1之间的值，表示属于正类的概率。
校准（Calibration）是确保这些输出概率准确反映模型信心的过程。一个校准良好的分类器，如果它预测某个样本属于A类的概率是0.8，那么在所有具有相同预测概率的样本中，大约有80%的样本确实属于A类。
不校准（Miscalibration）意味着模型高估或低估了其预测的信心。
我们可以通过几种常见的方法来评估和提高模型的校准性：
- 可靠性图（Reliability Diagrams）：可视化地展示预测概率与实际准确性之间的关系。
- 泊松校准（Platt Scaling）：使用逻辑回归对模型的原始输出（logits）进行转换，使其概率输出更具可信度。
- 等温缩放（Isotonic Regression）：一种更灵活的、非参数化的校准方法，通过拟合单调函数来调整概率。
在实际应用中，尤其是在需要进行风险评估或决策制定的场景中，确保模型概率的准确性与模型本身预测的区分度（Discriminative Power）同等重要。
总结
机器学习中的不确定性是客观存在的，主要源于数据中的噪声和不完整性，以及模型训练过程中的参数估计误差。
了解这些不确定性的来源是构建稳健和可靠AI系统的第一步。通过应用概率校准技术，我们可以调整模型的输出概率，使其更真实地反映我们对预测结果的信心水平，从而避免由于过度自信或过度保守而导致的决策失误。
处理不确定性不仅是理论上的探讨，更是将AI系统投入实际应用的关键步骤。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区