频率学派与贝叶斯学派：两种概率观的比较与机器学习中的应用
引言
概率是现代统计学和机器学习的核心概念，而对概率的理解却有不同的学派和观点。频率学派（Frequentism）和贝叶斯学派（Bayesianism）是概率领域的两大主要流派，它们分别以频率和信念为基础，对概率的定义、计算和应用有着显著的区别。
本文将通过机器学习中的实际案例，深入介绍频率学派和贝叶斯学派的基本思想，探讨它们在模型参数估计中的应用，并着重介绍贝叶斯方法如何通过引入先验信息来解决实际问题。
频率学派：概率即频率的极限值
频率学派认为概率是随机事件在大量重复实验中的频率的极限值。这种观点的核心思想是依赖于随机实验和大数定律。
基本思想
• 随机实验 ：假设某个实验有样本空间 (Ω )，其中包含所有可能的结果。一个事件 (A ) 是样本空间的子集。
• 概率定义 ：通过大量实验，我们可以计算事件 ( A ) 发生的频率： 
其中 ( nn n ) 是实验次数。
机器学习中的应用
频率学派在机器学习中最常见的应用是最大似然估计（Maximum Likelihood Estimation, MLE）。MLE假设模型参数是固定的，通过使观察数据的概率最大化来估计参数。
示例：线性回归中的 MLE
在线性回归模型中，假设输入 (xxx) 和输出 (yyy) 之间满足以下关系：
其中，(β) 是模型的回归系数，(ϵ) 是服从正态分布的噪声。
- 目标函数 ：给定数据集 (
)，目标是最大化数据的似然函数：
是在给定参数 ( β ) 下，输出 ( yi ) 的概率。 对数似然函数 ：为了简化计算，取对数：
对 (ℓ(β)) 求导数、并令其等于 0，可以得到参数 ( β ) 的估计值。
频率学派方法的优点是计算简单、直观易懂，但它假设参数是固定值，无法直接量化参数的不确定性，也无法引入额外的先验信息。
贝叶斯学派：概率即信念的度量
贝叶斯学派将概率定义为对事件发生的信念程度（Degree of Belief），并强调利用先验知识更新信念。其核心思想源于贝叶斯定理：
基本思想
• 先验分布 ( P(θ)) ：表示在观察到数据 ( D) 之前，对参数 ( θ ) 的信念。
• 似然函数 ( P(D∣θ) ) ：表示在参数为 ( θ ) 时，数据 ( D) 出现的可能性。
• 后验分布 ( P(θ∣D) ) ：结合先验分布和似然函数，更新后得到的参数分布。
贝叶斯方法的核心是通过数据和先验知识的结合，动态更新对参数的认识。
机器学习中的应用
贝叶斯学派在机器学习中广泛应用于参数估计、模型选择和不确定性量化。以下以贝叶斯线性回归为例，展示其具体方法。
示例：贝叶斯线性回归
假设线性回归模型如下：
- 先验分布 ：对回归系数 ( β ) 的先验知识假设为正态分布：
- 似然函数 ：给定数据 (
)，数据的似然函数为：
- 后验分布 ：根据贝叶斯定理，后验分布为：
于正态分布的先验和似然，其后验分布也是正态分布：
其中：
- 预测分布 ：对于新输入 (x^*)，预测分布为：
过推导可得：
贝叶斯方法不仅能估计参数，还能量化不确定性，并在模型中自然融入先验信息。
贝叶斯学派的优势
- 融合先验信息 ：通过先验分布引入外部知识，尤其在数据有限的情况下表现突出。
- 不确定性量化 ：后验分布直接反映参数的不确定性，而频率学派中无法直接体现。
- 模型比较灵活 ：可以自然处理复杂模型和高维数据。
- 适用于在线学习 ：通过更新先验实现动态调整。
总结
频率学派和贝叶斯学派分别从不同角度定义了概率的本质，在机器学习中的应用也各具特色。频率学派方法简单直接，适合大样本数据；贝叶斯学派则以引入先验信息和量化不确定性为优势，尤其在数据稀缺或不确定性高的任务中更具吸引力。
在现代机器学习中，贝叶斯方法日益受到重视，从贝叶斯神经网络（BNN）到变分推断（VI），贝叶斯学派正在深刻影响着概率模型的发展与应用
评论 (0)