概率统计基础

本笔记是对 CMU Pratical Data Science Course 的概率统计相关部分的整理。

给定一个带参数的分布 $P(X;\theta)$ 和一系列独立样本 $x^{(1)}, x^{(2)},\dots,x^{(m)}$ ，我们可以如下计算数据集概率：

p\big(x^{(1)},\dots,x^{(m)};\theta\big)=\prod_{i=1}^{m} p\big(x^{(i)};\theta\big)

最大似然估计的基本想法是，我们希望最大化这个概率：

\max_{\theta}\prod_{i=1}^{m} p\big(x^{(i)};\theta\big)

或者等价地：

\max_{\theta}\;\frac{1}{m}\sum_{i=1}^{m}\log p\big(x^{(i)};\theta\big)

我们希望最大化的这个值称作最大对数似然：

\ell(\theta)=\frac{1}{m}\sum_{i=1}^{m}\log p\big(x^{(i)};\theta\big)

我们假设输入 $X=(X_1,X_2,X_3,\dots,X_n)$ 是二元、分类或高斯随机变量，输出 $Y$ 是二元或分类变量（即适用于二分类或多分类场景）。我们的目标是建立联合分布 $p(X,Y)$ 的模型。

朴素贝叶斯的一个前提条件是：在给定类别 $Y$ 的前提下，所有的输入特征 $X_i$ 都是相互独立的。这样我们就可以使用贝叶斯公式了。我们用贝叶斯公式将联合分布表示为：

p(X\mid Y)=\prod_{i=1}^n p(X_i\mid Y)

由于 $Y$ 是分类变量，我们可以将 $p(X_i \mid Y)$ 表示为不同 $y_i$ 的分布：

p(X_i \mid Y) = \sum_{j=1}^m p(X_i \mid y_j)

为了简化，我们假设 $Y$ 是二元分类变量，则 $Y$ 的概率分布 $\phi_0$ 和 $P(X_i \mid Y)$ 的概率分布 $\phi_i^y$ 分别为：

\phi_0 = \frac{1}{m}\sum_{j=1}^m y^{(j)}, \qquad \phi_{y,i} = \frac{\sum_{j=1}^m x^{(j)}_i\,\mathbf{1}_{\{y^{(j)}=y\}}} {\sum_{j=1}^m \mathbf{1}_{\{y^{(j)}=y\}}}

有了上面的模型，我们尝试对 $P(Y \mid X)$ 的概率分布进行计算。由贝叶斯公式：

p(Y\mid X)=\frac{p(X\mid Y)\,p(Y)}{\sum_{y} p(X\mid y)\,p(y)}

对于某个具体的 $(X_i,Y_i)$ 值，对应这个公式，我们有：

p\big(Y=y\mid X=x\big) = \frac{\displaystyle \phi_0^{\,y}(1-\phi_0)^{\,1-y}\prod_{i=1}^n\big(\phi_{y,i}^{\,x_i}(1-\phi_{y,i})^{\,1-x_i}\big)} {\displaystyle \sum_{y'}\phi_0^{\,y'}(1-\phi_0)^{\,1-y'}\;\prod_{i=1}^n\big(\phi_{y',i}^{\,x_i}(1-\phi_{y',i})^{\,1-x_i}\big)}

上面的举例只包含了计数计算，但是事实上，朴素贝叶斯的分布模型不一定都是伯努利分布，我们还可以选用正态分布等分布模型，然后用最大似然估计方法设定这些模型的超参数。由此我们可以总结一般的朴素贝叶斯方法流程：