Homework 3

2. Gaussian Classification

Let $f_{X\mid Y=C_i}(x) \sim \mathcal{N}(\mu_i,\sigma^2)$ for a two-class, one-dimensional ($d = 1$) classification problem with classes $C_1$ and $C_2$, $P(Y = C_1) = P(Y = C_2) = 1/2$, and $µ_2 > µ_1$.

$Q1$

Find the Bayes optimal decision boundary and the corresponding Bayes decision rule by finding the point(s) at which the posterior probabilities are equal. Use the 0-1 loss function.

$Answer:$ 对于0-1损失函数，贝叶斯最优决策规则是：对于一个给定的观测值 $x$，我们应该选择后验概率 $P(Y=C_i|X=x)$ 最大的那个类别$C_i$。而决策边界即为两者的后验概率相等：

也即：

由于两个类别的先验概率相同，有：

带入正态分布PDF中：

决策边界为两个均值的中点。

$Q2$

Suppose the decision boundary for your classifier is $x = b$. The Bayes error is the probability of misclassification, namely

Show that the Bayes error associated with this decision rule, in terms of $b$, is

$proof:$

将先验概率带入这个公式：

决策边界是 $x=b$ 并且 $\mu_2 > \mu_1$，自然的分类规则是：

$P\big(\text{decide }C_2\mid\text{actual }C_1\big)\,P(\text{actual }C_1)$ 的实际概率为$P(X > b | Y=C_1)$，这可以通过下面的积分得到：

$P\big(\text{decide }C_1\mid\text{actual }C_2\big)\,P(\text{actual }C_2)$ 的实际概率为$P(X < b | Y=C_2)$，这可以通过下面的积分得到：

带入 $(1)$，整理即得：