特征收缩方法
• Ma-Le
特征收缩方法 1. 岭回归 $a.$ 简介 岭回归 (Ridge Regression) 是标准最小二乘法线性回归的一种改良版，它额外增加一个 $\ell_2$ 惩罚项。 岭回归的成本函数如下： $$ J(w) = \|Xw − y \|^2 + λ \|w\|^2 $$ 岭回归的正规方程如下： $$...
All Posts
Total words: 556401
对机器学习方法的统计证明
• Ma-Le, Probability
对机器学习方法的统计证明 1. 模型建立 为了给回归问题建立一个统计模型，我们做出以下假设： $$ y_i=g(X_i) + \epsilon_i $$ 这个公式描述了我们观察到的数据点 $(X_i, y_i)$ 是如何产生的，其中： $g(X_i)$ 是真实函数 (Ground...
回归问题
• Ma-Le
回归问题 1. 概述 与前面讨论的分类问题不同，在回归问题中，对于数据 $X$，我们需要预测一个具体的数值（通常是连续的，比如房价、气温）。 > 我们之前讨论的 QDA 和 LDA 其实也包含了回归的思想，因为它们不仅给出了分类结果，还给出了这个预测正确的概率。 回归问题包含如下三个部分： 1....
Homework 3
• Ma-Le, Probability
Homework 3 2. Gaussian Classification > Let $f_{X\mid Y=C_i}(x) \sim \mathcal{N}(\mu_i,\sigma^2)$ for a two-class, one-dimensional ($d = 1$) classification...
特征向量与多元正态分布
特征向量与多元正态分布 1. 特征向量 $a.$ 相关概念 特征向量的定义如下：给定一个矩阵 $A$，如果有某个向量 $v$ 满足 $Av=\lambda v$，那么 $v$ 就是 $A$ 的特征向量。 特征向量的几何意义如下：它把矩阵 $A$ 的变换转换成了一个伸缩变换 $\lambda$ $b.$...
Homework 2
• Ma-Le
Homework 2 2. Probability Potpourri $Q1$ > Concisely, $\Sigma = E[(Z − \mu)(Z − \mu)^{⊤}]$, where $\mu$ is the mean value of the (column) vector $Z$. Show that...
LDA & QDA 补充
• Ma-Le, Probability
LDA & QDA 补充 1. LDA 的一些补充推导 $a.$ 一般的单变量 LDA 判断函数 我们假定类别 $K$ 的数据符合正态分布： $$ f_k(x)=\frac{1}{\sqrt{2\pi}\,\sigma_k}\exp\!\left(-\frac{(x-\mu_k)^2}{2\sigma_k^2}\rig...
决策理论
• Ma-Le, Probability
决策理论 在我们前面讲解的 SVM 分类器中，我们试图找到一个明确的边界（超平面）来分隔不同类别的数据。但现实世界中，数据往往是模糊和重叠的。这就引出了概率分类器的需求：我们不再给出一个“是”或“否”的确定性答案，而是给出一个属于某个类别的概率。 1. 前置概念...
Matplot 绘图技巧
• Plot
Matplot 绘图技巧 1. SVM 绘图 下面例子的 $X$ 是二维的。 ``python ``
Homework 1
• Ma-Le
Homework 1 1. Theory of Hard-Margin Support Vector Machines $(a)$ > Show the Equation $$\max_{\lambda_i \ge 0}\; \min_{w,\alpha}\; \|w\|^2 - \sum_{i=1}^n...