特征向量与多元正态分布
特征向量与多元正态分布 1. 特征向量 $a.$ 相关概念 特征向量的定义如下：给定一个矩阵 $A$，如果有某个向量 $v$ 满足 $Av=\lambda v$，那么 $v$ 就是 $A$ 的特征向量。 特征向量的几何意义如下：它把矩阵 $A$ 的变换转换成了一个伸缩变换 $\lambda$ $b.$...
fyerfyer's Blog
fyerfyer's personal blog
Recent Posts
Homework 2
• Ma-Le
Homework 2 2. Probability Potpourri $Q1$ > Concisely, $\Sigma = E[(Z − µ)(Z − µ)^{⊤}]$, where $µ$ is the mean value of the (column) vector $Z$. Show that the...
LDA & QDA 补充
• Ma-Le, Probability
LDA & QDA 补充 1. LDA 的一些补充推导 $a.$ 一般的单变量 LDA 判断函数 我们假定类别 $K$ 的数据符合正态分布： $$ f_k(x)=\frac{1}{\sqrt{2\pi}\,\sigma_k}\exp\!\left(-\frac{(x-\mu_k)^2}{2\sigma_k^2}\rig...
决策理论
• Ma-Le, Probability
决策理论 在我们前面讲解的 SVM 分类器中，我们试图找到一个明确的边界（超平面）来分隔不同类别的数据。但现实世界中，数据往往是模糊和重叠的。这就引出了概率分类器的需求：我们不再给出一个“是”或“否”的确定性答案，而是给出一个属于某个类别的概率。 1. 前置概念...
机器学习与数值优化
• Ma-Le
机器学习与数值优化 > 生成：Gemini-2.5-pro， 整理：fyerfyer 1. 机器学习的四个抽象层次 在机器学习中，我们一般将一个复杂的问题分解成下面四个层次分明的模块： 1. 应用/数据 (Application/Data) 2. 模型 (Model) 3. 优化问题 (Optimization...
Matplot 绘图技巧
• Plot
Matplot 绘图技巧 1. SVM 绘图 下面例子的 $X$ 是二维的。 ``python ``
Homework 1
• Ma-Le
Homework 1 1. Theory of Hard-Margin Support Vector Machines $(a)$ > Show the Equation $$\max_{\lambda_i \ge 0}\; \min_{w,\alpha}\; \|w\|^2 - \sum_{i=1}^n...
支持向量机
• Ma-Le
支持向量机 在详细讲解支持向量机相关概念的推导前，我们先详细讲讲一些重要的数学方法。 1. 拉格朗日乘数法 拉格朗日乘数法适用于下面的问题： $$ \min_{x_1,\dots,x_n} f(x_1, \dots, x_n) \quad \text{s.t.}\; g(x_1, \dots,x_n)=0 $$...
软边界分类器
• Ma-Le
1. 引入 我们之前讲的最大间隔分类器有如下的弊端： 1. 对非线性可分的数据无效。最大间隔分类器是基于线性分类器的，如果数据非线性可分的话，最大分类器就失效了。 2. 对离群值过于敏感。以下面的数据为例： !alt text 我们只是添加了一个离群值，但是得到的最大间隔划分却发生了很大变化。虽然这个划分仍然是正确的，...
最大间隔分类器
• Ma-Le
最大间隔分类器 1. 相关概念 线性分类器的间隔 (Margin) 是决策边界与离它最近的训练样本点之间的距离。 在最大间隔分类器 (Maximum Margin Classifiers) 中，我们试着让这个间隔尽可能地宽。因为直觉上，一条位于“正中间”的、间隔最大的分界线，对于新出现的数据点会有更好的判断力。因为它没...