nearest-neighbor-alg
• Ma-Le
最近邻算法 1. 最近邻分类 最近邻分类 (k-NN) 是机器学习中最直观、最简单的算法之一。其核心思想可以用一句老话概括：“物以类聚，人以群分”。 $a.$ 核心思想 给定一个需要预测类别的查询点 (query point) $q$，算法会执行以下操作： 1. 在所有训练数据中，找到离 $q$ 最近的 $k$...
Posts tagged "Ma-Le"
Boosting 算法
• Ma-Le
Boosting 算法 1. AdaBoost 简介 AdaBoost (Adaptive Boosting) 是一种用于分类或回归的集成方法。它具有如下的特点： 它通过不断关注之前被错分的样本来提升模型的拟合能力，从而降低偏差。这一点与随机森林等主要减少方差的集成方法不同。 与 Bagging...
伪逆与神经网络生成方法优化
• Ma-Le
伪逆与神经网络生成方法优化 1. 伪逆 $a.$ 定义 伪逆是一个矩阵的广义逆。常规的逆矩阵 $X^{-1}$ 只对可逆的方阵存在。而伪逆 $X^{+}$ 对任何形状的矩阵都存在。 如果一个 $n \times d$ 的矩阵 $X$ 的紧凑 SVD 分解是 $X = UDV^T$，那么它的摩尔-彭若斯伪逆...
无监督学习
• Ma-Le
无监督学习 与前面的训练不同，无监督学习只有样本点而没有标签。它的核心目标是在没有外部指导的情况下，发现数据本身固有的结构、模式或关系。 1. 主成分分析 $a.$ 概述 主成分分析 (Principal Components Analysis, PCA) 的目标是：在一个 $d$ 维的数据空间中，找到 $k$...
卷积神经网络
• Deep Learning, Ma-Le
卷积神经网络 1. 概述 $a.$ 基本概念 卷积神经网络 (Convolutional Neural Networks) 的灵感来源于图像处理中的“边缘检测器”： 1. 局部性 (Locality)：一个边缘检测器每次只观察图像的一小部分区域。 2. 平移不变性 (Translation...
Homework6 Code Part1
• Deep Learning, Ma-Le
Homework 6 Part1 > 由于 Homework 6 的笔记内容有些多，我把它拆分成三部分了。 Part1 的内容是从零实现 Neural Nets 的相关组件。 1. 总体架构 作业初始代码的总体架构如下： models.py：神经网络模型实现：负责整个网络的前向传播、反向传播和训练循环 ...
神经网络训练
• Deep Learning, Ma-Le
> 生成：Gemini-2.5-pro，整理：fyerfyer 神经网络训练 1. 神经生物学基础 人工神经网络的许多核心概念都源于对生物大脑工作方式的模仿。通过对比生物神经系统，我们可以更深刻地理解人工神经网络的设计哲学。 大脑的基本计算单元是神经元 (Neuron)，它是一个负责处理和传递信息的细胞： ...
神经网络
• Deep Learning, Ma-Le
> 生成：Gemini-2.5-pro，整理：fyerfyer 神经网络 1. 简介 $a.$ 概述 神经网络 (Neural Networks) 是一种功能强大的非线性模型，可同时用于分类 (Classification) 和回归 (Regression) 任务。 它融合了机器学习中的多个核心概念： 感知机...
决策树
• Ma-Le, Probability
决策树 1. 简介 决策树是一种用于分类和回归（比如预测房价）的非线性方法。它的核心结构就像一棵树，包含两种节点： 1. 内部节点 (Internal nodes)：每个内部节点都会对一个特征进行测试，并根据测试结果决定走向哪个分支。通常一次只测试一个特征。 2. 叶节点 (Leaf...
特征收缩方法
• Ma-Le
特征收缩方法 1. 岭回归 $a.$ 简介 岭回归 (Ridge Regression) 是标准最小二乘法线性回归的一种改良版，它额外增加一个 $\ell_2$ 惩罚项。 岭回归的成本函数如下： $$ J(w) = \|Xw − y \|^2 + λ \|w\|^2 $$ 岭回归的正规方程如下： $$...
对机器学习方法的统计证明
• Ma-Le, Probability
对机器学习方法的统计证明 1. 模型建立 为了给回归问题建立一个统计模型，我们做出以下假设： $$ y_i=g(X_i) + \epsilon_i $$ 这个公式描述了我们观察到的数据点 $(X_i, y_i)$ 是如何产生的，其中： $g(X_i)$ 是真实函数 (Ground...
回归问题
• Ma-Le
回归问题 1. 概述 与前面讨论的分类问题不同，在回归问题中，对于数据 $X$，我们需要预测一个具体的数值（通常是连续的，比如房价、气温）。 > 我们之前讨论的 QDA 和 LDA 其实也包含了回归的思想，因为它们不仅给出了分类结果，还给出了这个预测正确的概率。 回归问题包含如下三个部分： 1....
Homework 3
• Ma-Le, Probability
Homework 3 2. Gaussian Classification > Let $f_{X\mid Y=C_i}(x) \sim \mathcal{N}(\mu_i,\sigma^2)$ for a two-class, one-dimensional ($d = 1$) classification...
Homework 2
• Ma-Le
Homework 2 2. Probability Potpourri $Q1$ > Concisely, $\Sigma = E[(Z − \mu)(Z − \mu)^{⊤}]$, where $\mu$ is the mean value of the (column) vector $Z$. Show that...
LDA & QDA 补充
• Ma-Le, Probability
LDA & QDA 补充 1. LDA 的一些补充推导 $a.$ 一般的单变量 LDA 判断函数 我们假定类别 $K$ 的数据符合正态分布： $$ f_k(x)=\frac{1}{\sqrt{2\pi}\,\sigma_k}\exp\!\left(-\frac{(x-\mu_k)^2}{2\sigma_k^2}\rig...
决策理论
• Ma-Le, Probability
决策理论 在我们前面讲解的 SVM 分类器中，我们试图找到一个明确的边界（超平面）来分隔不同类别的数据。但现实世界中，数据往往是模糊和重叠的。这就引出了概率分类器的需求：我们不再给出一个“是”或“否”的确定性答案，而是给出一个属于某个类别的概率。 1. 前置概念...
Homework 1
• Ma-Le
Homework 1 1. Theory of Hard-Margin Support Vector Machines $(a)$ > Show the Equation $$\max_{\lambda_i \ge 0}\; \min_{w,\alpha}\; \|w\|^2 - \sum_{i=1}^n...
支持向量机
• Ma-Le
支持向量机 在详细讲解支持向量机相关概念的推导前，我们先详细讲讲一些重要的数学方法。 1. 拉格朗日乘数法 拉格朗日乘数法适用于下面的问题： $$ \min_{x_1,\dots,x_n} f(x_1, \dots, x_n) \quad \text{s.t.}\; g(x_1, \dots,x_n)=0 $$...
软边界分类器
• Ma-Le
1. 引入 我们之前讲的最大间隔分类器有如下的弊端： 1. 对非线性可分的数据无效。最大间隔分类器是基于线性分类器的，如果数据非线性可分的话，最大分类器就失效了。 2. 对离群值过于敏感。以下面的数据为例： !alt text 我们只是添加了一个离群值，但是得到的最大间隔划分却发生了很大变化。虽然这个划分仍然是正确的，...
最大间隔分类器
• Ma-Le
最大间隔分类器 1. 相关概念 线性分类器的间隔 (Margin) 是决策边界与离它最近的训练样本点之间的距离。 在最大间隔分类器 (Maximum Margin Classifiers) 中，我们试着让这个间隔尽可能地宽。因为直觉上，一条位于“正中间”的、间隔最大的分界线，对于新出现的数据点会有更好的判断力。因为它没...
感知机算法
• Ma-Le
感知机算法 1. 问题设定 为了便于后面的计算，我们定义： * 对每个样本，标签 $y_i$： $$ y_i= \begin{cases} 1, & X_i\in C,\\[6pt] -1, & X_i\notin C. \end{cases} $$ 我们的目标是找到 权重向量 $w$ 使得： $$ X_i\cdot...
线性分类器
• Ma-Le
线性分类器 1. 前置概念 提供 $n$ 个样本，每个样本具有 $d$ 个特征。这些样本表示为 $d$ 维空间的特征向量。 决策边界：我们的分类器划分出的边界，将属于这个类别的样本和不属于这个边界的样本划分开。 * 决策函数：一个将 $x$ 映射到标量的函数 $f(x)$： $$ \begin{cases}...
Homework 4
• Ma-Le
Homework 4 1. Naive Bayes Classifiers $Q2.$ Categorical Feature Distribution 这一部分实现了分类特征分布的计算。我们创建一个 $X, Y$ 的联合分布表，然后对每个特征标签 y_label，统计这一部分对应的 $X$ 的次数和总的 $Y$...
机器学习基础
• Ma-Le
机器学习基础 > 本笔记是对 CMU Pratical Data Science Course 的机器学习相关部分的整理。 1. 一般化的机器学习 一般地，一个机器学习算法包含如下的核心要素： 输入(Inputs / Features) $x(i) \in \mathbb{R}^n, i=1, 2,...