nearest-neighbor-alg
• Ma-Le
最近邻算法 1. 最近邻分类 最近邻分类 (k-NN) 是机器学习中最直观、最简单的算法之一。其核心思想可以用一句老话概括：“物以类聚，人以群分”。 $a.$ 核心思想 给定一个需要预测类别的查询点 (query point) $q$，算法会执行以下操作： 1. 在所有训练数据中，找到离 $q$ 最近的 $k$...
All Posts
Total words: 556401
Boosting 算法
• Ma-Le
Boosting 算法 1. AdaBoost 简介 AdaBoost (Adaptive Boosting) 是一种用于分类或回归的集成方法。它具有如下的特点： 它通过不断关注之前被错分的样本来提升模型的拟合能力，从而降低偏差。这一点与随机森林等主要减少方差的集成方法不同。 与 Bagging...
伪逆与神经网络生成方法优化
• Ma-Le
伪逆与神经网络生成方法优化 1. 伪逆 $a.$ 定义 伪逆是一个矩阵的广义逆。常规的逆矩阵 $X^{-1}$ 只对可逆的方阵存在。而伪逆 $X^{+}$ 对任何形状的矩阵都存在。 如果一个 $n \times d$ 的矩阵 $X$ 的紧凑 SVD 分解是 $X = UDV^T$，那么它的摩尔-彭若斯伪逆...
无监督学习
• Ma-Le
无监督学习 与前面的训练不同，无监督学习只有样本点而没有标签。它的核心目标是在没有外部指导的情况下，发现数据本身固有的结构、模式或关系。 1. 主成分分析 $a.$ 概述 主成分分析 (Principal Components Analysis, PCA) 的目标是：在一个 $d$ 维的数据空间中，找到 $k$...
卷积神经网络
• Deep Learning, Ma-Le
卷积神经网络 1. 概述 $a.$ 基本概念 卷积神经网络 (Convolutional Neural Networks) 的灵感来源于图像处理中的“边缘检测器”： 1. 局部性 (Locality)：一个边缘检测器每次只观察图像的一小部分区域。 2. 平移不变性 (Translation...
Homework6 Code Part1
• Deep Learning, Ma-Le
Homework 6 Part1 > 由于 Homework 6 的笔记内容有些多，我把它拆分成三部分了。 Part1 的内容是从零实现 Neural Nets 的相关组件。 1. 总体架构 作业初始代码的总体架构如下： models.py：神经网络模型实现：负责整个网络的前向传播、反向传播和训练循环 ...
cs289-hw6
Write your blog post content here using Markdown. Introduction Add your introduction here. Main Content Add your main content here. <!-- Image Handling -->...
神经网络训练
• Deep Learning, Ma-Le
> 生成：Gemini-2.5-pro，整理：fyerfyer 神经网络训练 1. 神经生物学基础 人工神经网络的许多核心概念都源于对生物大脑工作方式的模仿。通过对比生物神经系统，我们可以更深刻地理解人工神经网络的设计哲学。 大脑的基本计算单元是神经元 (Neuron)，它是一个负责处理和传递信息的细胞： ...
神经网络
• Deep Learning, Ma-Le
> 生成：Gemini-2.5-pro，整理：fyerfyer 神经网络 1. 简介 $a.$ 概述 神经网络 (Neural Networks) 是一种功能强大的非线性模型，可同时用于分类 (Classification) 和回归 (Regression) 任务。 它融合了机器学习中的多个核心概念： 感知机...
决策树
• Ma-Le, Probability
决策树 1. 简介 决策树是一种用于分类和回归（比如预测房价）的非线性方法。它的核心结构就像一棵树，包含两种节点： 1. 内部节点 (Internal nodes)：每个内部节点都会对一个特征进行测试，并根据测试结果决定走向哪个分支。通常一次只测试一个特征。 2. 叶节点 (Leaf...