神经网络梯度计算
• Deep Learning, NLP
> 本文章是对 Gradient Notes 的整理与简单实现。 > 数学部分生成：Gemini-2.5-pro， 代码部分+整理：fyerfyer 神经网络梯度计算 1. 向量化梯度 虽然计算神经网络相对于单个参数的梯度是一个很好的练习，但在实践中，这样做往往相当缓慢。相反，将所有内容保持为矩阵/向量形式会更有效率。...
All Posts
Total words: 556401
深度学习自然语言处理
• Deep Learning, NLP
深度学习自然语言处理 1. 引入 在之前的讨论中，我们已经明确了非线性分类器的必要性，因为大多数数据并不是线性可分的，因此使用线性分类器的分类性能会受到限制。 神经网络是一类具有非线性决策边界的分类器。 2. 神经元 $a.$ 相关概念 神经元是一个通用的计算单元，它接受 $n$ 个输入并产生一个输出。...
SVD分解简介
• Deep Learning, NLP, Word2vec
> 本文章适用于速通SVD分解，因此讲得不是那么详细。 > 生成：Gemini-2.5-pro， 整理：fyerfyer 奇异值分解简介 1. 什么是 SVD？ 奇异值分解（SVD）是一种强大而基础的矩阵分解技术，在数据科学、机器学习和自然语言处理（NLP）等领域有广泛应用。我们可以从三个互补的角度来理解SVD：...
GloVe模型
• Deep Learning, NLP, Word2vec
GloVe模型 1. 引入 我们先前介绍的Skip-gram模型通过在局部上下文窗口中进行预测来学习词嵌入。这些模型展示了捕捉词语相似性的语言模式的能力，但未能利用全局共现统计信息。 与Skip-gram不同，GloVe使用全局统计信息，通过最小二乘目标函数预测词 $j$ 出现在词 $i$ 上下文中的概率。 2....
Word2vec模型
• Deep Learning, NLP, Word2vec
Word2vec模型 1. 词的表示 1.1 能指与所指 一个词（如 tea）是一个符号/能指 (Signifier)，它代表了现实或想象世界中的某个实体/所指 (Signified)。词义是极其复杂的，它源于人类在世界中沟通和实现目标的意图。 1.2 离散词表示：One-Hot 向量...
rl-exercises
Write your blog post content here using Markdown. Introduction Add your introduction here. Main Content Add your main content here. <!-- Image Handling -->...
探索与利用
• Re-Le
探索与利用 1. 相关概念 在强化学习中，智能体的目标是学习一个最优策略来最大化长期回报。为了达成此目标，智能体必须在两个核心行为之间做出权衡： - 探索 (Exploration): 尝试当前看起来并非最优的动作，目的是为了收集更多关于环境的信息，发现潜在的、更优的行动选择。 - 利用...
基于模型的学习
• Re-Le
基于模型的学习 1. 相关概念 在强化学习中，基于模型的学习（Model-Based Learning）是一种方法，其核心思想是让智能体通过与环境的交互来学习环境的动态模型。这个模型通常包括两个关键部分： - 转移函数 (Transition Function) $T(s, a, s')$：预测在状态 $s$...
无模型学习
• Re-Le
无模型学习 无模型学习（Model-Free Learning）是一类无需了解环境模型（转移函数 $T$ 和奖励函数 $R$）的强化学习算法。代理直接通过与环境的交互经验来学习价值函数或策略。 无模型学习主要分为两大类： - 被动强化学习 (Passive Reinforcement...
强化学习
• Re-Le
强化学习 1. 相关概念 与马尔可夫决策过程（不同，强化学习是一种在线规划（Online Planning）方法。在传统的MDP（离线规划）中，智能体完全了解环境的转移函数和奖励函数，并以此为基础预先计算出最优策略。 在强化学习中，智能体对环境的奖励或状态转移没有任何先验知识。它必须通过探索（Exploration）...