概率统计基础
• Probability
概率统计基础 > 本笔记是对 CMU Pratical Data Science Course 的概率统计相关部分的整理。 1. 最大似然估计 给定一个带参数的分布 $P(X;\theta)$ 和一系列独立样本 $x^{(1)}, x^{(2)},\dots,x^{(m)}$，我们可以如下计算数据集概率： $$...
All Posts
Total words: 367849
数值计算技巧
数值计算技巧 > 本笔记用于记录在写代码过程中遇到的一些数据处理技巧与注意点。 1. 对特定 axis 进行操作的结果： | axis | 对应的维度 | 操作方向 | 结果 | 记忆技巧 |...
机器学习基础
• Me-Le
机器学习基础 > 本笔记是对 CMU Pratical Data Science Course 的机器学习相关部分的整理。 1. 一般化的机器学习 一般地，一个机器学习算法包含如下的核心要素： 输入(Inputs / Features) $x(i) \in \mathbb{R}^n, i=1, 2,...
GPT2 实现笔记(3)-ReFT微调
GPT2 实现笔记(3)-ReFT微调 > 该笔记是对 Stanford CS224-n 的 hw5 的 ReFT 微调部分的整理，用于整理本人实现的对特定任务的 ReFT 微调实现以及对特定下游任务的处理。 1. ReFT 微调总体架构 ReFT 微调总体架构和 LoRA 架构类似： ``mermaid graph...
GPT2 实现笔记(2)-LoRA微调
• LLM, NLP
GPT2 实现笔记(2)-LoRA微调 > 该笔记是对 Stanford CS224-n 的 hw5 的 LoRA 微调部分的整理，用于整理本人实现的对特定任务的 LoRA 微调实现以及对特定下游任务的处理。 1. LoRA 微调总体架构 我们采用和原有GPT2模型实现类似的架构实现带LoRA微调的GPT2模型，详细架...
自由文本处理
• Free Text
> 生成：Gemini-2.5-pro， 整理：fyerfyer 自由文本处理 1. 相关概念 自由文本 (Free Text) 指的是那些非结构化的文本数据，例如网页、数据库中的评论字段、文章等。 与关系型数据或图谱不同，自由文本的核心挑战在于它缺乏“易于提取”的结构。 >...
迁移学习
• LLM, NLP
> 生成：Gemini-2.5-pro， 整理：fyerfyer 迁移学习 2. 适配器 (Adapters) 为了解决传统微调的参数效率问题，论文提出了一种替代方案，叫做适配器模块 (Adapter Modules)。 a. 核心思想 适配器的核心思想是：在为下游任务调整模型时，我们完全冻结 (freeze)...
GPT2 实现笔记(1)
• LLM, NLP
GPT2 实现笔记(1) > 该笔记是对 Stanford CS224-n 的 hw5 基础部分的整理，用于整理 GPT2 模型的基本实现。 1. 注意力模块实现 $a.$ 初始化 我们先初始化好注意力模块中的组件： $Q$，$K$，$V$层和 dropout 层 注意力头数量等配置 ``python...
词语表示法
• NLP
> 生成：Gemini-2.5-pro， 整理：fyerfyer 词语表示法 1. 预备知识 $a.$ 词符 vs. 词型 (Word Token vs. Word Type) 在自然语言处理中，我们首先要区分两个基本概念： 词符 (Word Token)：指在文本中实际出现的一个具体的词。它是词的一个“实例”。 ...
LoRA
• NLP, finetune
> 生成：Gemini-2.5-pro， 整理：fyerfyer LoRA 1. LoRA 的核心思想与原理 $a.$ 核心假设：权重更新的“低内在秩” LoRA 的核心假设是：模型在适应新任务时，其权重的“变化量”（$\Delta W$）本身具有“低内在秩”（low intrinsic rank）。...