fyerfyer's Blog

fyerfyer's personal blog

Recent Posts

概率统计基础

Probability

概率统计基础 > 本笔记是对 CMU Pratical Data Science Course 的概率统计相关部分的整理。 1. 最大似然估计 给定一个带参数的分布 $P(X;\theta)$ 和一系列独立样本 $x^{(1)}, x^{(2)},\dots,x^{(m)}$,我们可以如下计算数据集概率: $$...

数值计算技巧

数值计算技巧 > 本笔记用于记录在写代码过程中遇到的一些数据处理技巧与注意点。 1. 对特定 axis 进行操作的结果: | axis | 对应的维度 | 操作方向 | 结果 | 记忆技巧 |...

机器学习基础

Me-Le

机器学习基础 > 本笔记是对 CMU Pratical Data Science Course 的机器学习相关部分的整理。 1. 一般化的机器学习 一般地,一个机器学习算法包含如下的核心要素: 输入(Inputs / Features) $x(i) \in \mathbb{R}^n, i=1, 2,...

GPT2 实现笔记(3)-ReFT微调

GPT2 实现笔记(3)-ReFT微调 > 该笔记是对 Stanford CS224-n 的 hw5 的 ReFT 微调部分的整理,用于整理本人实现的对特定任务的 ReFT 微调实现以及对特定下游任务的处理。 1. ReFT 微调总体架构 ReFT 微调总体架构和 LoRA 架构类似: ``mermaid graph...

GPT2 实现笔记(2)-LoRA微调

LLM, NLP

GPT2 实现笔记(2)-LoRA微调 > 该笔记是对 Stanford CS224-n 的 hw5 的 LoRA 微调部分的整理,用于整理本人实现的对特定任务的 LoRA 微调实现以及对特定下游任务的处理。 1. LoRA 微调总体架构 我们采用和原有GPT2模型实现类似的架构实现带LoRA微调的GPT2模型,详细架...

自由文本处理

Free Text

> 生成:Gemini-2.5-pro, 整理:fyerfyer 自由文本处理 1. 相关概念 自由文本 (Free Text) 指的是那些非结构化的文本数据,例如网页、数据库中的评论字段、文章等。 与关系型数据或图谱不同,自由文本的核心挑战在于它缺乏“易于提取”的结构。 >...

迁移学习

LLM, NLP

> 生成:Gemini-2.5-pro, 整理:fyerfyer 迁移学习 2. 适配器 (Adapters) 为了解决传统微调的参数效率问题,论文提出了一种替代方案,叫做适配器模块 (Adapter Modules)。 a. 核心思想 适配器的核心思想是:在为下游任务调整模型时,我们完全冻结 (freeze)...

GPT2 实现笔记(1)

LLM, NLP

GPT2 实现笔记(1) > 该笔记是对 Stanford CS224-n 的 hw5 基础部分的整理,用于整理 GPT2 模型的基本实现。 1. 注意力模块实现 $a.$ 初始化 我们先初始化好注意力模块中的组件: $Q$,$K$,$V$层和 dropout 层 注意力头数量等配置 ``python...

词语表示法

NLP

> 生成:Gemini-2.5-pro, 整理:fyerfyer 词语表示法 1. 预备知识 $a.$ 词符 vs. 词型 (Word Token vs. Word Type) 在自然语言处理中,我们首先要区分两个基本概念: 词符 (Word Token):指在文本中实际出现的一个具体的词。它是词的一个“实例”。 ...

LoRA

NLP, finetune

> 生成:Gemini-2.5-pro, 整理:fyerfyer LoRA 1. LoRA 的核心思想与原理 $a.$ 核心假设:权重更新的“低内在秩” LoRA 的核心假设是:模型在适应新任务时,其权重的“变化量”($\Delta W$)本身具有“低内在秩”(low intrinsic rank)。...