LoRA
• NLP, finetune
> 生成：Gemini-2.5-pro， 整理：fyerfyer LoRA 1. LoRA 的核心思想与原理 $a.$ 核心假设：权重更新的“低内在秩” LoRA 的核心假设是：模型在适应新任务时，其权重的“变化量”（$\Delta W$）本身具有“低内在秩”（low intrinsic rank）。...
Posts tagged "finetune"
ReFT
• NLP, finetune
> 生成：Gemini-2.5-pro， 整理：fyerfyer ReFT 1. 核心思想 传统的参数高效微调（PEFT）方法，如 LoRA，其核心思路是修改模型的“大脑结构”，即通过更新或添加少量权重参数来让模型适应新任务。 而表征微调（Representation Finetuning,...