机器学习与数值优化

生成：Gemini-2.5-pro， 整理：fyerfyer

1. 机器学习的四个抽象层次

在机器学习中，我们一般将一个复杂的问题分解成下面四个层次分明的模块：

1. 应用/数据 (Application/Data)
2. 模型 (Model)
3. 优化问题 (Optimization Problem)
4. 优化算法 (Optimization Algorithm)

$a.$ 应用数据

这是所有工作的起点，定义了我们要解决的“是什么”问题和我们拥有的“原材料”:

• 核心问题：我们要解决一个什么样的现实世界问题？我们的数据是什么样的？
• 关键判断：
  • 数据有无标签？
    • 有标签 (Supervised Learning):
      • 如果标签是类别（比如“猫”、“狗”），这就是一个分类 (Classification) 问题。
      • 如果标签是连续的数值（比如房价、温度），这就是一个回归 (Regression) 问题。
    • 无标签 (Unsupervised Learning):
      • 如果目标是根据数据的相似性将它们分组，这就是一个聚类 (Clustering) 问题。
      • 如果目标是找到数据内部的结构或更简洁的表示，这就是一个降维 (Dimensionality Reduction) 问题。

$b.$ 模型

一旦确定了任务类型，我们就需要选择一个“模型”。模型本质上是定义了“假设空间” (Hypothesis Space)，即我们允许计算机从哪些类型的函数或规则中去寻找答案。

$c.$ 优化问题

选定了模型后，我们如何确定模型里的参数（w 和 b）才是“最好”的呢？这就需要把“学习”这个过程形式化、数学化，变成一个“优化问题”。

• 核心问题：如何定义“最好”的模型？我们优化的目标是什么？
• 组成部分：
  • 变量 (Variables): 需要学习的模型参数（比如 w 和 b）。
  • 目标函数 (Objective Function): 通常也叫损失函数 (Loss Function) 或成本函数 (Cost Function)。它衡量了模型当前预测值与真实值之间的差距。我们的目标通常是最小化这个函数。
  • 约束条件 (Constraints): 对模型参数的一些限制（例如，参数的取值范围）。

$d.$ 优化算法

确定了优化问题，最后一步就是用一个具体的“算法”去求解它，找到能让目标函数最小化的那些参数值。

2. 对优化问题的进一步讨论

$a.$ 无约束优化

无约束优化的目标是：找到一个参数（或一组参数）$w$，使得一个连续的目标函数 $f(w)$ 达到最小值（或最大值）。