1.4 机器学习的几何视角

猫脑模型的每个输入都是一个包含两个数字的数组，即 x ₀ （代表物体的硬度）和 x ₁ （代表物体的锋利度），或者等价地，一个2×1的向量 x 。一种直观的理解方式是将输入想象成高维空间中的一个点。输入空间通常被称为 特征空间 ——一个包含模型将要检查的所有特征的空间。在这个示例中，特征空间的维度是2，但在实际问题中，该维度可能是数百、数千甚至更多。输入的确切维度因问题而异，但仍可直观地将它视为点。

输出 y 也应被视为另一个高维空间中的一个点。在这个示例问题中，输出空间的维度是1，但在实际问题中，它将具有更高的维度。然而，输出维度通常会远小于输入维度。

从几何角度来说，机器学习模型本质上是将特征空间中的一个点映射到输出空间中的一个点。模型在输出空间中执行的分类或估计任务通常比在特征空间中更容易完成。特别是对于分类任务，属于不同类别的输入点预期会被映射到输出空间中的不同簇。

让我们继续以猫脑模型为例来阐述这一概念。如前所述，我们的特征空间是二维的，包含两个坐标轴，其中， X ₀ 表示硬度， X ₁ 表示锋利度 ^[1] 。这个二维空间中的每个点都由坐标值（ x ₀ ， x ₁ ）表示，如图1.2所示。因此，衡量威胁评分的一种有效方法是计算单个点到直线 x ₀ + x ₁ =1的距离。

从几何坐标系来看，在一个坐标轴为 X ₀ 和 X ₁ 的二维空间中，点（ a ， b ）与线 x ₀ + x ₁ =1的有符号距离是 。通过检查 y 的符号，我们可以确定输入点位于分隔线的哪一侧。在图1.2所描述的简单情况下，我们可以观察到，威胁评分可以通过有符号距离 y 来表示，即点到对角线 x ₀ + x ₁ -1=0的距离。我们可以通过对 y 设定阈值来做出逃跑/忽略/靠近的决策，即接近零的值意味着忽略，正值意味着逃跑，负值意味着靠近并发出呼噜声。

根据高中的几何学知识，任意输入点（ x ₀ = a ， x ₁ = b ）到直线 x ₀ + x ₁ -1=0的距离是 。因此，函数 是猫脑威胁评分估计函数的一个可能模型。训练结果应收敛于 ， 和 。

因此，我们得到了简化版的猫脑威胁评分模型：

它将表示猫前面物体的硬度和锋利度的二维输入点映射到一个一维值，即输入点到分隔线的有符号距离。这个距离在物理上可以解释为威胁评分，通过设定阈值[见式（1.2）]可以将不同类别的威胁（负威胁、中性、正威胁）区分开来。不同的类别在输出空间中会形成不同的簇，分布用+、-和$符号表示。低输入值会产生负威胁（猫将靠近并发出呼噜声）：例如， 。高输入值会产生正威胁（猫将逃跑）：例如， 。中等输入值会产生接近零的威胁（猫将忽略物体）：例如， y （0.5，0.5）=0。当然，因为这个问题相对简单，所以我们可以通过直接观察来确定模型参数。而在实际应用中，这些参数需要通过训练来获得。

这种几何视角在高维数据中也同样适用。一般来说，将一个 n 维的输入向量 x 映射到一个 m 维的输出向量（通常为 m ＜ n ），可以使问题在输出空间中得到极大的简化。三维特征空间的示例如图1.3所示。