下载掌阅APP，畅读海量书库
立即打开
至此，我们可以清楚地认识到，机器学习和数据科学都涉及高维空间中的点。因此，我们有必要对这些空间进行深入的理解。例如，给定一个空间，我们可能需要了解：“是否可以用一组少量的向量来表示空间中的所有点？我们真正需要的最小向量集是什么？”本节将专门研究这些问题。
考虑图2.11中所示的向量（点），其对应的二维向量为
我们可以找到四个标量 α 0 =2， α 1 =2， α 2 =2和 α 3 =-3使得
如果我们能找到这样的标量，并且它们不全为零，则称向量 v 0 ， v 1 ， v 2 和 v 3 是 线性相关 的。从几何角度来看，我们需要了解的是：线性相关的向量所对应的点位于它们所在空间的某条直线上。
共线性意味着线性相关
证明：设
a
，
b
和
c
是三个共线向量。根据式（2.12），存在某个
使得
c =（ 1- α） a +α b
因此，该方程可以重写为
α 1 a +α 2 b +α 3 c = 0
其中， α 1 =（1- α ）， α 2 = α ， α 3 =-1。因此，我们证明了共线向量（ a ， b 和 c ）也必然是线性相关的。
图2.11 二维平面上线性相关的点
线性组合
给定一组向量 v 1 ， v 2 ，…， v n 和一组标量权重 α 1 ， α 2 ，…， α n ，它们的加权和 α 1 v 1 + α 2 v 2 +…+ α n v n 被称为 线性组合 。
线性相关的多维通用定义
对于一组向量 v 1 ， v 2 ，…， v n ，如果存在一组不全为0的权重 α 1 ， α 2 ，…， α n ，使得 α 1 v 1 + α 2 v 2 +…+ α n v n =0成立，那么该组向量是线性相关的。例如，行向量[1 1]和[2 2]是线性相关的，因为-2[1 1]+[2 2]=0。
给定一组向量 v 1 ， v 2 ，…， v n ，它们的生成空间被定义为这些向量的所有可能线性组合的集合，包括向量本身。
例如，考虑两个向量
和
。这两个向量的生成空间是包含这两个向量的整个平面。该平面上的任意向量，如向量
，都可以表示为类似18
v
x
⊥
+97
v
y
⊥
的加权和的形式。你可能已经发现，
和
是我们熟悉的二维平面上的笛卡儿坐标轴（分别为
X
轴和
Y
轴）。
我们之前对向量空间的概念进行了非正式地探讨。现在，我们将对向量空间进行更严谨的定义。
向量空间
在 n 维空间中，当且仅当该一组向量上定义了加法和标量乘法运算，这组向量（点）能够形成一个向量空间。这意味着可以对向量空间的任意元素进行线性组合。
基向量
给定一个向量空间，涵盖了该空间的一组向量被称为该空间的
基
。例如，在空间
R
2
中，向量
和
可以作为基向量。本质上，这意味着空间
R
2
中的任何向量都可以表示为这两个向量的线性组合。这个概念可以推广到更高的维度。对于高维空间
R
n
，向量
，
，…，
构成了该空间的基。
细心的读者可能已经猜到了，基向量与坐标轴相关。实际上，刚刚描述的基向量就构成了笛卡儿坐标系的坐标轴。
到目前为止，我们只了解了相互正交的基向量的情况，如之前所展示的
R
2
中两个基向量的点积：
。然而，基向量并不一定是正交的。任何一对线性无关的向量都可以在
R
2
中构成一组基向量。因此，基向量并不是唯一的。但我们发现，正交向量作为基向量通常最为方便，这一点稍后会进一步解释。
最小且完整的基
确切地说，要涵盖一个 n 维空间，需要 n 个向量。这意味着一个空间的基向量集合，应该至少包含与该空间维度相同数量的元素。
同样数量的基向量也足以形成该空间的基。例如， n 个线性无关的向量就可以形成 R 2 的基，即生成整个空间 R n 。
一个相关的事实是，在 R n 中，任何一组包含 m 个向量的集合，其中 m ＞ n ，都是线性相关的。换句话说，在 n 维空间中，线性无关向量集的最大规模（即向量个数）是 n 。
封闭性
当且仅当向量集合中任意一对向量的线性组合也属于该向量集合时，称这组向量在线性组合下封闭。考虑
R
2
中的一组点，这是具有两个实数元素的向量集合。取
R
2
中的任意一对向量
a
和
b
，例如
和
。这两个向量的任何线性组合也将包含两个实数，即属于
R
2
。这种情况下，我们称
R
2
是一个向量封闭空间，因为它在线性组合下是封闭的。
考虑空间 R 2 。从几何学的角度来看，这代表了一个二维平面。在这个平面上取两个点 a 和 b 。 a ， b 的线性组合对应于它们之间连线上的点。我们知道，如果两个点位于一个平面上，那么整条线也会位于该平面上。因此，在二维空间中，一个平面在线性组合下是封闭的。这是向量空间封闭概念对应的直观几何解释，这一概念也可以推广到任意维度。
另外，球面上的点集在线性组合下并不是封闭的，因为该集合上任意两点的连线，并没有完全位于该球面上。