上一节我们介绍了一般矩阵的运算，实际上在机器学习或深度学习中，我们还经常遇到一些特殊类型的矩阵，如可逆矩阵、对称矩阵、对角矩阵、单位矩阵、正交矩阵等。这些特殊矩阵均有各自的特殊属性，下面我们逐一进行说明。

1.可逆矩阵

先简单介绍一下可逆矩阵，因后续需要用到。在（3.3）式中，假设已知矩阵W和向量b，如何求向量x？为求解向量x，我们需要引入一个称为逆矩阵的概念。而为了求逆矩阵，又牵涉到单位矩阵，何为单位矩阵？单位矩阵的结构很简单，就是所有沿主对角线上的元素都是1，而其他位置元素都是0的方阵（行数等于列数的矩阵），一般记为I _n ，如：

任意向量和单位矩阵相乘，都不会改变。

矩阵A的逆记作A ^-1 ，其定义为：A ^-1 A=I _n 。

如果我们能找到（3.3）式中矩阵W的逆矩阵，W ^-1 ，那么，只要在等式两边同时乘以W ^-1 ，则可得到如下结果：

对此后续我们有更详细的讨论及代码实现。

2.对角矩阵

对角矩阵只有在主对角线上才有非零元素，其余都是0。从形式上来看，如果A为对角矩阵，当且仅当对所有i≠j，A _i，j =0。对角矩阵可以是方阵（行数等于列数）也可以不是方阵，如下所示，就是一个对角矩阵。

对角矩阵有非常好的性质，这些性质使很多计算非常高效，在机器学习、深度学习中经常会用到。

对于对角矩阵为方阵的情况，我们可以把对角矩阵简单记为：

其中v=[v ₁ ，v ₂ ，…，v _n ] ^T 是由对角元素组成的向量，现在我们看一下对角矩阵在一些计算方面的奇妙之处。

假设现有向量v=[v ₁ ，v ₂ ，…，v _n ] ^T ，x=[x ₁ ，x ₂ ，…，x _n ] ^T ，则满足：

从上面两个式子可以看到对角矩阵的简洁高效。

3.对称矩阵

对称矩阵，对于任意一个n阶方阵A，若A满足：A=A ^T 成立，则称方阵A为对称矩阵。

4.单位向量

任意给定的向量v，若其L ² 范数为1，即||v|| ₂ =1，则称向量v为单位向量。

5.正交向量

假设现有向量v=[v ₁ ，v ₂ ，…，v _n ] ^T ，x=[x ₁ ，x ₂ ，…，x _n ] ^T ，若满足

则称向量v和向量x正交。这里⊙表示向量的点积运算。

6.正交矩阵

对于任意一个n阶方阵A，若矩阵的行向量之间互相正交，且行向量都是单位向量，即满足：

则称矩阵A是一个正交矩阵。由式（3.5）可以看出，若A是一个正交矩阵，则可推出A ^T =A ^-1 。 XTbnM031uReV54FwQ6pJ288ArFzixroz3SXDS/LfCJMW/HVGXLHzz7hP/dS5kWsd