下载掌阅APP，畅读海量书库
立即打开
可以用建模的人工神经元解决二分类问题。在二分类任务中，两个类别标签分别为0和1。定义一个决策函数 σ （ z ），该函数的输入为一个样本 x 所有特征值的线性组合以及对应的线性组合权重。定义一个样本所有特征的线性组合为神经元的净输入，写为 z = w 1 x 1 + w 2 x 2 +…+ w m x m 。记
给定一个样本，如果其净输入大于定义的阈值 θ ，则预测结果为类别1；否则，预测结果为类别0。在感知机算法中，决策函数 σ （·）为单位阶跃函数的变体，如下所示：
为了简化后续的代码实现，可以通过几个步骤修改上述决策函数。首先，移动阈值到不等式的左侧：
z ≥ θ
z-θ ≥0
其次，定义偏置项为 b = -θ ，并使其成为净输入的一部分：
z = w 1 x 1 + w 2 x 2 +…+ w m x m + b = w T x + b
最后，基于上述定义的偏置项和净输入 z ，重新定义决策函数为
线性代数基础：点积和矩阵转置
接下来的部分将经常使用线性代数中的符号。例如，两个向量点积可以表示两个向量对应元素相乘求和。其中向量的上标T表示转置，转置将列向量转换为行向量，反之亦然。例如，假设有以下两个列向量：
可以把向量 a 的转置写为 a T =[ a 1 a 2 a 3 ]，把两个向量的点积写为
此外，转置操作也可以应用于矩阵。一个矩阵的转置为沿着其对角线翻转后的矩阵，例如：
请注意，严格来讲，转置的定义仅适用于矩阵。在讨论机器学习时，当使用术语“向量”时，指的是 n ×1或1× m 维矩阵。
本书将只使用线性代数中的基本概念。如果需要快速复习线性代数中的基本概念，请参考Zico Kolter编写的书 Linear Algebra Review and Reference ，可以从http://www.cs.cmu.edu/～zkolter/course/linalg/linalg_notes.pdf下载这本书。
图2.2说明了如何通过感知机的决策函数（左图）将净输入
z
=
w
T
x
+
b
转换为二进制输出（0或1），以及如何使用感知机来区分线性可分数据
（右图）。