下载掌阅APP，畅读海量书库
立即打开
逻辑回归的模型可以在两个方面加以扩展，一个是从二分类到多分类，另一个是从线性模型到非线性模型。先介绍多分类模型。在点集二分类的情况下，有逻辑回归，在点集需要多分类时，例如，点集需要分成三类或者更多，应该怎么办呢？根据前面在二分类时的想法，当需要多分类时，需要的是多个 w 。例如，有点集
（ x 1 ，y 1 ），（ x 2 ，y 2 ），···，（ x n ，y n ）
其中， y i ∈{0，1，2，··· ，m -1}。其目标是寻找 w 1 ， w 2 ，···， w m -1 ，使得对 j =1，2，··· ，m -1，有
从而
最后得到似然函数为
同样，这个优化问题也需要采用数值的方法求解。
下面介绍从线性模型到非线性模型的扩展。平面上有两组点，一组点 A 在单位圆以外布满，一组点 B 在单位圆以内布满，如图4.1所示。现在需要区分这两种点，显然线性是不可能分开的。
但是，如果考虑一个变换
那么，这两组点在该变换下的像集
ϕ
（
A
）及
ϕ
（
B
）在一维直线上就可以被线性区分开来。因此，在使用线性区分方法之前，做非线性变换有时是必需的。在
情况下，给出点（
x
1
，x
2
），可以使用下面的变换
图4.1 非线性可分
然后使用
中的逻辑回归帮助寻找待分类点集中的非线性关系。但是，当非线性关系更为复杂时，可能需要进一步的变换，
从而可以把三次的关系寻找出来。如果非线性关系是更高次数的，显然映射就要包含更多项数。添加非线性项在逻辑回归和线性回归中都是可以的。在后面的支持向量机一章中，可以通过定义核函数的方法统一把非线性的项添加到模型里面。