模型偏差可能会影响模型训练.举个例子,假设模型过于简单,把 代入一个有未知参数的函数,可以得到函数 ,同理可得到另一个函数 . 把所有的函数集合起来,可以得到一个函数的集合.但该函数的集合太小了,可以让损失变低的函数不在模型可以描述的范围内,见图2.1.在这种情况下,就算找出了一个 ,虽然它是这些蓝色函数里面最好的一个,但损失还是不够小.这就好比想要在水盆里捞针(一个损失低的函数),结果针根本就不在水盆里.
图2.1 模型太简单的问题
可以重新设计一个模型,并给模型更大的灵活性.其中一个做法是增加输入的特征.以第1章的预测未来观看次数为例,若能提供前56天的信息,模型的灵活性就比只提供前1天信息时强,见图2.2. 另一个做法是利用深度学习,提升网络的灵活性.即便如此,也不意味着训练的时候损失大就一定要归咎于模型偏差,还可能是因为优化做得不好.
图2.2 增加模型的灵活性