下载掌阅APP，畅读海量书库
立即打开
在后续章节中会提到，不同的机器学习算法用来解决不同的问题。大卫·沃尔伯特（David Wolpert）提出的著名的没有免费午餐定理（no free lunch theorem）总结了一个重要观点，即不能“免费”学习（D.H.Wolpert.The Lack of A Priori Distinctions Between Learning Algorithms，Neural Computation，8（7）：1341-1390，1996；D.H.Wolpert，W.G.Macready.No free lunch theorems for optimization，IEEE Transactions on Evolutionary Computation，1（1）：67-82，1997）。可以把这个概念与如下流行语联系起来，即“如果你的工具只有铁锤，你就会把所有问题都视为铁钉”（Abraham Maslow，1966）。例如，每种分类算法都有其固有的偏差，如果不对任务进行任何假设，那么任何一个分类模型都不会优于其他模型。因此，在实践中，必须通过训练和测试比较几种不同的学习算法来选择性能最佳的模型。但在比较不同的模型之前，必须首先确定度量模型性能的指标。一个常用的指标是分类准确率，即正确分类样本的百分比。
有人会问：如果不使用测试数据集进行模型选择，而是将测试数据保留到最后用于度量模型性能，如何知道哪个模型在最终测试数据集和真实数据上表现得更好？为了解决嵌套在这个问题中的问题，可以使用“交叉验证”方法。在交叉验证中，进一步将训练数据集划分为训练子集和验证子集。验证子集用于评估模型的泛化性能。
最后，对于遇到的具体问题或任务，不能认为软件库提供的机器学习算法的默认参数是最优的。因此，后续章节会频繁使用超参数调优方法来提高模型的性能。
与模型的参数不同，超参数不是从训练数据中学习到的，可以将超参数视为模型的“旋钮”，使用这些“旋钮”可以提高模型的性能。后续章节将通过实际的例子更加清楚地解释和说明超参数概念。