下载掌阅APP，畅读海量书库
立即打开
上述实验为调谐神经网络提供了一些策略。但是，适用于此示例的方法不一定适用于其他示例。对于任一给定网络，确实存在多个可以优化的参数（比如，隐藏神经元的数量、BATCH_SIZE、eopch数，以及很多依赖网络自身复杂性的参数）。所有这些参数都称为“超参数”，用于将它与网络本身的参数（即，权重和偏差）区分开。
超参数调谐是一个找到使成本函数最小化的超参数的最佳组合的过程。它的关键思想是，假设有 n 个超参数，可想象成它们定义了一个 n 维空间，那么，我们的目标是在该空间中找到与成本函数最优值相对应的点。一种实现方法是在该空间中创建网格，对每个网格顶点的成本函数值进行系统性验证。换句话说，将超参数划分为多个桶，并通过蛮力破解方法验证不同组合值。
如果你觉得调谐超参数的过程是人工的且成本很高，那么你的感觉是完全正确的！不过，近几年我们在AutoML中看到了一些显著成果，AutoML是一系列旨在自动调谐超参数和自动搜索最佳神经网络架构的研究技术。我们将在第14章中讨论更多有关此方面的内容。