习题

2.1 多层感知机和感知机的区别是什么？为什么会有这样的区别？

2.2 假设有一个只有1个隐层的多层感知机，其输入、隐层、输出层的神经元个数分别为33、512、10，那么这个多层感知机中总共有多少个参数是可以被训练的？

2.3 反向传播中，神经元的梯度是如何计算的？权值是如何更新的？

2.4 请在同一个坐标系内画出五种不同的激活函数图像，并比较它们的取值范围。

2.5 请简述三种避免过拟合问题的方法。

2.6 sigmoid激活函数的极限是0和1，请给出它的导数形式并求出其在原点的导数值。

2.7 假设激活函数的表达式为

请给出它的导数表达式并求出其在原点的取值。

2.8 假设基本采用表2.1中的符号，一个经过训练的只有1个隐层的MLP如何决定各个输出神经元的标签？在测试阶段，当前输入的样本的标签如何决定？

2.9 一种更新权重的方法是引入动量项，即

Δ ω （ n ）= α Δ ω （ n -1）+ α ² Δ ω （ n -2）+…

动量项 α 的取值范围通常为[0，1]，这样取值对于权重更新有什么影响？如果取值范围为[-1，0]呢？

*2.10 反向传播中，采用不同的激活函数对于梯度的计算有什么不同？请设计一个新的激活函数并给出神经元的梯度计算公式。

*2.11 请设计一个多层感知机实现4位全加器的功能，即两个4比特输入得到一个4比特输出及一个1比特进位。请自行构建训练集、测试集，完成训练及测试。

*2.12 请在不使用任何编程框架的前提下，重新实现解决习题2.11的代码。 /yYuWSOaU6XGnJVQW8Cn0D7xMhSEy2o6VM3nj5QLc91eUYgQnUIEJaxlU0ZZtLvt