15
深度学习的阴谋

我与我的同事兼朋友杰弗里·辛顿和约书亚·本吉奥达成共识，决定共同努力重新唤起科学界对神经网络的兴趣。我们始终相信它是行之有效的，能够大幅提高图像和语音识别的效率。幸运的是，CIFAR对我们的想法很感兴趣。它的名字起得很好，因为CIFAR的读音是“see far”，在英文中意为“远见”。2004年，该研究院制订了一个为期5年的神经计算与自适应感知计划（NCAP）。当时杰弗里·辛顿被任命为该计划的负责人，而我是其科学顾问。NCAP将我们聚集在一起，组织讲习班，为学生们开辟了一个科学小天地。

当时仍然有很多研究者认为神经网络的研究是一场闹剧。因此，我们提出了一个新名称——深度学习。我把我们的三人小组称为“深度学习的阴谋”。这是一个真实的笑话。

因为不受重视，我们发表文章之路很不顺利。2004—2006年，我们写的关于深度学习主题的文章几乎都被机器学习领域的重要会议否决了，这些会议包括NeurIPS、ICML等。当时研究机器学习的主要方法是核方法、提升方法和贝叶斯概率法，神经网络几乎已经从可选项中消失了。像CVPR和ICCV这样的应用领域大会也对神经网络的相关工作保持缄默。

即便我们信念坚定，也会有某个动摇的时刻。我记得在1987年12月6日，在多伦多，杰弗里·辛顿来到实验室的时候神情沮丧。他沉默阴郁，简直与先前判若两人。辛顿像所有有自尊心的英国人一样，很有幽默感，但那天，他讲的笑话都很苦涩。办公室里的同事都不知道发生了什么事。最终，辛顿向大家坦陈了他的困扰：“今天是我40岁生日，我的职业生涯也到头了，什么也做不成了。”在他的认知里，40岁是一个里程碑，过了这个岁数，人的头脑就不再如以往清醒了。他觉得自己再也不会有关于大脑工作原理方面的发现了。可事实上，我们在20年后又有了新的想法。但我们碰见的大多数人都不如辛顿，他们都很傲慢。

借着CIFAR计划的东风，我们的人际圈逐渐扩大。从2006年起，这个圈子达到了一定规模，因此在我们向一些大会提交文章时，评审专家中总有那么一两位支持我们工作的。我们的想法开始在业界传播，也开始得到认可。

2007年，参加机器学习的大型会议NeurIPS的学者不足1000人，属于不受重视的会议。但是到2018年，参会者达到了9000名。杰弗里·辛顿、约书亚·本吉奥和我每年都会参加，这里会产生关于机器学习的最有意思的想法。会议会持续一周，包括为期三天的全体会议和两天的小组研讨会，研讨会的形式更加自由。

研讨会的举办地是温哥华附近的一个冬季运动胜地。与会者可以在星期四下午乘大巴到达那里。那一年，我们建议组织一个深度学习研讨会，但是组织者在没有做任何解释的情况下就拒绝了我们的提议。不过这并不能阻止我们，我们利用CIFAR提供的资金组织了自己“私设”的研讨会，并租用大巴来接送对深度学习感兴趣的人。我们的研讨会有300位参与者，比以往任何一次都多，也因此成了NeurIPS最受欢迎的研讨会。这也标志着“深度学习”这一术语开始被业内的专业文献采用。 6tCjMkjLKCz5ZZ9JclVuMh8WYse+i8m9lwunepnDmUtoKeNhDDNL4CTZ/YVxSWna