深度学习技术不是一朝一夕诞生的,它至少经历了3个重要的历史节点。
第一个节点是控制论的诞生。其开始于20世纪40年代,产生了第一个感知机模型,实现了单个神经元的训练。
第二个节点是联结主义方法和反向传播优化方法的提出。随着计算机的面世,研究者在1980—1995年成功训练了具有一两个隐藏层的神经网络。
当前是第三个节点。神经网络正式以深度学习的名字再次复兴大约始于2006年,Hinton等人提出了深度信念网络,他们使用逐层初始化的方法来训练包含多个隐藏层的网络。
2012年,在ImageNet比赛中,AlexNet网络的性能大幅度超过了传统机器学习方法的性能,以此为节点,真正的深度学习时代开启了。2016年,Google的围棋机器人AlphaGo在世界瞩目的围棋比赛中以4∶1战胜了围棋世界冠军李世石,并随后在2017年以3∶0战胜了当时世界排名第一的中国棋手柯洁,这彻底点爆了人们对AI技术的热情。