购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.1 机器学习概述

什么是机器学习?它能做什么?它又与人工智能、深度学习有什么样的关系?下面我们通过一些类比回答这些疑问。

1.1.1 什么是机器学习

机器学习是人工智能的一个分支,是现阶段解决很多人工智能问题的主流方法,被广泛应用于图像识别、语音识别、自然语言处理、信息推荐、天气预测等领域。自计算机诞生以来,人们从来没有停止过探寻机器智能的脚步。机器能否像人类一样拥有学习能力呢?1948年,计算机科学家阿兰·图灵(Alan Turing)在Mind上发表论文 Computing Machinery and Intelligence ,提出著名的“图灵测试”,由此开始了人工智能的先河。1956年,塞缪尔(Arthur Samuel)设计了一个具有自学习能力的跳棋程序,可以在不断人机对弈的过程中提升自己的棋艺,1959年,他提出了“机器学习”的概念,并将其定义为:the field of study that gives computers the ability to learn without being explicitly programmed,即此研究领域是计算机在不被明确编程的情况下,赋予它学习能力。此后,计算机科学家为机器战胜人类这个目标不断尝试,终于在2016年3月谷歌的AlphaGo年度围棋挑战赛,AlphaGo以4∶1的绝对优势战胜围棋世界冠军李世石九段。由此引发全球机器智能能否超越人类的热议,机器学习算法再次成为人们追逐的热点。

机器学习的研究方向主要分为两类:第一类是传统机器学习方法的研究,主要研究学习机制,注重探索模拟人的学习机制;第二类是针对大数据,研究如何有效利用信息,注重从海量数据中获取隐藏的、有效的、可理解的知识。前者侧重于算法理论的研究,后者侧重于数据的处理。

机器学习的任务就是探索研究机器模拟人类智能的高效算法,使其能代替人类解决实际问题。例如,利用机器学习可以帮助人类自动识别出手写数字、识别哪些是好瓜哪些是坏瓜、哪些是垃圾邮件哪些是正常邮件、预测房价的走势等。手写数字识别如图1-1所示,正常邮件和垃圾邮件的词云如图1-2所示,识别好瓜和坏瓜如图1-3所示。

图1-1 手写数字识别

图1-2 正常邮件和垃圾邮件词云

如果要从一堆西瓜中将好瓜挑选出来,有经验的瓜农总结出的经验是敲声浊响、纹理清晰、根蒂蜷缩的瓜为好瓜,机器学习就是模拟人类经验来识别好瓜和坏瓜的,那具体如何做呢?我们把一些好瓜的经验总结成机器学习中的“特征”列举出来,如图1-4所示。

图1-3 识别好瓜和坏瓜

图1-4 西瓜的特征

接下来,我们分别统计好瓜中色泽为“青绿”“乌黑”“浅白”所占的比例,根蒂为“蜷缩”“稍蜷”“硬挺”所占的比例,敲声为“浊响”“沉闷”“清脆”所占的比例,等等,然后依据这些统计数据建立一个数学模型,可以理解为是一个数学函数,根据这个数学模型去判断具有这些特征的瓜是好瓜还是坏瓜。根据这些特征建立模型的过程就是机器学习的过程,根据模型去识别好瓜和坏瓜的过程就是机器学习中的分类问题。

机器学习是一门交叉学科,涉及计算机科学、模式识别、概率论、统计学等多个学科,是人工智能学科中最具智能特征,最前沿的研究领域之一。

1.1.2 机器学习发展史

机器学习作为实现人工智能的主流方法,不断吸引学术界和工业界投入了大量时间和精力去提高机器学习算法的性能,由此产生出很多实用的经典算法,这些算法被成功应用在各个领域。最早的机器学习算法可以追溯到20世纪初,经过几十年的发展,机器学习算法的发展大致可划分为以下几个阶段。

1.萌芽期

1943年,心理学家W.Mcculloch和数理逻辑学家W.Pitts在发表的论文中提出了MP模型。MP模型模仿神经元的结构和工作原理,是一种模拟人类大脑的神经元模型。MP模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。1949年,加拿大著名心理学家Donald Olding Hebb提出了神经心理学理论,随后,又提出了一种基础的无监督学习规则——Hebb Rule,为神经网络学习算法的发展奠定了重要基础。

1958年,美国科学家P.Rosenblatt提出了由两层神经元组成的神经网络——Perceptron,即感知机,可解决输入的数据线性二分类问题,从而激发科学家对人工神经网络研究的兴趣,对神经网络的发展起到了里程碑的意义。

但由于感知机算法无法解决线性不可分问题,导致人工神经网络的发展陷入停滞。这个时期,基于知识推理的智能理论与技术仍在不断发展,各种各样的知识库+推理机的专家系统被提出,并在特定领域取得了许多成果。

2.发展期

1963年,层次聚类算法被提出,这是一种非常符合人的直观思维的算法。1967年,J.B.MacQueen提出了k均值聚类算法。1968年,Cover和Hart提出了k近邻算法,计算机可以简单的模式识别,但它没有显式的机器学习过程。

1983年,著名物理学家J.J.Hopfield提出了神经网络模型,它可以模拟人类的记忆,并利用该算法求解“流动推销员问题”这个NP难题。但由于该算法存在容易陷入局部最小值的缺陷,因此并未在当时引起很大的轰动。

1983年,Terrence Sejnowski和Hinton等人发明了玻尔兹曼机(Boltzmann Machines),它本质是一种无监督模型,首次提出的多层网络的学习算法,用于对输入数据进行重构以提取数据特征来做预测分析。

1986年,人工智能专家J.Ross Quinlan提出了著名的ID3算法,通过减少树的深度加快算法的运行速度。同年,D.E.Rumelhart等人提出了BP算法,BP算法一直是被应用得最广泛的机器学习算法之一。

这期间,决策树的3种典型算法ID3、CART、C4.5也陆续被提出。

20世纪90年代是机器学习百花齐放的年代。1995年,支持向量机(SVM算法)和AdaBoost算法被提出。SVM算法以统计学为基础,解决了非线性问题的分类问题,与之相应地,神经网络则黯然失色,SVM算法的提出再次阻碍了深度学习的发展。AdaBoost算法通过将一些简单的弱分类器集成起来使用,构建强分类器,使精度获得很大提升,代表了集成学习算法的胜利。

2001年,Breiman把决策树组合成随机森林,通过汇总分类树的结果,提高了预测精度。

3.蓬勃期

21世纪初,机器学习在各个领域都取得了突飞猛进的发展,特别是以连接主义学派为代表的深度学习技术更是所向披靡,在各个领域取得了非凡的成就,由此掀起了以“深度学习”为名的热潮。云计算和GPU并行计算为深度学习的发展提供了基础保障。

2006年,Geoffrey Hinton团队在《科学》杂志上发表了一篇关于“梯度消失”问题解决方案的论文,提出了深度学习概念,产生了巨大影响,并激发学术界和工业界进行深度学习领域的相关研究。Geoffrey Hinton也因此被称为深度学习之父。

2012年,在著名的ImageNet图像识别大赛中,Geoffrey Hinton和他的学生Alex Krizhevsky设计的CNN网络AlexNet在ImageNet竞赛上大获全胜,力压第二名SVM方法的分类性能,这次出色的表现引爆了神经网络的研究热情。

2013年,Google的Tomas Mikolov提出了经典的Word2Vec模型,用来学习单词分布式表示,因其简单高效引起了工业界和学术界极大的关注。

2014年,Facebook基于深度学习技术的DeepFace在人脸识别方面的准确率已经能达到97%以上,跟人类识别的准确率几乎没有差别。

2016年,由Google基于深度学习开发的AlphaGo以4∶1击败世界围棋冠军李世石,随后,该程序与中日韩数十位围棋高手进行快棋对决,连胜60局无败绩。

2017年,基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世,无一败绩地轻松击败了之前的AlphaGo。除了围棋,它还精通国际象棋等其他棋类游戏。此外,深度学习的相关算法在医学、机器翻译、新闻推荐、无人驾驶等多个领域均取得了骄人的成就。

机器学习在各个发展阶段具有代表性的算法如图1-5所示。

图1-5 机器学习在各个发展阶段具有代表性的算法

1.1.3 机器学习、人工智能、深度学习的关系

人工智能(Artificial Intelligence,AI)范围很广,它是一门新的科学与工程,是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学,研究内容涵盖语音识别、图像识别、自然语言处理、智能搜索和专家系统等。人工智能可以对人的意识、思维的信息过程进行模拟,像人类那样思考、也有可能超过人的智能。人工智能起源于著名的图灵测试,从那时起,引发无数科学家为实现人工智能进行种种探索,从而不断地推动计算机技术进步,创造出一个又一个奇迹。

机器学习是人工智能的一个分支,是实现人工智能的方法之一。机器学习是对人类生活中学习过程的一个模拟,而在这整个学习过程中,最关键的是数据。计算机科学家和机器学习先驱Tom M.Mitchell给机器学习下了这样一个定义:“机器学习是对计算机算法的研究,允许计算机程序通过经验自动改进。”任何通过数据训练进行学习算法的相关研究都属于机器学习。kNN、K-Means、Decision Trees、SVM、朴素贝叶斯、感知机、EM算法、逻辑回归及ANN(Artificial Neural Networks,人工神经网络),都是常见的机器学习算法。

深度学习(Deep Learning,DL)是一种机器学习方法,发展于人工智能的联结主义学派,其概念源于人工神经网络,它通过组合低层特征形成更加抽象的高层特征,其动机在于建立、模拟人脑进行分析学习。与传统的机器学习方法一样,深度学习也是根据输入的数据进行分类或者回归。传统的机器学习方法在面对数据量激增的情况下,其性能表现得差强人意,与此形成鲜明对比的是,深度学习反而表现出卓越的性能,特别是在2010年之后,各种深度学习框架的发布及其在各领域的突出表现,更进一步促进了深度学习算法的发展。

今天,人工智能已经成为一门庞大的综合学科,各领域无不存在人工智能的身影,机器学习作为实现人工智能最重要的方法之一,通过对数据进行分析处理,帮助计算机做出各种判断和决策。深度学习是机器学习的一个细分领域——人工神经网络的一个分支,在图像处理、语音识别、自然语言处理等领域取得了非常好的效果。机器学习、人工智能、深度学习三者之间的关系如图1-6所示。

图1-6 人工智能、机器学习与深度学习之间的关系

数据挖掘(Data Mining)作为与机器学习经常相提并论的概念,二者的侧重点不同,数据挖掘旨在从海量数据中“挖掘”隐藏的信息(这些数据可能是“不完全的、有噪声的、模糊的”),并利用机器学习技术(不限于机器学习技术)对这些数据进行处理,以辅助决策。因此,数据挖掘是将机器学习作为工具,研究的是如何利用好这个工具,侧重于算法的应用。机器学习侧重于研究算法本身,如何分析并改进算法。 k1JqAwOoZPudkKBgDjvhxQ5lS1Y6h7gf1C3oDx6Hl9S8ZmoMtx/CQQ8HjFFAeaO1

点击中间区域
呼出菜单
上一章
目录
下一章
×