1.4 大数据分析技术在安全中的应用

1.4.1 安全需要大数据

在信息安全领域，对大数据的迫切需求主要来自严峻的国内外网络安全形势、国家层面的高度重视和支持以及传统网络安全的局限性三个方面。

1.国内外网络安全形势

由于网络安全事件频发，当前各行业的安全态势越发严峻。网络安全及数据泄露事件不断登上新闻头条，从医疗信息、账户凭证、个人信息、企业电子邮件到企业内部敏感数据等。下面回顾一下过去几年里比较重大的安全事件。

（1）希拉里邮件门事件

2016年11月，希拉里因“邮件门”最终落败美国总统的竞选。希拉里在担任国务卿期间，从未使用域名为“@sate.gov”的政务电子邮件，而是使用域名为“@clintonemail.com”的私人电子邮件和位于家中的私人服务器收发公务邮件，涉嫌违反美国《联邦档案法》关于保存官方通信记录的规定。希拉里被美国联邦调查局（FBI）调查，民众支持率节节下降。

（2）乌克兰电力门事件

2015年12月，乌克兰电力系统遭受黑客攻击，黑客将可远程访问并控制工控系统的BlackEnergy（黑暗力量）恶意软件植入乌克兰电力部门，造成电网数据采集和监控系统崩溃。英国《金融时报》在2016年1月6日报道，这是有史以来首次导致停电的网络攻击，数百户家庭供电被迫中断，此次针对工控系统的攻击无疑具有里程碑意义，引起了国内外媒体的高度关注。

（3）“永恒之蓝”病毒爆发

2017年4月14日晚黑客团体Shadow Brokers（影子经纪人）公布了一大批网络攻击工具，其中包含“永恒之蓝”。“永恒之蓝”利用Windows系统的SMB漏洞可以获取系统最高权限。5月12日，不法分子通过改造“永恒之蓝”制作了wannacry勒索病毒，图1-9所示为国内某信息安全厂商分析这次攻击对全球影响时做的可视化呈现。

2.国家层面的高度重视和支持

面对严峻的国内外网络安全形势，国家对网络安全，特别是大数据安全表现出了高度的重视和支持。

2016年4月19日，习近平总书记在网络安全和信息化工作座谈会上发表重要讲话，审时度势、高瞻远瞩，勾勒出中国网信战略的宏观框架，明确了中国网信事业肩负的历史使命，为深入推进网络强国战略指明了前进方向。对于如何正确处理安全和发展的关系，习近平总书记指出，“要树立正确的网络安全观，加快构建关键信息基础设施安全保障体系，全天候全方位感知网络安全态势，增强网络安全防御能力和威慑能力”。

2017年2月17日，习近平总书记主持召开国家安全工作座谈会时强调，“要筑牢网络安全防线，提高网络安全保障水平，强化关键信息基础设施防护，加大核心技术研发力度和市场化引导，加强网络安全预警监测，确保大数据安全，实现全天候全方位感知和有效防护”。

3.传统网络安全的局限性

在面对新的安全威胁时，传统的安全防护渐渐出现了局限性，不再能满足对网络安全实时监测、有效防护、全天候全方位感知等各方面的需求。传统安全防护主要的局限性来自以下四个方面。

（1）规则匹配较为简单

传统的安全防护基于关键字匹配，容易被攻击者绕过，而且往往很多时候是业务的正常行为。

（2）线索误报较多

随着接入数据的不断增多，基线也随之动态变化，传统SIEM并不具备足够的分析严谨性，会产生大量误报和噪声。安全人员往往从追逐大量误报开始。成熟的公司会尝试调整工具，让其理解什么是正常事件，以此来降低误报数量。但也有一些安全团队会跳过该步骤，直接无视很多误报，有可能错过真正的威胁。

（3）不能发现新型威胁

传统的安全防护基于特征码，也就是内容特征进行匹配，往往依赖安全人员给出精准匹配的特征码，因此只能检测已知的安全威胁。

（4）不能关联多源日志

如图1-10所示，传统的安全防护往往只是单路径检测，不能还原整个攻击路径，分析维度较低，不能对多个数据源进行关联综合分析。

1.4.2 安全大数据分析技术基础及分析思路

大数据安全分析可以用到大数据分析的所有普适性的方法和技术，但当应用到网络安全领域的时候，还必须考虑安全数据自身的特点和安全分析的目标，这样大数据安全分析的应用才更有价值。

1.大数据安全分析的定位

大数据安全分析需要全方面了解安全动态，做到知己知彼。

· 知己：基于机器学习发现潜在的入侵和高隐蔽性攻击，回溯攻击历史，预测即将发生的安全事件。

· 知彼：结合威胁情报形成海陆空天一体的安全防御能力。

图1-11所示为国内某信息安全厂商设计的大数据安全分析平台架构图。平台采集了关键安全设备的日志、告警等数据（满足网络安全法存储6个月的要求），通过大数据分析，要同时具备对内部恶意资产的发现与验证能力以及对外部攻击的实时监测能力。

2.大数据安全分析范围

大数据安全分析主要针对公司内部威胁、外部威胁和业务安全。内部威胁，如内部应用误用和凭证窃取等事件，通常都发生在公司内部。然而，公司内部恰恰是难以获得足够可见性的地方；外部威胁通常表现为低频长周期的网络攻击，如撞库攻击、低频扫描、APT攻击等安全风险；业务安全指涉及公司业务的安全问题，如应用系统违规访问、金融诈骗及“薅羊毛”等业务风险。

3.大数据安全分析路径

如图1-12所示，大数据安全分析路径包括数据采集、安全环境状态识别、已知安全事件监测、未知安全风险监测和安全状态综合分析。

（1）数据采集

如图1-13所示，大数据安全分析中首先需要弄清楚都有哪些可分析的数据，以及数据中包含的信息。源数据所包含的信息量越大，能分析出的结果就越丰富、越精准，能完成的需求与覆盖的场景就越多。

网络安全领域通常可以把数据分为主机日志、应用日志、网络流量日志、业务日志以及告警日志，需要检测什么样的场景，就需要采集什么样的数据。

数据采集完之后，需要对数据的格式进行标准化处理，通常根据数据字典把非结构化的数据通过解析规则映射成可分析的结构化数据。

如图1-14所示，数据字典是用于元数据管理的一套字段及命名的规范。不同厂商有不同的日志标准化方式，目前没有统一的标准。数据字典是工程团队和分析团队衔接的桥梁，一个稳定健全的数据字典可以提高分析效率。

（2）安全环境状态识别

识别当前环境中的安全状态有利于对资产进行针对性的重点监测和分析，通常包括弱点感知和资产识别。

弱点感知，即识别当前系统的环境信息，以及漏洞或者不合规的配置项，便于分析安全事件和当前系统环境弱点之间的关联。例如，在安全告警分析的过程中，资产触发了struts2漏洞告警，但是根据弱点感知数据，该Web资产并没有使用框架，这样就可以剔除相关的风险，有针对性地进行告警。

资产识别如图1-15所示，主要用于识别当前网络中资产的连接拓扑以及资产安全域，便于在安全分析过程中进行攻击路径溯源分析。

（3）已知安全事件监控

大数据安全分析的下一个路径是提供准确而快速的安全分析、告警和响应能力。利用大数据分析将所有采集到的数据进行关联融合分析后输出核心安全事件告警，构建针对网络信息安全态势感知、通报预警、应急处置、追踪溯源以及联动原有安全防护设备的综合网络安全解决体系。

如图1-16所示，已知安全事件监控主要包括漏洞验证、情报碰撞、智能关联以及攻击链分析。其中，攻击链分析是指攻击事件的事后上下文分析，例如，发生了一起数据泄露事件，通过攻击路径来分析该事件的因果关系，即攻击突破点及攻击过程，以便后续做进一步的防范加固。

（4）未知安全事件监控

针对很多安全场景模型，传统的检测手段都可以检测，但有些传统手段无法实现对未知威胁的检测。表1-1左侧列举的是用传统检测手段可以实现的安全场景模型，右侧是智能机器学习模型，利用机器学习手段实现对已知、未知安全事件的监控。

目前大数据安全分析对于未知安全事件的检测主要有两种方式：异常行为检测和用户与实体行为分析（UEBA）（包括时序及空间两个维度）。后续章节将会详细讲述这两种分析手段的内容以及应用实战。

（5）安全状态综合分析

大数据安全分析路径的最后一步是安全状态综合分析。大数据安全分析不仅要发现异常用户和实体，还需要对环境整体安全态势及用户和实体异常行为进行可视化，便于用户全方位洞察系统安全情况，精准定位风险，如图1-17所示。