购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.1 数据仓库面临的挑战

当前,传统数据仓库的发展来到了一个十字路口,海量数据、中台、人工智能(AI)等概念的兴起给数据仓库带来了挑战,数据仓库不仅要在数据的计算、存储、建模等方面展现自己的能力,也要从工具或平台层面转向对数据管理和治理概念的覆盖。

1.1.1 大数据时代的数据特点和挑战

从 20 世纪 90 年代中后期开始,作为 SAP 生态体系中的数据分析关键应用组件,SAP BW 被国内外大中型企业广泛应用,成为大部分世界一流企业事实上的数据存储和数据建模中心。国外大家耳熟能详的苹果、微软等大部分世界五百强企业,国内大量中字头的央企,以及各行各业的标杆企业,它们内部核心的数据管理引擎和辅助关键决策的基础数据平台,都是SAP BW。

进入21世纪以来,随着人类计算数据、生产数据、使用数据的能力的增强,数据科学进入一个崭新的阶段。无论是互联网企业还是传统企业,不仅需要传统意义上的小数据(企业内部数据),还需要现代意义上的大数据(竞争对手和社交媒体数据);不仅有结构化数据(格式化好的数据),还有非结构化数据(如邮件、音视频等);不仅希望存储数据的容量大,还希望数据的价值大。大数据这个概念早已经“飞入寻常企业家”,成为现代化企业数字化转型的关键成功要素。随着企业需求的数据量大幅度增加、机器学习和机器智能概念的兴起,大数据系统也呈现出不一样的特点,面临着不一样的挑战。

(1)数据由传统的以结构化数据为主转为结构化数据和非结构化数据并存,对于不同类型数据的存储与整合能力提出了更高的要求。冷数据、温数据、热数据、数据湖、数据中台等概念应运而生。

(2)对数据抽取、计算、建模、呈现的效率要求大幅度提高,基于实时数据仓库,大数据场景下的高性能计算和展现成为企业的刚需(特别是针对事中监控分析等应用场景)。所以在数据应用上,不仅要求一步快,还要求步步快,更有甚者,在快的基础上追求最佳性价比,这就对整体数据架构(各种系统或平台的组合)、技术、系统(平台)能力、实施能力提出了更高的要求。

(3)在大数据场景下,大量数据资产的管理和治理成为一项必须做好的基础性工作。良好的数据质量、高效和规范的数据追溯及管理能力是一个企业BI项目成功的基本前提,也是企业数据素养和数据使用能力的基本体现。

(4)大数据应用结合更高级的算法,能帮助数据的业务价值达到新的高度。大数据应用不仅要展示数据,还要成体系地梳理指标、辅助战略,及时而精确地改善管理,真正帮助企业实现看得到、看得清、看得远的目标。这就是我们常说的业务数据化和数据业务化。数据分析不再是一个奢侈品,而是一个必需品。大数据系统成为企业管理的基本工具,成为企业科学决策甚至战略发展的核心系统。

1.1.2 数据应用多元化

古语云:工欲善其事,必先利其器。但“利其器”(完善技术、平台、架构)只是更好地完成事情的基础,最主要的还是“善其事”。体现在企业数字化上,也就是数据分析、数据应用是否真正帮助企业的各级业务部门解决了管理问题,提高了运营效率,规避了风险,提升了收入或者降低了成本,进而真正有效地提升企业的竞争力。

在作者职业生涯前十年实践的BI项目中,有很多属于帮助执行层减轻工作量的报表项目,所谓BI的应用只是为了实现报表的电子化或者大屏的可视化(甚至有的是为了应对特定场景的“面子工程”)。这种项目的价值最多体现在报表开发效率的提升或者企业形象的提升上,对企业产生的实际管理价值及客户满意度提升作用显然是很有限的。

那么在大数据时代,什么才是一个有效的 BI 项目?企业数据应用的多元化又如何体现?基于对智扬信达这几年实践的客户高满意度BI项目的总结,我们分析出成功项目具备的几个特征。

(1)从企业管理周期的角度来看,数据分析要囊括事前(预测型分析)、事中(监控型分析)、事后(追溯型分析)、行动(处方型分析)4个环节,这4个环节对应管理的PDCA循环。这样将使数据分析涵盖完整的管理周期,实现事前有计划、事中有控制、事后有复盘、数据和算法直接推导行动的管理目标。

(2)从企业管理成熟度的角度来看,完备的数据分析应该包括三层路径和三层指标,即第一层结果类指标、第二层动因类指标、第三层活动类指标。从改善结果的角度出发,分析路径覆盖管理的各个层级(战略决策层、管理层和执行层)的关键用户的需求,真正做到从经营结果到关键驱动要素,再到根本活动的纵向打通,让BI成为管理绩效改善的根本工具。

(3)从企业数据体系框架和实施方向选择的角度来看,既要有高屋建瓴的管理框架(如平衡计分卡等)做指引,又要结合企业关键痛点(如缺料、利润拆解等)给予精准定位和高效解决,打造速赢典范,真正做到整体计划、分步实施、高效建设、精品试点的科学有效的BI项目分期实施路径。同时,伴随着每一期项目的建设,不断提升综合数据治理水平及企业数据素养和数据文化。

(4)基于业务的高要求,从技术的角度来看,如要支持数据多元化、实现高价值创造目标,则必须打造一个完备、准确、高效、实时、易维护的数据仓库平台或数据中台,真正做到数字化转型的三位一体(技术、业务与数据治理)。这既是企业BI项目成功的根本技术保障和平台建设基础,也是帮助客户达成主要目标的关键保障。

1.1.3 数据仓库的治理挑战

20 世纪 80 年代,随着数据随机存储技术和数据库技术的使用,人们可以方便地存储和访问计算机系统中的数据,数据管理的概念随之产生。2015 年,DAMA 在 DMBOK2.0知识领域将数据管理扩展为11个管理职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库、商务智能、元数据、数据质量。

在大数据时代,数据治理(数据资产管理)不仅要做到对数据资产“管得住”和“用得好”,还要满足数据对象的变化(数据量增大,数据来源增多)、处理架构更新换代(云存储和混合式架构等)、组织职能升级变迁(专门的“数据管理部门”)、管理手段自动智能(需要平台式的自动化管理)等高段位要求,这些无疑对当前数据仓库(大数据平台)的实施建设提出了非常高的标准和要求。

结合以上内容,基于大数据时代数据的特点、数据的应用方式和数据治理等多方面的变化,结合企业数字化转型的核心目标,当前数据仓库(大数据平台)的建设,要从架构、效率、业务价值、技术特性、数据治理等方面进行综合考量、科学实施,才能为企业打造一个功能相对完备、兼具高扩展性和高维护性的数据基础平台。传统的SAP BW平台显然是无法实现这些目标的,这也是SAP BW/4HANA诞生的基础。 el1IC4CajVrC9r+Smg8d5bqPe6z+1aQwArggaACBVrhTnl9ttayJWfes5pftIKKX

点击中间区域
呼出菜单
上一章
目录
下一章
×