2.2 项目架构分析

在搭建数据仓库之前，必须先确定数据仓库的整体架构。从数据仓库的主要需求入手，先分析数据仓库整体需要哪些功能模块，再根据功能模块具体实现过程中存在的技术痛点，决定选用何种大数据框架，最终形成具体的系统流程图。

2.2.1 金融租赁行业简介

金融租赁（Financing Lease），又称“融资租赁”“设备租赁”“完全支付租赁”，是指在企业需要设备时，不以现汇或向金融机构借款购买，而是由租赁公司融资，把租赁来的设备或购入的设备租给承租人使用，承租人按照合同的规定，定期向租赁公司支付租金，在租赁期满后退租、续租或留购的一种融资方式。金融租赁实质上是一种转移与资产所有权有关的全部或绝大部分风险和报酬的租赁，资产的所有权最终可以转移，也可以不转移。

金融租赁的特征表现为以下几点。

（1）租赁物由承租人决定，出租人出资购买并租赁给承租人使用，并且在租赁期间内只能租给一家企业使用。

（2）至少涉及三方当事人，即出租人、承租人和供货商。因为设备或供货商是承租人选定的，这就使得承租人需先与供货商联系，再由出租人与供货商接触，最后出租人将所购设备租给承租人使用。

（3）出租人保留租赁物的所有权，承租人在租赁期间支付租金，从而享有使用权，并且负责租赁期间租赁物的管理、维修和保养。

（4）租赁设备的所有权与使用权相分离。在租赁期内，设备的所有权在法律上属于出租人，而在经济上的使用权则属于承租人。

（5）不可解约性。租赁合同一经签订，在租赁期间任何一方均无权单方面撤销合同。只有当设备自然毁坏并已证明丧失了使用效力的情况下才能终止合同，但必须以出租人不受经济损失为前提。

（6）租赁期满，承租人有退租、续租和留购的选择权。在通常情况下，出租人由于在租期内已收回了投资并获得了合理的利润，再加上设备的寿命已到，所以可以通过收取名义货价的形式，将设备的所有权转移给承租人。

金融租赁属于国际租赁方式之一，实际上是租赁公司给予用户的一种中长期信贷，出租人支付了全部设备的价款，等于对企业提供了100%的信贷，具有较浓厚的金融色彩。金融租赁被视为一项与设备有关的贷款业务，适用于价值较高和技术较为先进的大型设备。目前，发达国家企业的大型设备有近50%是通过金融租赁的方式取得或购买的，金融租赁已成为国际上应用得最为广泛的融资方式。

金融租赁具有许多不确定的风险因素，与市场、金融、贸易、技术、经济环境等紧密相关，充斥着产品市场风险、金融风险、贸易风险、技术风险、经济环境风险及不可抗力等风险因素。金融租赁以承租人占用融资成本的时间来计算租金，是市场经济发展到一定阶段而产生的一种适应性较强的融资方式。

2.2.2 金融租赁数据仓库产品描述

金融租赁行业正处于转型发展的关键时期，在推动经济高质量发展的前提下，除了要充分发挥行业跨界属性、延伸业务链，还要借助大数据等新兴技术，提升抗风险能力和业务创新能力。虽然相较于互联网、银行等行业，金融租赁行业的数字化转型尚处于初级阶段，但是在大数据浪潮下，金融租赁行业应该借鉴现有成功经验，谋求行业在新形势下的新发展。

在这个金融科技时代，数据已经成为一种资产，是企业必须努力挖掘其价值的重要资产。在金融租赁行业中，我们关注很多数据指标，例如，截至当日处于不同审批阶段、处于不同业务方向的项目数量和申请金额，以及已审批完结的项目的转化率统计等。通过对以上指标的分析，我们可以更准确地掌握企业的现状。

金融租赁行业数据的特点是不存在用户行为日志数据，即不会产生用户点击数据，因此我们只需要分析业务数据即可，这大大降低了数据的复杂程度、简化了系统架构。

针对以上金融租赁行业的特点和金融租赁行业的数据特点，我们可以简单总结本金融租赁行业数据仓库的产品特点，具体如下。

● 需要对金融租赁行业的业务数据进行准确、及时的采集，并对敏感数据进行脱敏。统一数据口径，去除脏数据，确保数据采集的可靠性。

● 对采集来的业务数据进行合理的抽取和数据组织，做到合理分层和数据建模。以合理的方式对数据仓库进行分层和分析计算，使用户和数据仓库的开发人员在较短的时间内得到想要的查询结果。

● 需要对数据分析结果进行合理且及时的展现。数据仓库的最终目的是为用户提供数据服务，数据仓库最终面向的用户是业务人员、管理人员或数据分析师，他们对组织内的相关业务非常熟悉，对数据的理解也很充分，但是对于数据仓库的使用和搭建往往不太熟悉。这就要求我们在提供数据接口时，尽量将其设计得友好和简单，让用户可以轻松地获取他们需要的数据。

2.2.3 系统功能结构

如图2-1所示，本数据仓库系统主要具有三个功能结构，分别是数据采集模块、数据仓库平台和数据可视化。

数据采集模块主要负责将金融租赁的业务数据采集到数据存储系统中。业务数据主要存储在MySQL中，采用DataX和Maxwell对其进行采集。业务数据中的众多表格存储的数据类型不同，根据业务产生的增改情况，需要制订不同的同步策略。

数据仓库平台负责将原始数据采集到数据仓库中，合理建表并对数据进行清洗、转义、分类、重组、合并、拆分、统计等，将数据合理分层，这极大地减少了数据重复计算的情况出现。数据仓库的建设离不开数据仓库建模理论的支持，在数据仓库建设之初，数据仓库开发人员就应对数据仓库建模理论有充分的认识，因为合理地建设数据仓库，对于后期数据仓库规模的扩大和功能拓展大有裨益。数据仓库每日需要执行的任务非常多，由于涉及分层建设，层与层之间存在密切的依赖关系，所以数据仓库平台要有一个成熟的定时调度系统，能够管理任务流依赖关系并提供报警支持。

在针对固定长期需求进行数据仓库的合理建设的同时，还应考虑用户的即席查询需求，需要对外提供即席查询接口，让用户能够更高效地使用数据和挖掘数据存在的价值。

数据可视化主要负责将最终需求结果数据导入MySQL中，供用户使用或对数据进行Web页面展示。

2.2.4 系统流程图

本数据仓库系统的主要流程如图2-2所示。

业务数据需要根据表格的性质，制订出适合的数据同步方案，并选用适当的数据同步工具，将数据采集至Hadoop的分布式文件系统HDFS中。

数据到达分布式文件系统HDFS中之后，开发人员需要对其进行多种转换操作，最重要的是需要进行初步清洗、统一格式、提取必要信息、脱敏等操作。为了使数据计算更加高效、数据复用性更高，我们还需要对数据进行分层。最终将得到的结果数据导出到MySQL中，方便进行可视化，同时需要为用户提供方便的即席查询通道。