下载掌阅APP，畅读海量书库
立即打开
大数据采集与存储以如何获取海量数据、获取后的数据如何存储为重点，探讨了数据资源获取、数据采集手段、数据管理中心、云平台等内容。
近年来，我国生鲜电商的迅速发展，为冷链物流行业带来了更多的机遇与挑战。冷链物流（Cold Chain Logistics）泛指冷藏冷冻类食品在生产、贮藏运输、销售、消费的各个环节中始终处于规定的低温环境下，以保证食品质量、减少食品损耗的一项系统工程。而现阶段，我国冷链物流行业的信息化建设水平普遍较低。大多数企业并未将物联网、数据交换、云计算、大数据等先进的技术充分利用，使得行业效率与国外相比仍处于较低水平。
大数据项目对于冷链物流企业将会具有十分重要的作用。其运用广泛大量的数据来源进行分析处理，从而指明企业的优劣势以便保持和改善。大数据项目可以带来的具体收益包括：优化冷链物流内部管理流程，降低运营成本，提高配送效率，从价格竞争转向价值竞争，从而推动冷链物流企业加速转型为以数据为驱动力的创新企业。
在冷链运输过程中，需要采集的数据有：仓储信息、干线运输、配送过程、环境监控、警告信息、客户满意度等。仅考虑运输过程中的数据采集，以一家拥有50辆冷藏集装箱运输车的冷链物流公司为例，每5分钟采集一次车辆状态与位置，车厢内至少3个温区的温湿度、车厢开关门等数据，12小时内的数据总量就已高于十万条。这样可对运送全过程进行全面而有效地监控，同时产生的大量数据中也包含了重复、冗余的信息。而考虑管理信息的数据采集，则要对客户文件、订单合同、供应商合作资料、视频采集文件、媒体报道等各种非结构化数据进行处理。同时，这些非结构化数据还涉及多个社交媒体，如微博、微信、QQ、电子邮件、客户满意度调查等。对这些数据的采集中，也需要通过文本标记和注释来创建元数据（如什么产品、哪个客户、哪个位置）。随后，这些元数据就可以作为结构化数据的分析维度，从而帮助整合冷链物流的结构化和非结构化数据。
而这些收集起来的数据，不仅需要实时展示与结构化处理，还需要对全部数据进行存储，为客户、供应商和承运商的业务管理与商业分析系统提供数据调用接口，实现管理分析、市场预测以及经营决策。在大数据平台之上，系统需要对多种不同格式的数据混合存储，传统的关系型数据库设计原则已经无法适应新的需求，新型的非关系数据库设计模式主要有：
文档数据库：采用XML和类JSON的数据结构，提供嵌入或文档引用两种方式来为两个不同的文档对象建立关系；
列簇数据库：以高性能查询为设计核心，提供宽行和窄行设计决策；
索引数据库：以快速搜索为设计核心，优化每个字段内容的处理结果。
对于数据的存储和归档，必须通过建立一体化的数据中心和信息管理系统，建设操作便捷、安全稳定、实时自动更新、准确分析、可持续的集中化管理平台，以便于后续进一步的数据处理与分析。
大数据分析计算围绕如何对数据进行挖掘处理和分析计算，探讨大数据加工、大数据分析、大数据可视化、大数据人工智能等内容。
互联网金融和利率市场化对传统银行的经营管理模式提出了巨大挑战，各大商业银行如何发掘新的利润增长点，便是关键问题之一。而零售业务在商业银行具有广泛的客户基础，对银行来说是稳定性和成长性较高的业务板块。因此，如何强化银行经营管理中的零售思维，将决定其未来能否在新一轮竞争中占据市场制高点。大数据分析为商业银行深入了解客户、挖掘和预测客户需求、为客户提供个性化金融产品和服务以及实现精准化营销提供了强大的工具，推动了商业银行零售业务在营销上的创新和改革。
招商银行在业内较早地开启了零售大数据的布局与整合。2014年逐步对借记卡、信用卡数据进行了整合，同时主要的借记卡基础数据按客户、渠道、事件、协议、产品、财务、资源项等七大主题完成整合。同年，招商银行开始建设信用卡数据及借记卡汇总数据，其中，信用卡的基础、汇总数据分三批进行了整合，对借记卡汇总数据进行了九宫格设计，完成了核心数据的建立。目前，招商银行零售大数据整合主要由四层组成，由里到外分别是：基础层、营销层、行内网络层以及行外互联网、三方数据层。
其中，基础层包含客户的基本信息、产品信息、交易信息，营销层包含营销接触信息，包括营销管理系统、财富管理系统、远程银行中的营销接触信息。行内网络层包括本行网银、一网通、手机银行、微信银行的客户接触信息。行外互联网、三方数据层包括行外微博、微信等互联网渠道的客户接触信息。
该模型原理是通过大数据分析找出决定客户购买行为的各类相关变量（特征变量），然后根据这些特征变量对客户行为的影响程度（用IV值度量）进行赋值，IV值越大，表示该变量对用户购买行为的影响越大。最后综合各特征变量，对每位客户的购买行为进行打分，综合得分越高的客户越有可能购买该产品。
以“股票型”基金购买模型为例，特征变量包括有：受托理财产品购买时长、是否持有受托理财产品、持有重点产品数、负债业务类资产发展趋势、一卡通金卡持有数等级等，假定其他变量不变，进一步分析各特征变量是如何影响客户购买“股票型”基金这一行为。以“受托理财产品购买时长”为例，将客户已购买理财产品时长作为自变量，成功购买“股票型”基金为因变量，可以描绘出二者之间的变化关系。
1.渠道偏好模型
根据客户交易、访问渠道的识别，构建“渠道偏好模型”。其又可分为：客户登录/访问渠道偏好、客户重点结算交易类型渠道偏好以及客户主要产品购买渠道偏好。
通过渠道偏好模型，银行可挖掘以下信息：第一，通过该模型可以看到客户渠道偏好的整体概貌，从而有效地进行渠道管理和建设。第二，该模型可以显示渠道的深度。第三，通过该模型可以了解到各渠道使用客户对银行的价值贡献。第四，通过该模型，可以掌握各渠道的宽度。
2.零售客户消费细分模型
通过挖掘客户的消费交易行为，可以预测每位顾客的消费偏好，从而为客户推荐适宜的产品、卡片，或吸引客户参加特定的活动。招商银行将客户消费偏好分为超市控、商旅控、美丽控、娱乐控、文体控等几大族群。
基于微信银行互动文本的挖掘应用可以帮助银行弄清楚用户在微信银行的行为和偏好，了解用户办理业务的方式及种类、用户与微信银行的交互深度和宽度、交互时间偏好以及交互文本内容；通过对关键词以及交叉关键词的统计分析可以挖掘用户关注的焦点以及金融需求；而用户槽点的提炼也可以帮助银行优化微信银行系统设置及功能。
通过对招商银行零售大数据的应用分析，可以看到大数据时代，银行发展和决策必须从“经验依赖”向“数据依赖”转变，用数据说话，用数据指导决策。
大数据交易围绕加工好的数据如何实现交易流通，对应的是大数据流通交易平台-数据需求商。大数据应用主要是大数据加速向传统产业渗透，驱动生产方式和管理模式变革，例如电信、金融、交通等行业利用已积累的丰富数据资源，积极探索客户细分、风险防控、信用评价等应用，加快服务优化、业务创新和产业升级步伐。
电信运营商在大数据的应用，主要用于内部服务，比如支持内部的客户流失分析、营销分析和网络优化分析，而对外的服务模式尚未成熟。运营商的数据则主要分散在总部和各省公司的B、O、M三域和业务系统中，分析型系统也多采用分域建设，难以进行跨区域的综合性分析和全网端到端分析。因此，要建设大数据平台以完善功能。
总部统一建设全网大数据平台，统一采集全网数据，统一进行数据标准化预处理，统一保存明细及汇总等各类数据，统一开展应用开发和数据分析服务，结合数据集市为总部及各省提供服务。
总部建设全网大数据平台，统一采集全网数据，统一进行数据标准化预处理，统一保存明细及汇总等各类数据，统一开展应用开发和数据分析服务，结合数据集市为总部及未建设大数据平台的省提供服务。东部省建设省级大数据平台，采集层将数据同时送给总部及省级大数据平台，独立采集省内个性化数据，省级大数据平台自行进行数据预处理，长期保存明细及汇总等各类数据，并以此为基础开展省内应用分析。
大数据平台建设中也将面临以下挑战：
（1）企业数据统一建模、实现开放共享。数据统一建模涉及的数据范围广，数据模型复杂，重构难度较大。
（2）企业数据集中存储，数据安全性、稳定性要求较高。大量数据源系统的接口对接工作量大，海量数据处理和存储存在诸多技术难度和风险。
（3）依托云资源池，建立数据运营及应用开发模式，开发和建设经验缺乏，运维难度大。
对比国外电信的大数据应用，西班牙电信Telefonica成立了名为“动态洞察”的大数据业务部门，对某个时段、某个地点人流量的关键影响因素进行分析，并将洞察结果向政企客户提供。
法国电信France Telecom开展了针对用户消费数据的分析评估，以帮助法国电信改善服务质量，如对通话中断产生的原因进行分析以完善网络布局。此外，还承担公共服务项目的IT系统建设，如承建了一个法国高速公路数据监测项目，对每天监测到的记录进行分析，为行驶于高速公路上的车辆提供准确及时的信息，有效提高道路通畅率。
德国电信和Vodafone在利用大数据为自身业务服务之余，已向商业模式跨出了一步。主要尝试是通过开放API，向数据挖掘公司等合作方提供部分用户匿名地理位置数据，以掌握人群出行规律。
运营商掌握丰富的用户身份数据、语音数据、视频数据、流量数据和位置数据，数据的海量性、多元性和实时性使其具有经营大数据的先天优势。随着智能手机和高速网络的普及，运营商能够获得的用户行为数据还将更为丰富，大数据应用前景更为广阔。