购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

任务二
认知数据分析

一、数据分析流程

数据分析通常需要遵循以下步骤,如图1-2所示。

图1-2 数据分析的流程

1.明确分析需求

明确分析需求是数据分析的起点。明确分析需求就是确定数据分析的目的,明确分析的主题。

2.设计分析框架

分析需求明确之后,需要设计开展数据分析的整体框架。具体包括:从哪些维度展开分析?采用什么方法进行数据分析?使用哪些指标阐释问题?采用何种形式来呈现结果?

3.采集基础数据

这是指根据确定的分析主题,利用各种数据采集技术从多种渠道收集数据分析的相关数据。

传统的数据采集和大数据采集在数据来源、数据类型和数据存储上都体现了不同。大数据采集具有全面性、多维性、高效性的特点;数据源包括所有格式的传感器数据、互联网数据、日志文件、企业业务系统数据、办公文档、文本、图片、各类报表、图像、音频、视频等信息。企业可以借助数据仓库技术(Extract-Transform-Load,ETL)工具,把分散在不同位置的数据加载到企业数据仓库中。

4.清洗(整理)数据

数据清洗是对采集到的数据进行识别,按照数据规范化的要求进行整理。需要清洗的数据包括:残缺数据、错误数据、重复数据、空值等不规范的数据。数据清洗的内容是对数据的一致性进行检查、对无效值和缺失值进行处理,使其满足下一阶段数据分析的要求。

5.分析展现数据

在完成数据清洗的基础上构建数据模型,建立数据表之间的关联,进行指标计算、数据挖掘。利用数据分析工具针对预先设定的分析主题,从不同的分析维度、选择适当的形式对各项指标进行展现。可视化图形是最直观的展现方式之一,能够帮助并启发管理者发现问题。

6.撰写分析报告

数据分析的目标是通过历史和现状分析,发现问题;定位问题原因,制定针对性措施加以改进,以期得到管理改善。而这些都可通过分析报告呈现。

二、数据分析工具

数据分析工具的种类比较多,业务场景不同,使用的工具也有所区别,一款好的数据分析工具可以帮助我们提高数据处理的效率。目前,常用的数据分析工具有以下几款。

1.Excel

作为Office家族的重要成员,通用表格处理软件Excel是最基础的数据分析工具。

Excel 可以满足绝大部分数据分析工作的需求,同时易学易用,但其能够处理的数据量是一定的,因此在大数据处理中难当大任。

2.SQL

SQL可以说是从事数据分析相关岗位的人员都要掌握的工具,其入门相对比较简单,SQL常用于数据的增删改查。

3.Python

Python是一种面向对象、解释型计算机程序设计语言。它的语法简洁清晰,具有强大的编程能力。Python在爬虫、数据分析和数据可视化等方面都表现出色。

4.BI工具

BI(Business Intelligence,商业智能)工具是按照数据分析的流程进行设计的,BI是为数据分析而生的。Tableau、Power BI、FineBI、Smartbi都属于BI。 PDmnoIQQzAvQqrwHTZLuQGJ4JiqnfxukSIJ2HsXS/iJ9MIK3kLe7Bt0dcWlM/7H8

点击中间区域
呼出菜单
上一章
目录
下一章
×