1.3 大数据的处理技术

数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取：关系数据库、NoSQL、SQL等。

基础架构：云存储、分布式文件存储等。

数据处理：自然语言处理（NLP，Natural Language Processing）是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机“理解”自然语言，所以自然语言处理又叫作自然语言理解（NLU，Natural Language Understanding），也称为计算语言学（Computational Linguistics）。一方面它是语言信息处理的一个分支，另一方面它是人工智能（AI，Artificial Intelligence）的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化（Description and Visualization）、复杂数据类型挖掘（Text，Web，图形图像，视频，音频等）。

模型预测：预测模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等。 X3M5VaycfJK70rXPP4Pf4S7t5lf4RsfAPmtrj1cA9DmjVKXvu5HTQ5U7fNNqv2MW