大数据分析

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。

工具介绍

开源大数据生态圈

1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

2. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。

一体机数据库/数据仓库

IBM PureData(Netezza), OracleExadata, SAP Hana等等。

数据仓库

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市

Style Intelligence、QlikView、 Tableau 、 国内永洪科技 Yonghong Data Mart 等等。

Yonghong Data Mart是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同，IT系统架构的不同和存储系统的不同，提供了两种解决方案供客户选择一种本地模式，一种是MPP模式。当需要处理的数据量级别处于TB级以下，或者采用普通存储结构，或者单机已经足够满足性能需求，建议用户选择本地模式。当面对异构数据库存储系统，需要处理的数量级别在TB级和PB级以上，或者IT系统和存储系统采用分布式，或者需要MPP模式才能满足性能需求，基于分布式架构的并行处理模式更适合客户的需求。

Yonghong Data Mart底层技术：

1. 分布式计算

2. 分布式通信

3. 内存计算

4. 列存储

5. 库内计算

前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、 国内永洪科技 Yonghong Z-Suite等等。

分析步骤

大数据分析的六个基本方面

1. Analytic Visualizations（可视化分析）

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2. Data Mining Algorithms（数据挖掘算法）

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3. Predictive Analytic Capabilities（预测性分析能力）

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines（语义引擎）

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management（数据质量和数据管理）

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。 [2]

6.数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。 [3]

分析禁区

无明确的目的

要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据等。

时间安排不合理

数据分析也要合理安排时间，一般有几个步骤，收集数据、整理数据、分析数据、美化表格。在做这些之前，要预估每一个步骤需要花多少时间，哪一步比较重要，需要花更多的时间等。这些都要在开始收集数据前就计划好，然后在操作的过程中完成每一个步骤。

重收集轻

例如，做任务的时间为3个星期，却用了两个多星期来收集数据，最后基本没有时间去分析，紧赶慢赶最后交上来一份没有怎么分析的数据。数据分析重点应该在于分析，应该以最快的速度收集完数据，才有更多的时间整理和分析，最后经过分析的数据才是最有价值的。

数据收集无确定标准

在我们开始收集数据的时候，容易犯的一个毛病就是看到什么内容比较符合的就都收集下来。这样的情况使得数据越来越多，表格里文档里的内容越来越多，到最后一看，自己都晕了。其实在收集数据的时候也要有一个标准，什么样的数据是需要的，什么数据是不符合条件的，作一个初步的判断，这样就可以减少整理的工作量了。

无明确分析目标

这是比较普遍的问题，收集了数据后不知道要分析哪些项目，哪些数据点才能体现出分析的目的。其实这也是前面说的目的不明确造成的，不清楚为什么要收集这份数据，这份数据是用来做什么用的，那就不会有一个评判标准，就没有办法找到数据的要点。

可视化效果差

做数据分析一般使用的是excel表格记录，一份美观清晰的表格不仅使我们可以清楚的看到这份数据的重点，方便查到所想要的数据。在收集数据的过程中，也可以提高收集和分析数据的效率。新型的分析工具大数据魔镜镜有500多种可视化效果，让可视化效果更美观。

应用实例

巴西世界杯关系

2014年6月28日，奥地利研究人员发表研究公报称，通过对多家网上博彩公司长期以来的赔率、各球队的历史表现和球员伤病情况进行大数据分析，他们预测东道主巴西队问鼎世界杯胜算较大。

奥地利因斯布鲁克大学与维也纳经济大学的研究人员推出了一套“博彩共识模型”。根据这套大数据分析模型，巴西队问鼎本届世界杯的几率为22.5%，阿根廷队为15.8%，德国队为13.4%。从数据上看，东道主夺冠的胜算大大超过其他国家队。

2014巴西世界杯于7月14日凌晨落下帷幕，德国战车1:0战胜阿根廷，第四次捧起大力神杯。

与往届世界杯不同的是：数据分析成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。一向以严谨着称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta等通过大数据分析预测赛果...... 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的"预言帝"。

大数据分析邂逅世界杯，是大数据时代的必然发生，而大数据分析也将在未来改变我们生活的方方面面。