大数据分析理论和技术(3)
大数据分析理论和技术（3）
大数据分析理论和技术（3）
胡经国
本文根据有关文献和资料编写而成，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。
五、大数据分析的几个应用案例
下面要介绍的大数据分析的应用案例，包括网上促销、交通疏导、航班和车队管理和智能新闻聚合。
1、网上促销
⑴、网上促销概述
目前，一个公司想要取得商业上的成功，在线促销已经成为了很重要的手段。不过，如果没
有进行实时的数据分析，那么可以说是干了相当于白干。成功的促销行为，应当依据之前收集的数据来决定此次促销所应使用的文案、设计、界面以及针对的人等。因为，这些数据可以帮助我们理解客户的需求以及市场的动向和机遇。如果想要充分利用这些数据，还需要做到高效地整合数据，打造一个低延迟的分析系统，并且为分析人员提供一些统计数据直观的图标来进行辅助。
在促销开始之前，先要订立一个业绩上的目标。为此，我们应该清楚促销针对的客户和市场。然后，将销量和流行度指数这样的业绩目标进行量化。我们可以收集的数据包括：销售报表、客户反馈、网站统计等等。
从多个数据源进行分析的好处，是它能够为未来的发展提供更多的认识。这是单一的销售量所无法比拟的。单纯的销售量，无法体现出消费者和环境的变化。因此，很难作为预测未来的可靠保障。
⑵、大数据分析促销的好处
大数据分析在促销上的好处，可以总结成下面几点：
①、富有针对性
这意味着钱能够真正地花在刀刃上。所以，看似要多投入，但是其实能够节约开支。
②、及时反馈
大数据实时分析意味着可以针对市场的变化迅速调整决策。
③、为以后的市场决策打下基础
2、交通疏导
例如，你要上班出席重要会议，结果却被堵在路上不知道什么时候才能到达公司。这时，你可能除了干着急，也没有什么办法。不过，借助大数据分析，你可以出拥堵不严重的路线，甚至可以通过实时疏导来解决整个城市的拥堵问题。
在这方面做得比较突出的是谷歌地图。谷歌通过收集安卓用户的位置和运动等信息来预测交通状况，并且给予用户行动建议。不过，现在这项服务效果还不是特别好。因为，谷歌再怎么收集信息，也很难知道用户此时使用的是什么交通工具；而开车和骑电动车对于交
通的影响是很不一样的。
3、航班和车队管理
⑴、航班和车队管理概述
大数据分析在航班管理上，可以帮助我们减少花费并且节约时间。这需要从每一架飞机或汽车收集以下数据：燃油消耗、负载、速度、路面状况和航线等。
航班如果计划得不好的话，肯定费用会上升。这就意味着赚的钱会变少。这就是物流公司钟情于大数据分析提升运输效率的原因。数据分析可以帮助物流公司减少空驶的情况，并且优化行驶的路线。这么一来，不光是效率能够提升，对于保护环境也能做出一定的贡献。
航班和车队管理，还能够与交通疏导结合起来，为车辆寻最合适的行车路线，进一步提高效率和降低开销。smile是什么
⑵、大数据分析给航班和车队管理带来的好处
今日猪价毛猪价表
大数据分析可以给航班和车队管理带来以下好处：
①、实时数据分析可以减少燃油使用量，并且降低尾气排放。
②、优化路线，减少空驶率。
③、为车辆提供可视化辅助。
4、智能新闻聚合
⑴、智能新闻聚合概述
现在已经有很多新闻应用可以根据用户的兴趣来聚合相应的新闻，然后提供给用户。大数据分析在媒体的生产、归档和聚合上也能够发挥作用。
单就新闻而言，每天产生的新闻数据量就以PB计，而且还在迅速增长。在媒体领域，大数据分析的目的是实时地识别、分类、结构化、翻译、分析和管理媒体内容。而分析的结果则是为每一个用户单独提供的新闻聚合。
⑵、大数据分析给智能新闻聚合带来的好处
新车提车注意事项大数据分析给智能新闻聚合带来的好处包括：
①、高效的信息管理。
②、提高趋势和数据的即时性。
③、自动化的搜索和低延迟查询所带来的经济性。
六、大数据分析行业五大发展趋势
目前，大数据分析是一个非常热门的行业。虽然，大数据分析行业尚处于发展初期，但是它是一个快速发展的领域，每时每刻都在产生新的变化。下面谈谈大数据分析行业的五大发展趋势。
1、基于云的大数据分析
Hadoop是用于处理大型数据集的一个框架和一组工具。它最初被设计成工作在物理机集上。但是，目前这种现象已经改变，已经有越来越多的基于云的数据处理技术出现。例如，谷歌BigQuery中的数据分析服务，IBM的Bluemix云平台等等。它们都是基于云的大数
据分析平台。
就目前而言，大数据分析正开始向云计算迁移。因为，大数据分析需要一个安全、稳定、可靠的审计环境。目前，已经有很多公司开始跟云服务公司合作，希望得到一个能够横跨多个部门的云平台，来支持公司的数据分析业务。随着云平台成本的降低，这个发展趋势将越来越明显。
2、Hadoop通用数据分析操作系统
如今，Hadoop分布式分析框架正在演变成为分布式资源管理器。将来，它可能演变成为一个通用的数据分析操作系统。有了这些系统，你可以将不同的数据操作和分析操作插入到Hadoop分布式存储系统中来执行。越来越多的企业将会使用Hadoop来构建企业的数据中心。
3、更多的预测分析
随着大数据分析的发展，分析师不仅会与更多的数据一起工作，而且还将处理大量的许多属性的工具。但是，随着大数据行业的发展，针对旧数据的分析是为了提供更多的预测分
析功能。毕竟人们更希望利用原有的数据来对未来产生有利的用途。
霁的拼音
4、更多更好的NoSQL中国10大美女
替代传统的基于SQL的关系型数据库的产品被称为NoSQL数据库。如今它已经迅速普及到特定种类的分析应用程序中。而且，这一趋势还在持续增长。据估计，未来将有15～20个开源的NoSQL数据库共同存在。它们各自有自己的专长。这些数据库将会得到快速发展。
5、基于内存的大数据分析
如今，使用内存数据库来加快大数据分析处理的方式越来越受到欢迎。很多用户都非常喜欢这种方式。目前，很多基于内存的大数据分析管理工具已经出现。其中，以亚马逊的HANA一体机尤为明显。
除了分析软件看好这个市场，作为全球的处理器生产商，英特尔也非常看好这一领域的发展。从目前其产品推出的发展趋势来看，其内存支持将会越来
越大；一些特定产品其内存支持甚至比硬盘的容量还要大。
综上所述，大数据分析是一个热门行业，也是一个未来有很大发展前景的行业。目前，很多厂商都针对大数据分析领域推出新产品。但是，对于企业用户来说，在选择大数据分析产品的时候要多加注意。由于目前大数据分析尚没有发展到成熟市场的阶段，因而市场上的大数据分析产品参差不齐，在选择时还是选择知名品牌为好。
七、数据分析挖掘体系
总体而言，数据分析挖掘体系可分为：数据预处理、分析挖掘、数据探索、分析工具和数据展现五个部分。
1、数据预处理
数据预处理包括：数据清洗、数据集成、数据变换和数据规约几种方法。
⑴、数据清洗
包括：缺失值处理和异常值处理。
⑵、数据集成
包括：同名同义、异名同义、单位不统一的实体识别和冗余性识别。
⑶、数据变换
包括：函数变换、规范化、连续属性离散化、属性沟通和小波变换。
⑷、数据规约
包括：属性规约和数值规约。
2、分析挖掘
分析挖掘的内容较多，包括：假设检验、方差分析、回归分析、主成分分析、因子分析、典型相关分析、对应分析、多维尺度分析、信度分析、生存分析、分类预测、聚类分析、关联规则、时间序列分析和著名的灰理论。其中，后面几个应用较多。
⑴、分类预测方法
包括：决策树、神经网络、支持向量机（SVM）、Logistic回归、判别分析和贝叶斯网络。
⑵、聚类分析
包括：K-Means聚类、Kohonen网络聚类、两步聚类和层次聚类。
⑶、关联规则算法
包括：Apriori算法、GRI算法和Carma算法。
⑷、时间序列分析
包括：简单回归分析法。
⑸、趋势外推法
是指数平滑法、自回归法、ARIMA模型、季节调整法。
⑹、灰理论
分为：灰关联和灰预测。
3、数据探索
数据探索主要分为两大类：数据质量分析和数据特征分析。
⑴、数据质量分析
包括：缺失值分析、异常值分析和一致性分析。
⑵、数据特征分析
包括：分布分析、对比分析、统计量分析、周期性分析、贡献度分析和相关性分析。
4、分析工具
常用的分析工具如下：
Excel、Clementine、Eviews、R语言、Matlab、Stata、SAS、Tableau、报表工具FineReport、商业智能FineBI。
5、数据展现
邯郸市教育考试院在数据展现方面要做的内容可分为：图表制作和数据分析报告的撰写。其中，图表制作可
以用：柱形图、条形图、折线图、饼图、面积图、雷达图、散点图等等。其展现的方式可以是：单图，组合图，多图搭配的dDashboard或者深入分析的联动钻取等。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。