⼤数据的基本内涵诠释
导读: ⼤数据是近两年最热门IT概念之⼀。进⼊2012年以来，这个领域的风潮逐渐从专业IT⼈⼠和数据分析师，扩散到所有关注科技、互联⽹以及营销领域的⼈中，甚⾄还包括政界⼈⼠。⽽2013年，也被许多国外媒体和专家称为“⼤数据元年”，如此看来，2012年应该是⼤数据正式启蒙之年，⽽⼀系列标志性事件的发⽣和建⽴，让⼈们越发感觉到⼤数据时代的⼒量。
⼀、⼤数据出现的背景
进⼊2012年，⼤数据(big data)⼀词越来越多地被提及，⼈们⽤它来描述和定义信息爆炸时代产⽣的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街⽇报》的专栏封⾯，进⼊美国⽩宫官⽹的新闻，现⾝在国内⼀些互联⽹主题的讲座沙龙中，甚⾄被嗅觉灵敏的证券公司等写进了投资推荐报告。
数据正在迅速膨胀并变⼤，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，⼈们将越来越多的意识到数据对企业的重要性。⼤数据时代对⼈类的数据驾驭能⼒提出了新的挑战，也为⼈们获得更为深刻、全⾯的洞察能⼒提供了前所未有的空间与潜⼒。
最早提出⼤数据时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每⼀个⾏业和业务职能领域，成为重要的⽣产因素。⼈们对于海量数据的挖掘和运⽤，预⽰着新⼀波⽣产率增长和消费者盈余浪潮的到来。”“⼤数据”在物理学、⽣物学、环境⽣态学等领域以及军事、⾦融、通讯等⾏业存在已有时⽇，却因为近年来互联⽹和信息⾏业的发展⽽引起⼈们关注。
⼤数据在互联⽹⾏业指的是这样⼀种现象：互联⽹公司在⽇常运营中⽣成、累积的⽤户⽹络⾏为数据。这些数据的规模是如此庞⼤，以⾄于不能⽤G或T来衡量，⼤数据的起始计量单位⾄少是P(1000个T)、E(100万个T)或Z(10亿个T)。
⼆、什么是⼤数据？
信息技术领域原先已经有“海量数据”、“⼤规模数据”等概念，但这些概念只着眼于数据规模本⾝，未能充分反映数据爆发背景下的数据处理与应⽤需求，⽽“⼤数据”这⼀新概念不仅指规模庞⼤的数据对象，也包含对这些数据对象的处理和应⽤活动，是数据对象、技术与应⽤三者的统⼀。
1、⼤数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨⼤到⽆法透过⽬前主流软件⼯具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极⽬的的资讯。⼤数据对象既可能是实际的、有限的数据集合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、⽆限的数据集合，如微博、、社交⽹络上的全部信息。
⼤数据是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。从数据的类别上看，“⼤数据”指的是⽆法使⽤传统流程或⼯具处理或分析的信息。它定义了那些超出正常处理范围和⼤⼩、迫使⽤户采⽤⾮传统处理⽅法的数据集。
亚马逊⽹络服务(AWS)、⼤数据科学家JohnRauser提到⼀个简单的定义：⼤数据就是任何超过了⼀台计算机处理能⼒的庞⼤数据量。研发⼩组对⼤数据的定义：“⼤数据是最⼤的宣传技术、是最时髦的技术，当这种现象出现时，定义就
的庞⼤数据量。研发⼩组对⼤数据的定义：“⼤数据是最⼤的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。”Kelly说：“⼤数据是可能不包含所有的信息，但我觉得⼤部分是正确的。对⼤数据的⼀部分认知在于，它是如此之⼤，分析它需要多个⼯作负载，这是AWS的定义。
2、⼤数据技术，是指从各种各样类型的⼤数据中，快速获得有价值信息的技术的能⼒，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适⽤于⼤数据的技术，包括⼤规模并⾏处理（MPP）数据库，数据挖掘电⽹，分布式⽂件系统，分布式数据库，云计算平台，互联⽹，和可扩展的存储系统。
3、⼤数据应⽤，是指对特定的⼤数据集合，集成应⽤⼤数据技术，获得有价值信息的⾏为。对于不同领域、不同企业的不同业务，甚⾄同⼀领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘⽬标存在差异，所运⽤的⼤数据技术和⼤数据信息系统也可能有着相当⼤的不同。惟有坚持“对象、技术、应⽤”三位⼀体同步发展，才能充分实现⼤数据的价值。
关于长城的资料当你的技术达到极限时，也就是数据的极限”。⼤数据不是关于如何定义，最重要的是如何使⽤。最⼤的挑战在于哪些技术能更好的使⽤数据以及⼤数据的应⽤情况如何。这与传统的数据库相⽐，开源的⼤数据分析⼯具的如Hadoop的崛起，这些⾮结构化的数据服务的价值在哪⾥。
三、⼤数据的类型和价值挖掘⽅法
1、⼤数据的类型⼤致可分为三类：
1)传统企业数据（Traditionalenterprise data）：包括CRM systems的消费者数据，传统的ERP数据，库存数据以及账⽬数据等。
2)机器和传感器数据（Machine-generated /sensor data）：包括呼叫记录（CallDetail Records），智能仪表，⼯业设备传感器，设备⽇志（通常是Digital exhaust），交易数据等。
3)社交数据（Socialdata）：包括⽤户⾏为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。
2、⼤数据挖掘商业价值的⽅法主要分为四种：
1)客户体细分，然后为每个体量定制特别的服务。
2)模拟现实环境，发掘新的需求同时提⾼投资的回报率。
最新吸血鬼电影3)加强部门联系，提⾼整条管理链条和产业链条的效率。
4)降低服务成本，发现隐藏线索进⾏产品和服务的创新。
四、⼤数据的特点
四、⼤数据的特点
业界通常⽤4个V(即Volume、Variety、Value、Velocity)来概括⼤数据的特征。具体来说，⼤数据具有4个基本特征：
1、是数据体量巨⼤。
清明节前后如何问候数据体量(volumes)⼤，指代⼤型数据集，⼀般在10TB规模左右，但在实际应⽤中，很多企业⽤户把多个数据集放在⼀起，已经形成了PB级的数据量；百度资料表明，其新⾸页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到⽬前为⽌，⼈类⽣产的所有印刷材料的数据量仅为200PB。
2、是数据类别⼤和类型多样。
数据类别(variety)⼤，数据来⾃多种数据源，数据种类和格式⽇渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和⾮结构化数据。现在的数据类型不仅是⽂本形式，更多的是图⽚、视频、⾳频、地理位置信息等多类型的数据，个性化数据占绝对多数。
3、是处理速度快。
在数据量⾮常庞⼤的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得⾼价值的信息。
4、是价值真实性⾼和密度低。
数据真实性(Veracity)⾼，随着社交数据、企业内容、交易与应⽤数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之⼒以确保其真实性及安全性。以视频为例，⼀⼩时的视频，在不间断的监控过程中，可能有⽤的数据仅仅只有⼀两秒。
五、⼤数据的作⽤
1、对⼤数据的处理分析正成为新⼀代信息技术融合应⽤的结点。
移动互联⽹、物联⽹、社交⽹络、数字家庭、电⼦商务等是新⼀代信息技术的应⽤形态，这些应⽤不断产⽣⼤数据。云计算为这些海量、多样化的⼤数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应⽤中，将创造出巨⼤的经济和社会价值。
⼤数据具有催⽣社会变⾰的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan，卡内基·梅隆⼤学海因兹学院院长)。
2、⼤数据是信息产业持续⾼速增长的新引擎。
⾯向⼤数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，⼤数据将对芯⽚、存储产业产⽣重要影响，还将催⽣⼀体化数据存储处理服务器、内存计算等市场。在软件与服务领域，⼤数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
3、⼤数据利⽤将成为提⾼核⼼竞争⼒的关键因素。
各⾏各业的决策正在从“业务驱动”转变“数据驱动”。对⼤数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策⽀持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提⾼诊断准确性和药物有效性；在公共事业领域，⼤数据也开始发挥促进经济发展、维护社会稳定等⽅⾯的重要作⽤。
4、⼤数据时代科学研究的⽅法⼿段将发⽣重⼤改变。
例如，抽样调查是社会科学的基本研究⽅法。在⼤数据时代，可通过实时监测、跟踪研究对象在互联⽹上产⽣的海量⾏为数据，进⾏挖掘分析，揭⽰出规律性的东西，提出研究结论和对策。
六、⼤数据的商业价值
六、⼤数据的商业价值
1、对顾客体细分
“⼤数据”可以对顾客体细分，然后对每个体量体裁⾐般的采取独特的⾏动。瞄准特定的顾客体来进⾏营销和服务是商家⼀直以来的追求。云存储的海量数据和“⼤数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极⾼的可能。
2、模拟实境
运⽤“⼤数据”模拟实境，发掘新的需求和提⾼投⼊的回报率。现在越来越多的产品中都装有传感器，汽车和智能⼿机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交⽹络也在产⽣着海量的数据。
云计算和“⼤数据”分析技术使得商家可以在成本效率较⾼的情况下，实时地把这些数据连同交易⾏为的数据进⾏储存和分析。交易过程、产品使⽤和⼈类⾏为都可以数据化。“⼤数据”技术可以把这些数据整合起来进⾏数据挖掘，从⽽在某些情况下通过模型模拟来判断不同变量(⽐如不同地区不同促销⽅案)的情况下何种⽅案投⼊回报最⾼。
3、提⾼投⼊回报率
提⾼“⼤数据”成果在各相关部门的分享程度，提⾼整个管理链条和产业链条的投⼊回报率。“⼤数据”能⼒强的部门可以通过云计算、互联⽹和内部搜索引擎把”⼤数据”成果和“⼤数据”能⼒⽐较薄弱的部门分享，帮助他们利⽤“⼤数据”创造商业价值。
4、数据存储空间出租
企业和个⼈有着海量信息存储的需求，只有将数据妥善存储，才有可能进⼀步挖掘其潜在价值。具体
⽽⾔，这块业务模式⼜可以细分为针对个⼈⽂件存储和针对企业⽤户两⼤类。主要是通过易于使⽤的API，⽤户可以⽅便地将各种数据对象放在云端，然后再像使⽤⽔、电⼀样按⽤量收费。⽬前已有多个公司推出相应服务，如亚马逊、⽹易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。
5、管理客户关系
客户管理应⽤的⽬的是根据客户的属性(包括⾃然属性和⾏为属性)，从不同⾓度深层次分析客户、了解客户，以此增加新的客户、提⾼客户的忠诚度、降低客户流失率、提⾼客户消费等。对中⼩客户来说，专门的CRM显然⼤⽽贵。不少中⼩商家将飞信作为初级CRM来使⽤。⽐如把⽼客户加到飞信⾥，在朋友圈⾥发布新产品预告、特价销售通知，完成售前售后服务等。
白酒十大品牌6、个性化精准推荐
在运营商内部，根据⽤户喜好推荐各类业务或应⽤是常见的，⽐如应⽤商店软件推荐、IPTV视频节⽬推荐等，⽽通过关联算法、⽂本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商⽤化服务，利⽤数据挖掘技术帮助客户进⾏精准营销，今后盈利可以来⾃于客户增值部分的分成。
以⽇常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的⼈并不需要⽽被视为垃圾。通过⽤户⾏为
数据进⾏分析后，可以给需要的⼈发送需要的信息，这样“垃圾短信”就成了有价值的信息。在⽇本的麦当劳，⽤户在⼿机上下载优惠券，再去餐厅⽤运营商DoCoMo的⼿机钱包优惠⽀付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给⽤户。
7、数据搜索
数据搜索是⼀个并不新鲜的应⽤，随着“⼤数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交⽹络、⽤户⾏为等数据。其商业应⽤价值是将实时的数据处理与分析和⼴告联系起来，即实时⼴告业务和应⽤内移动⼴告的社交服务。
运营商掌握的⽤户⽹上⾏为信息，使得所获取的数据“具备更全⾯维度”，更具商业价值。典型应⽤如中国移动的“盘古搜索”。
情人节短信祝福语七、⼤数据对经济社会的重要影响
1、能够推动实现巨⼤经济效益
⽐如对中国零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球⼤数据直接和间接拉动信息技术⽀出将达1200亿美元。个性签名伤感
2、能够推动增强社会管理⽔平
⼤数据在公共服务领域的应⽤，可有效推动相关⼯作开展，提⾼相关部门的决策⽔平、服务效率和社会管理⽔平，产⽣巨⼤社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出⾏者选择最佳路径，从⽽改善城市交通状况。
3、如果没有⾼性能的分析⼯具，⼤数据的价值就得不到释放
对⼤数据应⽤必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确⽽否定其重要作⽤。
1)由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、⽆⽤数据，加之作为⼤数据技术核⼼的数据分析、⼈⼯智能等技术尚未完全成熟，所以对计算机完成的⼤数据分析处理的结果，⽆法要求其完全准确。例如，⾕歌通过分析亿万⽤户搜索内容能够⽐专业机构更快地预测流感暴发，但由于微博上⽆⽤信息的⼲扰，这种预测也曾多次出现不准确的情况。
2)必须清楚定位的是，⼤数据作⽤与价值的重点在于能够引导和启发⼤数据应⽤者的创新思维，辅助决策。简单⽽⾔，若是处理⼀个问题，通常⼈能够想到⼀种⽅法，⽽⼤数据能够提供⼗种参考⽅法，哪怕其中只有三种可⾏，也将解决问题的思路拓展了三倍。
所以，客观认识和发挥⼤数据的作⽤，不夸⼤、不缩⼩，是准确认知和应⽤⼤数据的前提。
⼋、总结
不管⼤数据的核⼼价值是不是预测，但是基于⼤数据形成决策的模式已经为不少的企业带来了盈利和声誉。
1、从⼤数据的价值链条来分析，存在三种模式：
1)⼿握⼤数据，但是没有利⽤好；⽐较典型的是⾦融机构，电信⾏业，政府机构等。
2)没有数据，但是知道如何帮助有数据的⼈利⽤它；⽐较典型的是IT咨询和服务企业，⽐如，埃森哲，IBM，Oracle 等。
3)既有数据，⼜有⼤数据思维；⽐较典型的是Google，Amazon，Mastercard等。
2、未来在⼤数据领域最具有价值的是两种事物：
1)拥有⼤数据思维的⼈，这种⼈可以将⼤数据的潜在价值转化为实际利益；
2)还未有被⼤数据触及过的业务领域。这些是还未被挖掘的油井，⾦矿，是所谓的蓝海。
⼤数据是信息技术与专业技术、信息技术产业与各⾏业领域紧密融合的典型领域，有着旺盛的应⽤需求、⼴阔的应⽤前景。为把握这⼀新兴领域带来的新机遇，需要不断跟踪研究⼤数据，不断提升对⼤数据的认知和理解，坚持技术创新与应⽤创新的协同共进，加快经济社会各领域的⼤数据开发与利⽤，推动国家、⾏业、企业对于数据的应⽤需求和应⽤⽔平进⼊新的阶段。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论