大数据,即用于数据分析帮助商业等方面决策的大数据集,已经发展成熟,然而它的发展速度却丝毫没有减慢的迹象,下面我们一起看看数据统计分析方法吧!
数据统计分析方法
一、以往的数据分析
在今天的各类型企业中,数据分析岗位已经基本得到普及和认可,这个岗位的核心任务往往是支撑运营和营销,将企业内部的数据,客户的数据进行分析和总结,形成以往工作情况的量化表现,以及客户的行为趋势或特征等。
如果从更宏观的角度来认识数据分析岗位的话,每一个数据分析人员都明白,其实数据分析岗位要达到的目标就是希望通过数据来发现潜在的规律,进而帮助预测未来,这一点同数据挖掘的目标一致。那么为什么在大多数公司都已经具备的数据分析岗位基础上,今天却还是在反复提到数据挖掘这个概念,我们就需要来看看数据分析都有哪些是没有做到的内容。
1、数据分散
多数数据分析岗位在公司中的岗位设置是隶属在单一业务部门中作为一个支撑岗,只有少数的公司是将数据分析作为一个独立的部门。其差异性在于,前者的数据分析所能分析的内容仅限于自身部门所输出的指标,比如投诉部门只看投诉处理过程中的数据,销售部门只看销售过程中的数据,一旦涉及到需要将各类指标汇总分析的情况,这种组织架构就会带来极大的负面影响,由于不同部门具备自己部门指标导出的权限,且与其他部门的配合并不影响绩效任务,所以这种跨部门采集数据的过程往往效率奇低。而数据分析最关键的就在于汇集更多的数据和更多的维度来发现规律,所以以往的数据分析多是做最基础的对比分析以及帕累托分析,少有使用算法来对数据进行挖掘的动作,因为越少的指标以及越少的维度将会使得算法发挥的效果越差。
2、指标维度少
3、少使用算法
在上述制约条件下,可想而知数据分析人员对于算法的使用必然是较少的,因为数据分析依赖于大量的指标、维度以及数据量,没有这三个条件是难以发挥算法的价值的,而在排除掉算法后,数据分析人员更多的只能是针对有限的数据做最为简单的分析方法,得出浅
显易懂的分析结论,为企业带来的价值则可以想象。
4、数据分析系统较弱
目前的数据分析多采用excel,部分数据分析人员能够使用到R或SPSS等软件,但当数据量达到TB或PB单位级别时,这些软件在运算时将会消耗大量时间,同时原始的数据库系统在导出数据时所花费的时间也是相当长的,因此对大数据量的分析工作,常规的系统支撑难以到达要求。
二、技术革命与数据挖掘骂人话大全
有哪些寓言成语 得益于互联网对于人们生活的影响逐渐增大,我们发现数据正在疯狂的增长。今天一个人一天的时间中有将近一半是在互联网中度过的,一方面这些使用互联网的交互都是能够被捕捉记录的,一方面由于碎片化时间的使用,客户与企业交互的机会也变的越来越频繁,进一步保障了客户数据的丰富。同时在大数据技术的支撑下,今天的系统能够允许对这些大规模的数据量进行高效的分析。
因此数据分析人员也能够开始使用一些较为抽象的算法来对数据做更为丰富的分析。所以
数据分析正式进入到了数据分析2.0的时代,也就是数据挖掘的时代了。
三、数据处理流程
数据分析也即是数据处理的过程,这个过程是由三个关键环节所组成:数据采集,数据分析方法选取,数据分析主题选择。这三个关键环节呈现金字塔形,其中数据采集是最底层,而数据分析主题选择是最上层。
四、数据采集
数据采集即是如何将数据记录下来的'环节。在这个环节中需要着重说明的是两个原则,即全量而非抽样,以及多维而非单维。今天的技术革命和数据分析2.0主要就是体现在这个两个层面上。
1、全量而非抽样
由于系统分析速度以及数据导出速度的制约,在非大数据系统支撑的公司中,做数据分析的人员也是很少能够做到完全全量的对数据进行收集和分析。在未来这将不再成为问题。
2、多维而非单维
另一方面则在于数据的维度上,这在前边同样提及。总之针对客户行为实现5W1H的全面细化,将交互过程的什么时间、什么地点、什么人、因为什么原因、做了什么事情全面记录下来,并将每一个板块进行细化,时间可以从起始时间、结束时间、中断时间、周期间隔时间等细分;地点可以从地市、小区、气候等地理特征、渠道等细分;人可以从多渠道注册账号、家庭成员、薪资、个人成长阶段等细分;原因可以从爱好、人生大事、需求层级等细分;事情可以从主题、步骤、质量、效率等细分。通过这些细分维度,增加分析的多样性,从而挖掘规律。
五、数据分析方法选取
数据分析方法是通过什么方法去组合数据从而展现规律的环节。从根本目的上来说,数据分析的任务在于抽象数据形成有业务意义的结论。因为单纯的数据是毫无意义的,直接看数据是没有办法发现其中的规律的,只有通过使用分析方法将数据抽象处理后,人们才能看出隐藏在数据背后的规律。携手共游人间
数据分析方法选取是整个数据处理过程的核心,一般从分析的方法复杂度上来讲,我将其分为三个层级,即常规分析方法,统计学分析方法跟自建模型。我之所以这样区分有两个层面上的考虑,分别是抽象程度以及定制程度。
其中抽象程度是说,有些数据不需要加工,直接转成图形的方式呈现出来,就能够表现出业务人员所需要的业务意义,但有些业务需求,直接把数据转化成图形是难以看出来的,需要建立数据模型,将多个指标或一个指标的多个维度进行重组,最终产生出新的数据来,那么形成的这个抽象的结果就是业务人员所需要的业务结论了。基于这个原则,可以划分出常规分析方法和非常规分析方法。
那么另一个层面是定制程度,到今天数学的发展已经有很长的时间了,其中一些经典的分析方法已经沉淀,他们可以通用在多用分析目的中,适用于多种业务结论中,这些分析方法就属于通用分析方法,但有些业务需求确实少见,它所需要的分析方法就不可能完全基于通用方法,因此就会形成独立的分析方法,也就是专门的数学建模,这种情况下所形成的数学模型都是专门为这个业务主题定制的,因此无法适用于多个主题,这类分析方法就属于高度定制的,因此基于这一原则,将非常规分析方法细分为统计学分析方法和自建模型类。
1、常规分析方法
常规分析方法不对数据做抽象的处理,主要是直接呈现原始数据,多用于针对固定的指标、且周期性的分析主题。直接通过原始数据来呈现业务意义,主要是通过趋势分析和占比分析来呈现,其分析方法对应同环比及帕累托分析这两类。同环比分析,其核心目的在于呈现本期与往期之间的差异,如销售量增长趋势;而帕累托分析则是呈现单一维度中的各个要素占比的排名,比如各个地市中本期的销售量增长趋势的排名,以及前百分之八十的增长量都由哪几个地市贡献这样的结论。常规分析方法已经成为最为基础的分析方法,在此也不详细介绍了。
2、统计学分析方法
统计学分析方法能够基于以往数据的规律来推导未来的趋势,其中可以分为多种规律总结的方式。根据原理多分为以下几大类,包括有目标结论的有指导学习算法,和没有目标结论的无指导学习算法,以及回归分析。
其中有指导的学习算法简单说就是有历史数据里边已经给出一个目标结论,然后分析当各
个变量达到什么情况时,就会产生目标结论。比如我们想判断各项指标需要达到什么水平时我们才认定这个人患有心脏病的话,就可以把大量的心脏病人的各项指标数据和没有心脏病的正常人的各项指标数据都输入到系统中,目标结论就是是否有心脏病,变量就是各项指标数据,系统根据这些数据算出一个函数,这个函数能够恰当的描述各个指标的数据与最终这个是否是心脏病人之间的关系,也就是当各个指标达到什么临界值时,这个人就有心脏病的判断,这样以后再来病人,我们就可以根据各项指标的临界值。这个案例中的函数就是算法本身了,这其中的算法逻辑有很多种,包括常见的贝叶斯分类、决策树、随机森林树以及支持向量机等,有兴趣的朋友可以在网上看看各种算法的逻辑是怎么样的。
另外无指导的学习算法因为没有一个给定的目标结论,因此是将指标之中所有有类似属性的数据分别合并在一起,形成聚类的结果。比如最经典的啤酒与尿布分析,业务人员希望了解啤酒跟什么搭配在一起卖会更容易让大家接受,因此需要把所有的购买数据都放进来,然后计算后,得出其他各个商品与啤酒的关联程度或者是距离远近,也就是同时购买了啤酒的人中,都有购买哪些其他的商品,然后会输出多种结果,比如尿布或者牛肉或者酸奶或者花生米等等,这每个商品都可以成为一个聚类结果,由于没有目标结论,因此这些聚类结果都可以参考,之后就是货品摆放人员尝试各种聚类结果来看效果提升程度。
在这个案例中各个商品与啤酒的关联程度或者是距离远近就是算法本身了,这其中的逻辑也有很多中,包括Apriori等关联规则、聚类算法等。
另外还有一大类是回归分析,简单说就是几个自变量加减乘除后就能得出因变量来,这样就可以推算未来因变量会是多少了。比如我们想知道活动覆盖率、产品价格、客户薪资水平、客户活跃度等指标与购买量是否有关系,以及如果有关系,那么能不能给出一个等式来,把这几个指标的数据输入进去后,就能够得到购买量,这个时候就需要回归分析了,通过把这些指标以及购买量输入系统,运算后即可分别得出,这些指标对购买量有没有作用,以及如果有作用,那么各个指标应该如何计算才能得出购买量来。回归分析包括线性及非线性回归分析等算法。
统计学分析方法还有很多,不过在今天多用上述几大类分析方法,另外在各个分析方法中,又有很多的不同算法,这部分也是需要分析人员去多多掌握的。
3、自建模型
自建模型是在分析方法中最为高阶也是最具有挖掘价值的,在今天多用于金融领域,甚至
业界专门为这个人起了一个名字叫做宽客,这人就是靠数学模型来分析金融市场。由于统计学分析方法所使用的算法也是具有局限性的,虽然统计学分析方法能够通用在各种场景中,但是它存在不精准的问题,在有指导和没有指导的学习算法中,得出的结论多为含有多体现在结论不精准上,而在金融这种锱铢必较的领域中,这种算法显然不能达到需求的精准度,因此数学家在这个领域中专门自建模型,来输入可以获得数据,得出投资建议来。在统计学分析方法中,回归分析最接近于数学模型的,但公式的复杂程度有限,而数学模型是完全自由的,能够将指标进行任意的组合,确保最终结论的有效性。ppt主题
六、数据分析主题选取gb2626-2019是什么标准
在数据分析方法的基础上,进一步是将分析方法应用在业务需求中,基于业务主题的分析可以涉及太多的领域,从客户的参与活动的转化率,到客户的留存时长分析,再到内部的各环节衔接的及时率和准确度等等,每一种都有独特的指标和维度的要求,以及分析方法的要求,以我个人的经验来看,主要分析主题都是围绕着营销、运营、客户这三大角度来开展的。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论