数字化转型数据分析应用 数字时代的通用能力

导读大多数人认为，数据分析是一项专业能力。过去，人们依赖经验做判断，经验是一种小样本实践认知模式。未来，新技术的不断应用，数据的指数级增长，将改变人们依赖经验的....

大多数人认为，数据分析是一项专业能力。过去，人们依赖经验做判断，经验是一种小样本实践认知模式。未来，新技术的不断应用，数据的指数级增长，将改变人们依赖经验的判断模式，数据将成为人们认知世界的主流方式。数据分析能力，也将成为一项通用能力。

1. 大数据、数据挖掘、数据分析区别

大数据，更倾向于数据工程，核心工作在于规模数据的采集、存储、治理等工作，主要使用Hadoop，Spark工具。数据挖掘，采用机器学习技术，探索隐性数据价值的一项工作，主要使用的工具有Python，SPASS，SAS，R。数据分析，更多是指针对某一具体问题，业务增长，客户分群，产品质量等问题，通过数据进行原因查找，或策略优化的一项工作，主要使用的工具有Excel，SQL，Python，Power BI等。

2. 数据分析流程：

2.1 商业理解

商业理解，是将数据分析转化成实际工作能力的重要前提。对企业商业模式，业务流程，组织分工等问题的梳理，有利于我们展开数据分析工作。企业到底是以怎样的方式运作赚钱，是B2B/B2C/C2M/O2O的哪一种。业务流程到底是怎样的，从品牌建设、市场营销、销售管理、合同交付、财务管理、产品研发等，业务流程所能够细化的级别，决定了我们数据分析的准确性。部门分工节点或标准，支持部门与业务部门的工作分工等。

接下来，具体要解决的问题是什么，是业务增长，产品质量，客户管理，成本管控问题，还是更低维度的业务增长中的客户线索，还是销售转化问题。或客户线索中的数量，质量问题，所要解决的问题颗粒度是怎样的。

2.2 数据采集

数据理解数据采集前，我们需要理解两个概念。CDP和DMP，CDP（Customer Data Platform）客户数据平台，由营销人管理的客户数据库，将来自不同渠道、不同场景的实时和非实时的客户数据进行采集、整合、分析和应用，以实现客户建模、设计营销活动、提升营销效率和优化客户体验的目标，从而促进企业业绩及利润的增长。

DMP（Data Management Platform）数据管理平台，是由数据部门负责管理的企业内部所有数据平台，包括产品数据、生产数据、客户数据（Customer Data）、财务数据、营销数据、广告数据等。包含了对CDP平台的客户数据的管理，DMP更倾向于大数据的应用管理。

从业务的角度来讲，那么CDP客户数据来源，主要有企业自有客户数据（CRM），广告投放客户数据、第三方平台获取客户数据（分为付费免费两种），网络公开数据爬取客户数据。

2.3 数据处理

不管是企业的客户数据，还是生产数据等其他数据，大部分存储在企业内部的数据库，需要通过SQL语言进行数据提取。在数据提取出来后，大部分数据都是原始数据，需要对数据进行清洗整理，才能够进行相应的分析工作。包括原始数据中包含的空值、无效值、异常值、重复值的清除，以及从第三方平台爬取的数据，包含了大量无用的图片文字链接等信息，都要清除调整。

在数据进行清洗完后，还要对数据进行整理，包括字段校准整理，指标的分级调整，转化成计算机能够识别的数据格式，能够进行统计分析的数据格式。

2.4 数据分析与建模

在数据整理好后，我们要根据工作需要，或分析目标来选择相应的数据分析方法或模型来开展工作。分析时应切忌滥用和误用统计分析方法。滥用和误用统计分析方法主要是由于对方法能解决哪类问题、方法适用的前提、方法对数据的要求不清等原因造成的。每一种统计分析方法都有自己的特点和局限，因此，一般需要选择几种方法反复印证分析，仅依据一种分析方法的结果就断然下结论是不科学的。

比如你发现在一定条件下，销量和价格是正比关系，那么你可以据此建立一个线性回归模型，你发现价格和广告是非线性关系，你可以先建立一个逻辑回归模型来进行分析。

常见的数据分析模型：