数据分析的 7 个关键步骤

1顶
0踩

2015-05-12 11:36 by 副主编 mengyidan1988 评论(2) 有4099人浏览

互联网大数据

“数据科学家” 术语总让人联想到一个孤独的天才独自工作，将深奥的公式应用于大量的数据，从而探索出有用的见解。但这仅仅是数据分析过程中的一步。数据分析本身不是目标，目标是使企业能够做出更好的决策。数据科学家构建出的产品，必须使得组织中的每个人更好地使用数据，使得每个部门、每个层级可以做出受数据驱动的决策。

在自动收集、清洗和分析数据的产品中，可以捕获数据价值链，为执行仪表盘或报告提供信息和预测。随着新数据的产生，分析工作可以自动地、连续地运行。数据科学家可以根据业务不断改进模型，提高预测精度。

虽然每个公司都是针对自己的需求和目标创建数据产品，但价值链中的一些步骤是一致的：

1. 决定目标：在获取数据之前，数据价值链的第一步要先决定目标：业务部门要决定数据科学团队的目标。这些目标通常需要进行大量的数据收集和分析。因为我们正在研究那些驱动决策的数据，所以需要一个可衡量的方式，判断业务是否正向着目标前进。数据分析过程中，关键权值或性能指标必须及早发现。

2. 确定业务手段：应该通过业务的改变，来提高关键指标和达到业务目标。如果没有什么可以改变的，无论收集和分析多少数据都不可能有进步。在项目中尽早确定目标、指标和业务手段能为项目指明方向，避免无意义的数据分析。例如，目标是提高客户滞留度，其中一个指标可以是客户更新他们订阅的百分比，业务手段可以是更新页面的设计，提醒邮件的时间和内容以及特别的促销活动。

3. 数据收集：数据收集要尽量广撒网。更多的数据—-特别是更多的不同来源的数据—-使得数据科学家能找到数据之间更好的相关性，建立更好的模型，找到更多的可行性见解。大数据经济意味着个人记录往往是无用的，拥有可供分析的每一条记录才能提供真正的价值。公司通过检测它们的网站来密切跟踪用户的点击及鼠标移动，商店通过在产品上附加RFID来跟踪用户的移动，教练通过在运动员身上附加传感器来跟踪他们的行动方式。

4. 数据清洗：数据分析的第一步是提高数据质量。数据科学家要纠正拼写错误，处理缺失数据以及清除无意义的信息。这是数据价值链中最关键的步骤。垃圾数据，即使是通过最好的分析，也将产生错误的结果，并误导业务本身。不止一个公司很惊讶地发现，他们很大一部分客户住在纽约的斯克内克塔迪，而该小镇的人口不到70000人。然而，斯克内克塔迪的邮政编码是12345，由于客户往往不愿将他们的真实信息填入在线表单，所以这个邮政编码会不成比例地出现在几乎每一个客户的档案数据库中。直接分析这些数据将导致错误的结论，除非数据分析师采取措施来验证和清洗数据。尤为重要的是，这一步将规模化执行，因为连续数据价值链要求传入的数据会立即被清洗，且清洗频率非常高。这通常意味着此过程将自动执行，但这并不意味着人无法参与其中。

5. 数据建模：数据科学家构建模型，关联数据与业务成果，提出关于在第一步中确定的业务手段变化的建议。数据科学家独一无二的专业知识是业务成功的关键所在，就体现在这一步—-关联数据，建立模型，预测业务成果。数据科学家必须有良好的统计学和机器学习背景，才能构建出科学、精确的模型，避免毫无意义的相关性及一些模型的陷阱。这些模型依赖于现有的数据，但对于未来的预测是无用的。但只有统计学背景是不够的，数据科学家还需要很好地了解业务，这样他们才能判断数学模型的结果是否有意义，以及是否具有相关性。

6. 培养一个数据科学团队：数据科学家是出了名的难雇用，所以最好自己构建一个数据科学团队，让团队中那些在统计学方面有高级学位的人专注于数据建模和预测，而其他人—-合格的基础架构工程师，软件开发人员和ETL专家—-构建必要的数据收集基础设施，数据管道和数据产品，使得结果数据能够从模型中输出，并以报告和表格的形式在业务中进行展示。这些团队通常使用类似Hadoop的大规模数据分析平台自动化数据收集和分析工作，并作为一个产品运行整个过程。

7. 优化和重复：数据价值链是一个可重复的过程，能够对业务和数据价值链本身产生连续的改进。基于模型的结果，业务将根据驱动手段做出改变，数据科学团队将评估结果。在结果的基础上，企业可以决定下一步计划，而数据科学团队继续进行数据收集、数据清理和数据建模。企业重复这个过程越快，就会越早修正发展方向，越快得到数据价值。理想情况下，多次迭代后，模型将产生准确的预测，业务将达到预定的目标，结果数据价值链将用于监测和报告，同时团队中的每个人将开始解决下一个业务挑战。

英文出处：Gwen Shapira
转载自：伯乐在线

来自: 伯乐在线

分享到：

1
顶

0
踩

评论共 2 条请登录后发表评论

2 楼 YuHuang.Neil 2015-05-12 21:42

旧知识了。。

1 楼 sohuexe 2015-05-12 17:49

把大象装冰箱里分几步

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

知识分享-商业数据分析业务全流程

以往做了很多期数据分析的案例项目，今天...商业数据分析总体分为三个阶段、六个步骤。三个阶段：构建问题分析、解决问题传达结果并行动六个步骤：识别问题总结发现建模收集数据分析数据传达结果并行动

数据分析报告怎么写？这5个步骤你必须了解

接下来我就分享我写数据分析报告的5个步骤，供大家学习参考。一、明确分析目的还是那句老话，在做任何事情之前，先想清楚做这件事的目的是什么。写数据分析报告也是，如果一开始就没有明确清楚目的，盲目开始分析...

数据分析的3大阶段6大步骤

这是一本科普性质的文章，让我们能更好的理解数据分析的每一个过程与步骤，其中包含的大量例子能够帮助我们很好的理解每一个步骤。书本风格是欧美风，是国外书的译本。书本共分为三个模块：引言（了...

数据分析型产品的需求分析6大步骤

数据分析型产品的需求分析6大步骤面对数据型产品，项目经理往往很茫然，不知道该如何进行需求分析。下面我就讲讲如何从0开发搭建一个数据分析型产品。 1.深刻了解业务了解业务是数据需求挖掘的基础，通过的整个...

8个经典数据分析模型

”一个好用的数据分析模型，能给我们提供一种视角和思维框架，从而帮我们理清分析逻辑，提高分析准确性。那老李研究数据分析也很多年了，今天特意为大家整理出了8大常用数据分析模型，帮助大家快速提高数据分析...

基于Python热门旅游景点数据分析系统设计与实现

一个好的系统能够把传统的热门旅游景点数据分析信息管理方式，带上一全新的方式，效率、可靠、安全稳定集合一身的系统，带来的体验是传统管理方式所没有办法实现的，信息的交流将达到顶峰，用户的沟通将会更加的便捷...

【数据分析】：什么是数据分析？

首先，我们的数据有以下三个特性数据的变异性正是因为数据的变异性，才需要我们进行数据分析。数据的数据是通过客观产生的，并不能以我们人的意志转移，正是因为这样，数据分析才是可靠的。......

如何写好一个数据分析报告，需要注意哪些?

写一份好的数据分析报告的重要性不言而喻（只要我写的好，升职加薪、年终奖就少不了我）大家都知道，数据分析...接下来我就分享我写数据分析报告的5个步骤，供大家学习参考。一、明确分析目的 **还是那句老话，在.

干货：明确数据分析目标的 3 个步骤，很多人还搞不清楚

在电影《银河补习班》中，邓超饰演的马浩文对...比如说，有的数据分析师，每天重复着制作报表的工作，没有对数据进行思考和分析，不知道数据分析的目标是什么，逐渐沦为报表制作的机器，让自己的职业前途堪忧。数...

ChatGPT助力Excel数据分析：让你的工作事半功倍！

通过以上介绍可以看出，ChatGPT在Excel数据分析中有着广泛的应用前景和优势。它不仅可以提高数据清洗、处理、分析和可视化的效率和质量；还可以帮助我们更好地理解和解释数据背后的含义和规律；同时也可以帮助我们更...

数据分析报告

但当别人看你做的数据分析报告的时候，往往更关注这个报告对他是否有价值？价值是什么？值得花多少时间去看这个报告？报告的结论是否有正确的数据支持？基于结论形成的方案是否符合逻辑……今天我们就来说说如何撰写...

数据埋点|六个步骤实现数据埋点方案设计

点击上方蓝字关注我们作为数据分析师的你，是否和我一样经常会被业务方拿着两个不同数据平台的报表数据进行灵魂拷问。下面的场景你应该在熟悉不过了。情景1一场拉新促活的活动之后，运营拿着两个...

Excel做数据分析？是真的很强

Jackpop，粉丝10万+，每日更新精品内容！...如何用Excel进行数据分析，我认为可以拆成2个方面来看，一个是从Excel角度，一个是从数据分析角度。下面，就来从这两个方面来逐步介绍如何利用Excel进行数据分析。

教育数据分析新视角，用PCA找出影响学生表现的关键因素

这种方法不仅让数据分析变得更为高效，也为教育决策提供了有力的数据支持，帮助学校更精准地定位提升教育质量的关键点。通过降维技术，我们能够从繁杂的数据海洋中提炼出最有价值的信息，为决策提供科学依据，这在...

如何写好一份数据分析报告？

明确数据分析目标的 3 个步骤

作者：林骥来源：林骥引言在电影《银河补习班》中，邓超饰演的马浩文对他的儿子说：人生就像射箭，梦想就像箭靶子。如果连箭靶子也找不到的话，你每天拉弓有什么意义？对于数据分...

三创数据分析题库及个人作答

数据分析题目

数据分析实战

数据分析实战数据分析基础数据...这里我可以把数据分析分成三个重要的组成部分。 1、数据采集。它是我们的原材料，也是最“接地气”的部分，因为任何分析都要有数据源。 2、数据挖掘。它可以说是最“高大上”的部分，

Python进行描述性统计数据分析

处理数据的一个必要方面是能够直观地描述、总结和表示数据。Python 统计库是全面、流行且广泛使用的工具，可帮助处理数据。对于数据的基础描述我们可以进行下面的操作：整套学习自学教程中应用的数据都是《三國志》...

数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析

在本次实验中，我们采用了先进的文本挖掘和数据分析技术，对京东平台上MatePad11的用户评论进行了全面深入的分析。通过使用Python编程语言，我们首先实现了自动化爬取用户评论的关键信息，并将这些数据进行了预处理...

1顶0踩