基于hadoop架构的企业数字化转型方案

最近，有网友在知乎上提问：

大型传统企业如何在公司级数据整合、数据治理、数据运营中把握好业务和数据的关系，逐步实现智能化转型？

背景：

大型传统企业，通常都面临业务系统数据孤岛、各板块专业化程度高、多流程衔接交叉、数据不统一不完整不开放等问题。在搭建好物理层面hadoop数据平台的基础上，如何以业务流程为导向梳理数据走向，达成数据价值转化输出？

接到这个任务，真是摸着石头过河。不知道是否有类似经验的知友，可以分享一下经验或感悟？

这个问题，是所有传统企业在数字化转型过程中都会面临的，帆软也是做了数千家企业的数字化转型方案，其中大多是传统企业，深谙其道。所以也是借这个问题，系统的理一下。

在讲如何做之前，先来分析一下背景：

问题一：业务系统数据孤岛、各板块专业化程度高

这是典型数据孤岛问题：业务系统很多，系统之间的数据不连通，造成信息壁垒。

这样的问题要着重主数据管理，制定标准规则。

问题二：数据不统一不完整不开放

数据来源渠道多，责任不明确，数据填报缺失这些都是质量差的问题。

这样的问题要着重数据治理，性能优化上可以采取分布式数据库。

问题三：以业务流程为导向梳理数据走向

这背后暗藏的现实可能是：

• 业务部门需求轰炸，IT部门成为一个取数机；
• 指标零散，业务和IT都不知道分析什么；
• 报表不成体系，有些报表冗余。

这也是很多企业的共性问题。

问题四：希望达成数据价值转化输出

因为问题三的原因，IT疲于业务需求，应付各种报表，数据没有很好形式展现，也无法对业务决策产生帮助。相应的，IT部门也无法对业务产生显性价值。

要让数据服务于业务，落地产生价值，具体该怎么做？

基于hadoop数据平台，先抛架构！

 

第一步：构建一个完善的数据环境

主数据管理

 

1、 定标准

所需标准有编码规则，命名原则、划分原则、共享原则。

• 标准规划：根据企业实际情况确定实施范围，并根据优先级和难易度制定计划。可以通过调查问卷、现场访谈、收集文档等手段进行调研标准的内容：数据分布、数据流向、服务规则等，形成调研报告。
• 标准设计：在方法论的指导下，完成数据标准设计和定义工作，如数据业务描述定义、类型长度定义、其他信息定义。
• 实施映射：将已定义的数据标准与业务系统、业务应用进行映射，注明两者的关系及影响的应用。
• 标准执行：借助专业的工具实现标准落地检查。
• 维护增强：随着业务发展，数据标准需要不断的修订和完善，并有效的持续维护改进。

2、 搭平台

将各业务中可能流通共享的主数据的名称和标准统一起来

3、 控制关键环节流转

包括主数据管理的关键环节、合理排布关键环节处理顺序、安排责任岗位或部门对应关键环节。

数据质量

 

第二步：开展业务分析

指标梳理

 

分析什么数据，如何反馈给业务，这些都已转化成指标来解决

指标梳理需要和业务部门一同进行。可以通过访谈和调研梳理各业务层级关注的指标，从基层到高层。也可以将企业已有的SCOR、计分卡等绩效体系或者已有的业务分析体系，转化成可说明情况的指标。

建立全指标体系

指标梳理清楚后，从每一条业务线出发。这块业务对企业目标负责的关键成果是什么（KPA）——每一个KPA又可以用什么维度来衡量（KRA）——最后落实到基层的关键行动指标是什么（KPI）

最后所有业务汇总，形成一个全指标体系。

 

梳理报表体系

梳理完指标体系后，大致也就知道每个业务部门需要分析什么数据了。数据通常以报表的形式呈现，报表就都相当与数据落地的产品，有主题有规划的分析。

 

基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等。用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。

经营报表：用于日常管理，其功能不单作用于某项具体的工作，而是覆盖相关部门或某部门管理的一个工作模块。例如店长业绩管理看板、库存管理、异常店铺管理等。这类报表基于日常管理工作，通过查看这类报表来监控所负责业务的当前状态，发现问题，这类报表就属于决策辅助了。（如下方财务部门的数据监控）

 

战略报表：这个就用于高层集团事物的管理，比如boss们关注的每日盈利状况，项目进度监控等等。这类报表通常以驾驶舱的形式展现，用于企业全局监控。

 

建立分析体系

到这里就是数据分析的范畴了，不同于日常管理经营类报表单方面的展现，这里更注重某一块业务问题，通过分析数据比如来缩减供应链成本、通过分析市场环境制定市场策略等。通常在传统企业的应用有智能制造、大数据营销、供应链优化、市场活动ROI分析、新零售业务提升、用户画像和客户标签等等。

这需要数据部门主动找活干，去为业务创造价值，因此更具针对性和主动性。

小总结

至此，关于原问题，我觉得可以从第二步开始展开，先以当下业务流程为导向，梳理指标体系，进而梳理报表体系。

工具上，需要一个具有开放性的报表/BI系统来支撑，需要满足的需求：

① 要能连接各系统数据，打通数据壁垒

② 能支撑底层的hadoop大数据平台架构，具有良好的数据处理性能

③ 前端可视化美观，做报表方便，具有一定分析功能。（看脸的世界，美而有用，业务才认同）

如果需要找靠谱的做数据管理的公司，我觉得帆软有报表产品finereport，有BI工具FineBI，还有十几家行业的专项方案，是不二选择。

至于，传统企业里如何让老板、业务领导们觉得数据分析很重要？

至于要想快速的数据价值转化输出，说白了是让老板、业务领导们觉得数据分析很重要，最好是业务部门、管理层能够主动配合开展数据分析工作，也是大家争议比较多的，这个问题可以看一下下面的文章，希望能提供一些思路：

传统企业里，如何让领导觉得数据分析很重要？