商业智能(BI)大家可能早已耳熟能详。从早期的报表自动化,到现在的复杂灵活分析,多平台支持,优秀的人机互动,多数据抽取,大数据整合,甚至和当下最火的人工智能都有结合点。可能一提到BI,大家都会自然而然地把这个话题丢给IT。但是由IT主导的BI项目最终是否能够落地?
为什么以技术为主导的IT部门做不好BI项目?
首先我认为BI是最直接,最重要地服务于商业决策者的,尤其是管理层。BI应用是否符合用户习惯,数据是否准确及时,是BI能否活下来的关键之关键。试想一个难以操作,挤满了图表,而且错误百出的BI应用,哪个经理会有兴趣去使用它?一旦失去存在的价值(credibility),被抛弃就成了自然而然的事情。
其次国内的IT人员普遍热衷于技术而忽略业务,对于很多开发人员来说,看InfoQ的兴趣要远大于CEO年终总结里的数字。由于业务知识和经验的缺失,很多时候IT闭门造车搞出来的BI应用根本不是业务人员需要的。慢慢地双方的激情消退,抵触情绪滋长,失败是早晚的事。
另外很多IT部门现在还停留在维护传统大型项目的框架里。当今的商业瞬息万变,与之配对的决策系统也应该具备灵活变化的能力。我相信很多商业决策者经历过类似的痛苦,例如从提出某个报表的修改意见到正式上线往往要等很长时间。但这不能完全怪IT,因为他们需要审批,获取权限,收集数据,测试,写文档 ... 。 所以一个小的修改可能要在6个月后release里才能实现。转型需要时间,但作为重要的决策者,您会等吗?
站在商业和IT之间,BI主要包含了什么?
国外很多大牛都定义过BI的框架。在此,我只是根据前人的经验和一些国内项目的经历总结出自己的内容。从下往上,我的BI各元素框架(BI Component Framework)主要分为3个部分:基础部分(Foundation),实现部分(Enablement),和辅助部分:
BI框架之基础部分(Foundation)
从业务层面来讲整个框架的根基应该是商业或者管理层的“觉醒”和授权。很多公司现在还依赖于excel报表。业务部门习惯于从excel中生成图表,粘贴到PPT里,然后把周报,月报,或者年报呈现给管理层。这样做会面临几个主要的问题:首先是数据的准确性。Excel报表肯定难以避免手工错误,而且在充满大量的 vLookup 或者公式的excel里找出错误是十分痛苦和低效的。其次是资源压力。越复杂的报告所需要的数据和人力越多。期限前集体赶报告的经历很多人应该都有吧。再次是时效性。商业决策讲究的是快速灵活。有些报告,例如公司年报确实不要求实时,但是很多底层的业务决策是不能等到周末或者月末才能开始制定的。最后是安全性。数据和分析结果全都在excel或PPT里。IT部门可以限制email,封锁网盘,但是直接考取那?面对这些问题,管理层必须思考是否需要一个完备的BI系统。
BI应用的灵魂来自于数据。数据就好似血液一样支撑着整个BI系统。但很多时候公司的数据是最为敏感的,例如供应商数据或财务数据。此外一些部门会把数据当成“私有财产”而拒绝或者有限度地与其他部门分享。单纯的BI实施团队(不管是IT主导还是业务主导),在没有高层甚至顶层授权的情况下很难持续地推动BI项目。因此管理层的“觉醒”和授权是我认为完成一个BI项目最优先,最重要的基础。
接下来是了解公司业务。前面已经说过了,IT部门通常精于前沿的技术而忽略业务,但是BI作为业务部门最直接的决策工具,失去了业务的支撑就好比给一个厌食症患者做了一桌子满汉全席。业务的构成有很多,例如公司有哪些KPI,各个部门的核心业务是什么,报告流程是什么,瓶颈在哪里,业务流程都需要哪些职能,是否需要内外合作等等。对于业务的理解,IT技术人员容易习惯性地用用例图(use case)或者系统架构图(system architecture)来表达。但是问一下哪一个经理或者业务员能一下子看懂那些圆圆圈圈代表的意思?在这里我的经验是用最传统的流程图和excel列表,因为大部分非IT人员基本不需要工程培训就可以轻松的理解你要表达的意思。
了解公司的系统和数据是重点。现在只有极罕见的公司还仅使用office或者手工作业,基本上大家都多多少少有些系统,一些大的公司甚至会上马全套的ERP,sales force,CRM等。对BI团队来说,系统本身的迭代,之间的接口,承载能力,权限设置,技术特点等都是需要了解的。数据分析则需要更多的精力。从范围来说除了分析系统内已有的数据,BI团队还要了解手工生成的数据,例如excel报表。从属性来说要分析数据的历史情况,数据的完整性,数据质量,数据层级(hierarchy),数据从属,维度变化(包含缓慢变化维的情况)等等。根据目前的经验,我遇到的数据分析最大的痛点:一是数据质量,尤其是历史数据。很多业务部门,尤其是缺乏控制的部门,其数据都是五花八门的。在清洗的时候会遇到各种问题。二是数据定义。很多公司没有主数据系统,或者根本不遵循主数据。同样一个主体,这个部门或系统定义这个code,另一个部门或系统使用别的code。在数据需要联通的时候我们需要耗费大量的时间去协调和校对。
分析完公司的业务,系统和数据之后真正的难点来了:整合。之前的分析都可以是独立的,但是在这里我们必须在熟知公司业务和数据的情况下把所有信息整合在一起。例如我们要知道在每一个流程里数据进口在哪里,出口在哪里,谁生成数据,谁更新数据,谁使用数据,怎么使用的,同样的数据是否被重复定义或多次使用,主数据是什么,数据属性又是什么等。我认为这个时候BI团队还是要更多的和业务部门坐在一起,交流的方式还是以流程图为主,只不过更加复杂,例如加入数据流和不同的人物信息。描述数据情况的时候则不拘于形式,但要把现状和问题说明白,千万不可以隐藏,否则将来的BI系统一定是垃圾进,垃圾出(rubbish in,rubbish out)。
在以上元素都介绍完之后,我们终于可以和IT坐下来谈谈感情,顺便聊一下数据存储,建模以及BI工具的实施了。
数据不会像水一样从源头直接流进BI系统。通常我们需要通过一个叫做ETL(技术术语,全拼是Extraction,Transformation,Loading)的流程来把数据从源头抓取到BI的数据仓库(data warehouse)。除了业务部门的终端系统和数据之外还有各种介于“中间层”的辅助数据,例如主数据,也要通过ETL流程把它们保存到BI仓库里。不同的IT部门会使用不同的技术来实现数据仓库,例如MySQL,微软的SQL,或者云端的数据库技术等等。
BI建模和普通的数据库建模有很大区别。一般系统数据库建模更多的是考虑数据存储,而BI本身只消费数据,其模型主要是为了服务将来的报表和分析。因此负责BI建模的架构师除了能够驾驭两种数据库的思维之外,还要有很强的技术能力和业务理解力。好的模型除了能针对不同的业务需求做出快速反应之外,还要有足够的拓展性以防备未来的业务变更或者新需求。因此好的数据建模师特别值钱。
有了BI所依赖的数据仓库和模型之后,我们可以开始用BI工具来开发对业务用户有意义的信息和应用。别忘了到目前为止大多数业务部门和管理层是不知道或者看不懂BI团队在干什么的,直到我们在屏幕上把表格或者图形做出来。BI工具有很多种,例如传统的SAP,IBM,Oracle等提供的重型BI工具,也包括时下流行的新型工具,例如QlikView,Tableau,PowerBI还有帆软公司的FineBI等等。当然一些大公司也可以使用自己开发的BI工具。
当数据、模型和工具都敲定之后,之后就可以开始真正的BI实施了。
相关推荐
实验室管理系统 微信小程序+SSM毕业设计 源码+数据库+论文+启动教程 项目启动教程:https://www.bilibili.com/video/BV1BfB2YYEnS
基于java的苹果网吧计费管理系统设计与实现.docx
纸中世界-跳跃游戏.sb3
本操作指导用于在 ENA 系列网络分析仪 E5080B 上自定义校准件。目前 Keysight 网络分析仪的 PNA 系列 N52xxB、P50xx 系列、P937x 系列、PXI 板卡式网分以及 ENA 系列的 E5080B、E5081B 的操作界面均统一到如下界面,操作方式相同。
调查海域浮游动物各类群栖息密度的空间分布表格.docx
本项目“高校毕业生就业管理系统”是一套基于SSM框架(Spring+SpringMVC+MyBatis)精心开发的Java Web应用,旨在为高校毕业生、高校就业指导部门以及企业用户提供一个高效、便捷的就业信息管理平台。 系统主要功能包括:学生用户可以查看和发布个人简历,搜索并筛选合适的工作岗位,申请心仪的职位;企业用户可以发布招聘信息,筛选和查看应聘者的简历,进行面试邀请等操作;高校就业指导部门则可以对学生的就业情况进行统计和分析,以更好地提供就业指导服务。 此外,系统采用了B/S架构,用户只需通过浏览器即可访问,无需安装客户端软件,方便快捷。数据库设计合理,数据存储安全,系统性能稳定。 本项目的开发,不仅为计算机相关专业的学生提供了一个实践SSM框架的好机会,帮助他们更好地理解和掌握Java Web开发技术,还能有效提升高校毕业生的就业效率和质量。
电影剪辑 笔记MoviePy 最近升级到 v2.0,引入了重大的重大变化。有关如何更新 v2.0 代码的更多信息,请参阅本指南。MoviePy(在线文档在此处)是一个用于视频编辑的 Python 库剪切、连接、插入标题、视频合成(又名非线性编辑)、视频处理和创建自定义效果。MoviePy 可以读取和写入所有最常见的音频和视频格式,包括 GIF,并且可以在 Windows/Mac/Linux 上运行,并搭载 Python 3.9+。例子在此示例中,我们打开一个视频文件,选择 10 到 20 秒之间的子剪辑,在屏幕中心添加标题,然后将结果写入新文件# Import everything needed to edit video clipsfrom moviepy import *# Load file example.mp4 and keep only the subclip from 00:00:10 to 00:00:20clip = VideoFileClip("long_examples/example2.mp4").with_subcl
基于java的视频播放器系统设计与实现.docx
基于java的车辆出租管理系统设计与实现.docx
mqtt等协议的pcap文件
学习python
修木工施工规范及流程.docx
适用于 Windows/Linux 和 Python 3 (3.5/3.6/3.7) 的 Tensorflow Faster R-CNNtf-faster-rcnn使用 Python 3 在 Windows 和 Linux 上使用 Tensorflow Faster R-CNN这是在 Windows 和 Linux 上编译 Faster R-CNN 的分支。它深受这里和这里的出色工作的启发。目前,此存储库支持 Python 3.5、3.6 和 3.7。感谢@morpheusthewhite请注意我没有时间或意图修复此分支的所有问题,因为我不将其用于商业用途。我创建此分支只是为了好玩。如果您想做出任何承诺,我们非常欢迎。Tensorflow 已经发布了一个对象检测 API。请参考它。https: //github.com/tensorflow/models/tree/master/research/object_detection如何使用此分支安装 tensorflow,最好是 GPU 版本。按照说明操作。如果没有安装 GPU 版本,则需要注释掉代码中的所有 GP
Python是一种高级、解释型、面向对象的编程语言,以其简洁的语法、强大的功能和广泛的应用领域而著称。它无需事先编译,代码在运行时逐行解释执行,提供了极大的灵活性和快速开发的能力。Python支持多种数据类型,包括整数、浮点数、字符串、布尔值、列表、元组、字典和集合等,以及丰富的操作符和流程控制结构,使得开发者可以编写出复杂且灵活的代码。 Python拥有一个广泛的标准库,涵盖了文件操作、网络通信、文本处理、正则表达式、数学运算等多个领域,为开发者提供了大量的模块和函数。此外,Python还拥有丰富的第三方库,如NumPy、Pandas、Matplotlib等用于数据分析和可视化的库,以及Django、Flask等用于Web开发的框架,这些库和框架进一步扩展了Python的应用领域和功能。 Python在Web开发、数据科学、人工智能、自动化运维和游戏开发等多个领域都有广泛的应用。在Web开发方面,Python提供了Django和Flask等强大的Web框架,使得开发者可以轻松地开发出各种Web应用和网站。在数据科学领域,Python是数据科学家的首选工具,其强大的数据处理能力和丰
本项目是基于Python语言开发的西西家居全屋定制系统,旨在为家居行业提供一个高效、智能的定制解决方案。项目涵盖了从客户需求分析、设计方案生成、材料选购到最终订单生成的全过程,力求实现家居定制的数字化和智能化。 在主要功能方面,系统具备强大的客户管理模块,能够详细记录和分析客户的定制需求。设计模块则采用先进的三维建模技术,为客户提供直观、真实的家居设计方案预览。此外,系统还整合了丰富的材料数据库,方便客户根据自身喜好和预算进行材料选择。 框架方面,项目采用了B/S架构,确保了系统的稳定性和可扩展性。后端使用Python的Django框架,前端则结合了HTML、CSS和JavaScript等技术,实现了用户界面的友好和响应速度。 开发此项目的目的,不仅是为了满足家居行业对个性化定制的需求,也为计算机相关专业的学生提供了一个实践和学习的平台,有助于提升他们的实际开发能力。
Binance公共API连接器Python 这是一个轻量级库,可作为Binance 公共 API的连接器支持的 API/api/*/sapi/*现货 Websocket 市场动态现货用户数据流现货 WebSocket API包含测试用例和示例可定制的基本 URL、请求超时和 HTTP 代理可以显示响应元数据安装pip install binance-connector文档https://binance-connector.readthedocs.ioRESTful API使用示例from binance.spot import Spotclient = Spot()# Get server timestampprint(client.time())# Get klines of BTCUSDT at 1m intervalprint(client.klines("BTCUSDT", "1m"))# Get last 10 klines of BNBUSDT at 1h intervalprint(client.k
Aptana是一个非常强大,开源,JavaScript-focused的AJAX开发IDE。 Aptana的特点包括: 1JavaScript,HTML,CSS语言的Code Assist功能。 2Outliner(大纲):显示JavaScript,HTML和CSS的代码结构。
学习自律养成小程序 微信小程序+SSM毕业设计 源码+数据库+论文+启动教程 项目启动教程:https://www.bilibili.com/video/BV1BfB2YYEnS
认知能力评估表.docx
数学建模学习资料 粒子群算法 先进算法讲义.pdf