本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
大数据显雏形——发展
所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题。在上市之前,公司的数据,无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此,我们开始整理数据,做数据报表,花费一年多的时间做数据整理、数据规范,慢慢的大数据的平台有了雏形。
后来公司上市之后,数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。
2015年到2016年这两年,公司将目标投入到数据智能上,建立了一个非常大的系统平台,并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上,我们不仅仅要进行管理销售,还要构建销售能力模型,预测未来业绩。因为在美国市场的股价,更多的是依赖公司未来的发展,公司未来预期决定了公司现在的股价,因此总共的业绩预测非常重要,能够非常精确的预测销售更加重要。
大数据平台建设
公司拥有很多的业务数据库,有订单、CRM、合同管理、人力资源等数据库。以往,我们会把这些数据库里的数据做集成,做一个简单的数据仓库,然后根据业务需求,在数据集成的基础上,通过帆软报表建立一个决策系统,做数据展示,提供服务。这个过程的好处是开发成本低,投入成本低,技术架构简单,可以非常快速的在公司内部运行起来。
但是这样的方式随着业务系统的增多,逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大;数据存储能力受限,无法追溯较远的历史数据。二是很多情况下,不同的产品经理和工程师所提的需求是不同的,而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标,由于数据指标定义不一致,存在意义相近重复指标的时候,管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控,这会导致IT部门工作压力较大。
除了以上反映的问题,公司在基于未来发展情况下又呈现了新一轮的现状,并提出了以下需求:
- 业务的多元化发展,公司大量的并购导致集团数据量和数据需求爆发式增长;
- 数据网状流通,基础数据、数据指标缺少统一的元数据管理;
- 为了更好发掘数据价值,提升数据能力、构建标准化数据体系成为当务之急。
大数据平台业务架构
集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理,数据模型的开发以及建立统一的数据标准。第二个是数据开发员,它会对接产品,然后去做一些业务开发。第三个是业务人员,业务人员是运营、销售、市场人员,在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门,他们有很多对于审计包括公司一些非常核心的数据的分析需求,他们会通过独立的数据查询系统实现数据多维度分析。
下图是技术架构,在底层进行数据存储,抓取数据,并将存储层的数据传给处理层,在处理层完成业务计算,形成指标。然后前端通过帆软报表的应用,将数据以业务报表的方式进行图形化展示,并在移动报表APP上进行展示。
除去这个,我们还在管理上做了数据中心的建设规范。然后是数据质量管理,包括确保数据的准确性,为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。
大数据可视化
数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面,由于我们
1、需求来源多:团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门,且各个部门关注的指标千差万别。
2、报表可视化方式多:需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求,还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。
3、自定义开发多:为了对接公司内部的业务系统,需要经常自定义开发。
所以,需要一个满足这些需求的可视化报表开发工具。这一块,无论从最初的传统数据仓库方式还是现在的大数据平台,我们都选择了帆软报表。
优势如下:
- 类EXCEL设计风格:操作界面大大降低了学习成本。
- 多数据源支持:接入个各个部门的各个类型的数据库非常方便。
- 优秀的图标展示:HTML5图表技术,支持多种图表类型、样式、风格,参数传递灵活,交互效果丰富。
- 友好的接口:开发人员使用网页脚本、API接口等进行深入的开发与控制,支持插件开发、安装、使用和管理,以满足其个性化的需求。
可视化展示:
相关推荐
[互联网,金融,数据]大数据应用在互联网金融借贷行业的实践与探索.pdf[互联网,金融,数据]大数据应用在互联网金融借贷行业的实践与探索.pdf[互联网,金融,数据]大数据应用在互联网金融借贷行业的实践与探索.pdf[互联网,...
凯文凯利认为,在未来,互联网所掌握的消费者喜好、生活习惯等数据信息如果应用到汽车行业,将使汽车产品更加智能,大数据的应用甚至能够影响到汽车产业的生产制造,帮助汽车企业生产出更加符合消费者需求的产品。...
大数据技术在通信行业的应用探讨 在当今信息时代,大数据技术已成为推动各行各业发展的重要力量,尤其在通信行业,其应用尤为广泛且深远。本文将从大数据技术在通信行业的应用概况入手,进一步分析将大数据引入通信...
南阳市科技助农互联网大数据平台的设计与应用.pdf
3. 互联网行业:Spark大数据平台可以用于电子商务、用户行为分析、推荐系统等。 ETHINK产品架构特点: 1. 丰富建模方法:ETHINK产品架构支持多种建模方法,包括基于_drag-and-drop_的可视化建模、基于脚本的编程式...
【大数据技术在信托行业中的应用】 随着互联网和信息技术的飞速进步,“互联网+”的概念不断扩展,产生了海量的多类型数据。这些数据的处理需求推动了信息产业的繁荣,促使各行各业加强信息化建设,特别是在云计算...
本文研究的主要内容是基于大白菜产业,探讨了蔬菜全产业链大数据平台的建设与应用,重点分析了大白菜产业链中市场信息不对称、规模化种植程度低、流通成本高、产业碎片化等问题,并在此基础上提出了一个大数据平台的...
大数据平台技术方案及应用案例分析主要探讨了如何构建和运用大数据技术来支持智慧方案的实施。这个方案涉及多个层面,包括数据的抽取、存储、处理、计算和分析,以实现高效的数据驱动决策。 首先,大数据平台架构的...
### 大数据在互联网金融风控中的应用探讨 #### 一、大数据技术的出现与特征 随着互联网技术的迅猛发展,大数据技术应运而生并迅速成为各行业关注的焦点。大数据最早源于麦肯锡的一份研究报告,其核心在于处理海量...
周公平在其发表的《计算机大数据在互联网时代的应用》一文中,详细探讨了计算机大数据的概念、特点及其在各行各业中的应用情况,提出了合理化措施来推广这一技术。 首先,互联网的快速发展极大地改变了人们的生活...
大数据在保险行业的应用实践已经成为行业转型的关键驱动力。随着网络技术、移动互联和云计算的快速发展,保险行业正逐渐打破传统模式,与互联网紧密结合。在这个过程中,大数据扮演着至关重要的角色,因为它能帮助...
智慧安监大数据云平台是基于现代信息技术,特别是“互联网+”理念,将移动互联网、物联网、云计算技术融入安全生产监管监测中的一种创新模式。这个平台旨在通过整合和分析大量的安全生产数据,提升安全监管的效率和...
"康复医疗大数据平台的构建与应用研究" 本研究旨在构建康复医疗大数据平台,以互联网为载体,以大数据为核心,整合医疗资源,实现线上线下有机联动,顺应了“互联网 + 医疗”的政策导向。该平台旨在解决康复医疗...
在当今信息化时代,大数据技术和云计算平台的应用已成为推动各行各业进步的重要驱动力。大数据技术不仅涉及到数据的收集、存储、管理和分析,还涵盖数据的共享和处理能力。云计算则作为提供计算资源的服务模式,为大...
1. 大数据在不同行业中的应用 - 百度:依托搜索引擎,收集用户搜索需求数据,使用爬虫技术获取公共网络数据。 - 阿里巴巴:以交易数据和信用数据为核心,结合社交数据和移动数据(如微博、高德),构建用户关系...
总的来说,大数据融合平台在能源行业中的应用,能够帮助企业实现精细化运营,提升决策效率,减少资源浪费,同时满足环保和法规的要求。通过持续的技术创新和业务模式变革,企业能够在大数据时代中找到新的增长点,...
大数据平台建设与应用方案是当前数字化时代的重要议题,尤其在公共安全管理、智慧城市和企业转型等领域具有广泛的应用。本文将深入探讨大数据的相关知识点,包括行业现状、技术背景、关键技术和平台发展方向。 1. ...
随着5G、边缘计算等新技术的应用,大数据融合平台将在能源行业的智能运维、能源互联网、碳排放追踪等领域发挥更大作用,助力能源行业实现绿色、低碳、可持续的发展。 7. **实施步骤** - 现状评估:理解现有数据...