资讯频道 → 行业应用
阅读更多

2顶
0踩

行业应用

原创新闻 大数据平台架构技术选型与场景运用

2017-06-21 10:59 by 副主编 jihong10102006 评论(0) 有15276人浏览
大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。

讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。

一、大数据平台

大数据在工作中的应用有三种：
与业务相关，比如用户画像、风险控制等；
  • 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；
  • 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。
数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。

如图所示，大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对业务的数据源进行处理，而是先经过数据采集、数据存储，之后才是数据分析和数据处理。

从整个大的生态圈可以看出，要完成数据工程需要大量的资源；数据量很大需要集群；要控制和协调这些资源需要监控和协调分派；面对大规模的数据怎样部署更方便更容易；还牵扯到日志、安全、还可能要和云端结合起来，这些都是大数据圈的边缘，同样都很重要。

二、数据源的特点

数据源的特点决定数据采集与数据存储的技术选型，我根据数据源的特点将其分为四大类：
  • 第一类：从来源来看分为内部数据和外部数据；
  • 第二类：从结构来看分为非结构化数据和结构化数据；
  • 第三类：从可变性来看分为不可变可添加数据和可修改删除数据；
  • 第四类，从规模来看分为大量数据和小量数据。
内部数据

来自企业内部系统，可以采用主动写入技术(push)，从而保证变更数据及时被采集。

外部数据

企业要做大数据的话肯定不会只局限于企业内部的数据，比如银行做征信，就不能只看银行系统里的交易数据和用户信息，还要到互联网上去拉取外部数据。

外部数据分为两类：
  • 一类是要获取的外部数据本身提供API，可以调用API获取，比如微信；
  • 另一类是数据本身不提供API，需要通过爬虫爬取过来。

这两类数据都不是我们可控制的，需要我们去获得，它的结构也可能跟我们企业内部数据的结构不一样，还需要进行转换，爬虫爬取的数据结构更乱，因此大数据平台里需要做ETL，由ETL进行数据提取、转换、加载，清洗、去重、去噪，这个过程比较麻烦。爬虫爬过来的数据往往是非结构性的、文档型的数据，还有视频、音频，这就更麻烦了。

结构化数据 & 非结构化数据

结构化和非结构化数据在存储时的选型完全不同，非结构化数据偏向于文件，或者选择NoSQL数据库；考虑到事务的一致性，我们也可能选择传统的数据库。

不变可添加数据

如果数据源的数据是不变的，或者只允许添加（通常，数据分析的事实表，例如银行交易记录等都不允许修改或删除），则采集会变得非常容易，同步时只需要考虑最简单的增量同步策略，维持数据的一致性也相对变得容易。

对于大数据分析来说，我们每天在处理的数据大部分是不可变更的。正如Datomic数据库的设计哲学就是数据为事实（fact），它是不可变的，即数据是曾经发生的事实，事实是不可以被篡改的，哪怕改一个地址，从设计的角度来说也不是改动一个地址，而是新增了一个地址。交易也是如此。

可修改可删除数据

银行的交易记录、保险单的交易记录，互联网的访客访问记录、下单记录等都是不可变的。但是数据源的数据有些可能会修改或删除，尤其是许多维表经常需要变动。要对这样的数据进行分析处理，最简单的办法就是采用直连形式，但直连可能会影响数据分析的效率与性能，且多数数据模型与结构可能不符合业务人员进行数据分析的业务诉求。如果采用数据采集的方式，就要考虑同步问题。

大数据量

针对大数据量，如果属于高延迟的业务，可以采用batch的处理方式，实时分析则需要使用流式处理，将两者结合就是Lambda架构，即有实时处理、又能满足一定的大数据量，这是现在比较流行的大数据处理方式。

三、数据存储的技术选型

大数据平台特征：相同的业务数据会以多种不同的表现形式，存储在不同类型的数据库中，形成一种poly-db的数据冗余生态。

先把数据源进行分类，然后根据其特点判断用什么方式采集，采集之后要进行存储。数据存储的技术选型依据有三点：
  • 第一点取决于数据源的类型和采集方式。比如非结构化的数据不可能拿一个关系数据库去存储。采集方式如果是流失处理，那么传过来放到Kafka是最好的方式。
  • 第二点取决于采集之后数据的格式和规模。比如数据格式是文档型的，能选的存储方式就是文档型数据库，例如MongoDB；采集后的数据是结构化的，则可以考虑关系型数据库；如果数据量达到很大规模，首选放到HDFS里。
  • 第三点是分析数据的应用场景。根据数据的应用场景来判定存储技术选型。
场景一：舆情分析

做舆情分析的时候客户要求所有数据存放两年，一天600多万，两年就是700多天×600多万，几十亿的数据。而且爬虫爬过来的数据是舆情，做了分词之后得到的可能是大段的网友评论，客户要求对舆情进行查询，做全文本搜索，并要求响应时间控制在10s以内。

我们后来选择用ES，在单机上做了一个简单的测试，大概三亿多条数据，用最坏的查询条件进行搜索，保证这个搜索是全表搜索（基于Lucence创建了索引，使得这种搜索更高效），整个查询时间能控制在几秒以内。

如图所示，爬虫将数据爬到Kafka里，在里面做流处理，去重去噪做语音分析，写到ElasticSearch里。我们做大数据的一个特点是多数据库，会根据不同的场景选择不同的数据库，所以会产生大量的冗余。

场景二：商业智能产品

BI产品主要针对数据集进行的数据分析以聚合运算为主，比如求合、求平均数、求同比、求环比、求其他的平方差或之类的标准方差。我们既要满足大数据量的水平可伸缩，又要满足高性能的聚合运算。选择Parquet列式存储，可以同时满足这两个需求。

场景三：Airbnb的大数据平台

Airbnb的大数据来自两块：一是本身的业务数据，二是大量的事件。数据源不同，采集方式也不一样。日志数据通过发送Kafka事件，而线上数据则通过Sqoop同步。数据存储选择HDFS集群，然后通过Presto对Hive表执行即席查询。S3是一个独立的存储系统。

四、数据处理

数据处理分为三大类：
  • 第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
  • 第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。
  • 第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。
结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一个总体的大数据平台的架构。值得注意的是，架构图中去掉了监控、资源协调、安全日志等。

左侧是数据源，有实时流的数据（可能是结构化、非结构化，但其特点是实时的），有离线数据，离线数据一般采用的多为ETL的工具，常见的做法是在大数据平台里使用Sqoop或Flume去同步数据，或调一些NIO的框架去读取加载，然后写到HDFS里面，当然也有一些特别的技术存储的类型，比如HAWQ就是一个支持分布式、支持事务一致性的开源数据库。

从业务场景来看，如果我们做统计分析，就可以使用SQL或MapReduce或streaming或Spark。如果做查询检索，同步写到HDFS的同时还要考虑写到ES里。如果做数据分析，可以建一个Cube，然后再进入OLAP的场景。

这个图基本上把所有的内容都涵盖了，从场景的角度来分析倒推，用什么样的数据源、采用什么样的采集方式、存储成什么样子，能满足离线、内存、实时、流的各种模型，都能从图中得到解答。

以上为本次分享的全部内容。

引用
作者：张逸，大眼科技CTO，先后就职于中兴通讯、惠普GDCC、中软国际、ThoughtWorks等中外企业，任职角色为高级软件工程师，架构师，技术总监，首席咨询师。目前致力于商业智能产品与大数据分析平台的开发与架构设计。
声明：本篇文章内容来自第八期魅族开放日大眼科技CTO张逸的现场分享，由IT大咖说提供现场速录，由msup整理编辑。
  • 大小: 125.5 KB
  • 大小: 40.6 KB
  • 大小: 33.1 KB
  • 大小: 73.3 KB
  • 大小: 163.7 KB
  • 大小: 173.4 KB
  • 大小: 160.7 KB
  • 大小: 119.5 KB
  • 大小: 31.8 KB
  • 大小: 44.7 KB
  • 大小: 193.3 KB
2
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 大数据平台架构技术选型与应用场景

    Hadoop生态系统中的MapReduce和Spark是常用的批处理框架，Kafka和Flink是常用的流处理...根据具体的需求和场景，选择适合的技术组合，能技术组合，能够构建出高效可靠的大数据平台，为各行业提供数据驱动的决策支持。

  • 大数据平台架构技术选型与场景运用(转)

    大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术...

  • 【转载】大数据平台架构技术选型与场景运用

    https://blog.csdn.net/qiansg123/article/details/80130106 

  • 大数据技术架构如何选型

    最后是运维成本，这个其实涉及到产品的应用形态，如果只是SaaS公有云，则是可控的，如果私有化部署的场景非常多，则运维成本会非常大，也可能在选型时起到决定性的作用。即做大数据是满足业务诉求的，业务诉求会有很...

  • 大数据平台架构及主流技术栈

    互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？...经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐

  • GUI面板MATLAB香烟汉字识别.zip

    GUI面板MATLAB香烟汉字识别

  • 2023年统招专升本计算机考试真题及答案6.pdf

    2023年统招专升本计算机考试真题及答案6.pdf

  • Java毕业设计-SpringBoot+Vue的“漫画之家”系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • 基于ssm+vue的教学视频点播系统（java毕业设计，包括源码，数据库,教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SSM 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：vue/html5 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • Java毕业设计-基于SpringBoot+Vue+MySql的五台山景点购票系统（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

  • MATLAB设计的危险区域预警系统（GUI界面设计）.zip

    MATLAB设计的危险区域预警系统（GUI界面设计）

  • 2023年江苏省计算机二级VB试卷.pdf

    2023年江苏省计算机二级VB试卷.pdf

  • NSCBx1.0.1b Keys19.0.0.zip

    NSCBx1.0.1b Keys19.0.0.zip

  • 智慧园区一卡通与清分结算系统Word(45页).docx

    智慧园区，作为现代化城市发展的新兴模式，正逐步改变着传统园区的运营与管理方式。它并非简单的信息化升级，而是跨越了行业壁垒，实现了数据共享与业务协同的复杂运行系统。在智慧园区的构建中，人们常常陷入一些误区，如认为智慧园区可以速成、与本部门无关或等同于传统信息化。然而，智慧园区的建设需要长期规划与多方参与，它不仅关乎技术层面的革新，更涉及到管理理念的转变。通过打破信息孤岛，智慧园区实现了各系统间的无缝对接，为园区的科学决策提供了有力支持。 智慧园区的核心价值在于其提供的全方位服务与管理能力。从基础设施的智能化改造，如全面光纤接入、4G/5G网络覆盖、Wi-Fi网络及物联网技术的运用，到园区综合管理平台的建设，智慧园区打造了一个高效、便捷、安全的运营环境。在这个平台上，园区管理方可以实时掌握运营动态，包括道路状况、游客数量、设施状态及自然环境等信息，从而实现事件的提前预警与自动调配。同时，智慧园区还为园区企业提供了丰富的服务，如项目申报、资质认定、入园车辆管理及统计分析等，极大地提升了企业的运营效率。此外，智慧园区还注重用户体验，通过信息发布系统、服务门户系统及各类智慧应用，如掌上营销、智慧停车、智能安防等，为园区员工、企业及访客提供了便捷、舒适的生活与工作体验。值得一提的是，智慧园区还充分利用大数据、云计算等先进技术，对园区的能耗数据进行采集、分析与管理，实现了绿色、节能的运营目标。 在智慧园区的建设过程中，还涌现出了许多创新的应用场景。例如，在环境监测方面，智慧园区通过集成各类传感器与监控系统，实现了对园区水质、空气质量的实时监测与预警；在交通管理方面，智慧园区利用物联网技术，对园区观光车、救援车辆等进行实时定位与调度，提高了交通效率与安全性；在公共服务方面，智慧园区通过构建统一的公共服务平台，为园区居民提供了包括平安社区、便民社区、智能家居在内的多元化服务。这些创新应用不仅提升了园区的智能化水平，还为园区的可持续发展奠定了坚实基础。同时，智慧园区的建设也促进了产业链的聚合与发展，通过搭建聚合产业链平台，实现了园区内企业间的资源共享与合作共赢。总的来说，智慧园区的建设不仅提升了园区的综合竞争力，还为城市的智慧化发展树立了典范。它以用户需求为导向，以技术创新为驱动，不断推动着园区向更加智慧、高效、绿色的方向发展。对于写方案的读者而言，智慧园区的成功案例与创新应用无疑提供了宝贵的借鉴与启示，值得深入探索与学习。

  • 数据库系统课程设计报告-商品供应管理系统设计与开发

    一、系统需求分析 1 （一）需求概述 1 （二）业务流分析 1 （三）数据流分析 3 （四）数据字典 3 二、数据库概念结构设计 5 （一）实体分析 5 （二）属性分析 5 （三）联系分析 6 （四）概念模型分析（.PDM图） 7 三、数据库逻辑结构设计 8 （一）概念模型转化为逻辑模型 8 1.一对一关系的转化 8 2.一对多关系的转化 8 3.多对多关系的转化 8 （二）逻辑模型设计（.PDM图） 8 四、数据库物理实现 9 （一）表设计 9 （二）创建表和完整性约束代码设计 10 （三）创建视图、索引、存储过程和触发器 11 五、数据库功能调试 12 （一）职工管理模块 12 （二）工程负责人管理模块 13 （三）系统管理员管理模块 15 六、设计系统前台软件 20 （一）开发软件选择 20 （二）软件功能要求与设计 21 （三）软件功能实现 21 （四）系统测试 27 七、设计总结 28

  • springboot校园在线拍卖系统.zip

    ava项目springboot基于springboot的课程设计，包含源码+数据库+毕业论文

  • 【人机交互】MATLAB手势识别设计.zip

    【人机交互】MATLAB手势识别设计

  • 【工程项目】MATLAB的人脸+指纹融合系统（结合人脸和指纹一致性方可通行）.zip

    【工程项目】MATLAB的人脸+指纹融合系统（结合人脸和指纹一致性方可通行）

Global site tag (gtag.js) - Google Analytics