`
wx1569510009
  • 浏览: 52987 次
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

数据资源汇总是应用大数据的第一步

 
阅读更多

    大数据时代来临,海量数据充斥着各行各业,数据分析会给予企业发展带来经济价值。安防作为盛产海量数据的行业,面对安防监控各个领域产生的大量数据是否已经对数据进行了合理的分析与应用,并产生了丰厚的商业价值?


    在采访中李总开门见山直接切入提出了大数据领域面临的问题:很多厂商在讲大数据技术,但到目前没有看到一个厂商、一个案例把大数据技术应用起来。每个人都在讲大数据技术但没有看到大数据的效果,所有人在讲大数据技术的同时隐藏了一个前提就是拿到这些数据该如何去分析数据,但目前的问题是我们做一个平安城市根本就拿不到数据。


    平安城市中大数据应用不仅限于视频监控领域,它包括小区的门禁刷卡记录,每个市民坐公交车产生的刷卡数据等。城市安防需要把城市中相关的数据汇总起来,才能进行大数据分析。目前我们倡导利用大数据,但是没有人去做大数据的汇总,而且每个城市中有成千上万的系统,每个系统又是有不同的厂商使用不同的语言来做的,也没有统一的标准。


    一个城市的系统没有统一的系统标准,把系统数据整合汇总基本是不可能的事件。不可能的原因有以下几个:


    第一:经济因素


    城市中的很多系统已经建设好,要想数据共享就要改变系统,改变系统必然产生费用问题,比如说,一个网吧要安装摄像头机,然后你告诉网吧老板需要联网才能实现数据分析,联网的费用要在原费用基础上再加5000元,可能网吧老板不愿意再多花钱。系统联网的费用太贵,导致数据资源汇总遇困境。


    第二:利益关系复杂


    如果依靠政府的推动去完成数据的汇总是否现实?在采访中李总说:“基于目前状况来看也是不可能的事件。”因为大大小小的厂商之间都存在各自的利益关系在内,如小区刷卡进门的门禁系统,政府和许多门禁厂商都提了几十年的标准化,但是统一标准却一直没有建立起来。门禁厂商很直白的告诉你一句话:门禁系统标准化了是不是每一个厂商都可以进驻这个系统,因为没有标准化的系统协议,一个小区只能安装兼容的系统,这样就垄断了市场。为了各自利益厂商会想尽办法按自己的标准来做门禁系统。


    第三:基础数据库不完善


    要想实现大数据的分析与应用,首先要抽象出基础数据库,基础数据库简单说就是现在公安系统中的大大小小的数据库,比如人口数据库,假如你叫张三,医院系统、银行系统中你都是叫张三,但是这三个系统不兼容,没有相兼容的协议,导致数据不能在一个平台上共享。


    总之,大数据的应用,目前不论是从成本、经济、利益关系,还是建立统一的基础数据库来讲都是很难实现的。没有办法把数据采集过来,更不用提大数据分析与应用的问题。


    李总在提出问题以后也向笔者透露了一个尚未应用,还在研发中的解决方案。


    建设一条城市信息高速公路,专业名词叫做城市服务总线。比如我们的公安系统中有很多部门,但是也没有形成一个统一的系统,如果公安系统内部建设一条城市服务总线,金融系统建设一条城市服务总线,然后再把各个系统的城市服务总线中大大小小的系统资源汇总到一条主城市服务总线上来,不是问题就解决了吗?


    怎么汇总呢?通过注册的方式。


    城市服务总线采用统一的通信协议,一个标准的语言。城市各个不同的系统只需要去城市服务总线上去注册,如公安系统去城市服务总线上注册,公安系统可以提供1到10的数据,如果有些数据不适宜共享,只需把可以共享的数据传到服务中心,然后需要数据的人同样需要注册登记才能来服务总线上查阅数据。服务总线会提供两种服务:一种是(注册)上传数据,一种是索取数据。

转载于:https://my.oschina.net/u/1160813/blog/283406

分享到:
评论

相关推荐

    GZ-2022041 大数据技术与应用赛项赛题.zip

    首先,数据采集是大数据流程的第一步,涉及网络爬虫、API接口等技术,用于从互联网、物联网设备等不同来源获取数据。了解并掌握这些技术,能够帮助参赛者有效地获取所需信息。 其次,数据存储是大数据处理的基础。...

    清华大学精品大数据课程PPT课件(48页) 第3章 大数据采集及预处理.pptx

    大数据采集是大数据处理的第一步,它涉及到从各种源头收集大量、多样化的数据。数据采集(DAQ)不仅包括传统的结构化数据,还涵盖了半结构化和非结构化的数据,如RFID射频数据、传感器数据、社交媒体数据以及移动...

    大数据资源服务目录接口方案.docx

    第一步:数据资源收集。收集各种数据资源,包括公司信息、股东信息、出资信息、主要人员信息、分支机构信息、变更信息、清算信息、行政许可信息、经营异常信息、抽查检查信息、司法协助信息、动产抵押信息等。 第二...

    数据治理-数据生命周期管理-大数据整合.pdf

    1. 数据抽取:数据抽取是数据治理的第一步,通常涉及ETL(抽取、转换、加载)或ELT(抽取、加载、转换)过程。ETL传统上用于将数据从源系统转换到目标系统,而ELT则更侧重于在加载后进行转换,适应大数据环境的并行...

    一种面向大数据主动防御的低损耗数据采集方法.pdf

    数据采集是主动防御系统的第一步,它需要从大数据环境中高效地提取出必要的数据信息,同时要求不对大数据环境造成过大的负荷,以保证数据流的稳定和安全。因此,数据采集方法的效率和损耗程度,将直接影响到整个主动...

    大数据对企业人力资源招聘的影响.pdf

    在企业人力资源管理的六大模块中,招聘环节作为对外接触的第一步,尤其受到了大数据技术的显著影响。本篇文章将通过案例研究和文献分析的方式,详细探讨大数据对企业人力资源招聘的积极影响以及在实际运用中可能遇到...

    《大数据技术基础》数据集及源代码.zip

    在大数据领域,数据采集是整个流程的第一步,它涉及从各种来源获取原始数据。这些来源可以是日志文件、社交媒体、传感器设备、网络流量等。数据采集通常使用专门的工具,如Flume、Kafka或者Scrapy。Flume是一个...

    2013中国大数据技术大会PPT——阿里大数据应用平台

    数据导入是整个数据处理流程的第一步,涉及到各种数据源的数据收集和整合。阿里大数据平台支持多种数据源,包括结构化数据和非结构化数据。非结构化数据如文本、图片、视频等,通过实时流式同步的方式进行数据导入;...

    大数据架构数据获取到深度学习pdf

    2. **数据获取**:数据获取是大数据流程的第一步,包括数据抓取、ETL(提取、转换、加载)等过程。数据抓取涉及网络爬虫技术,如Scrapy框架;ETL则涉及到数据清洗、数据整合,以及数据质量的监控。 3. **数据存储**...

    清华大学精品大数据全套课程PPT课件含习题(34页)第2章 数据采集与预处理.pdf

    数据采集是大数据处理的第一步,包括从各种源头捕获和收集数据。常见的数据采集工具有Flume、Chukwa、Scribe和Kafka。Flume和Chukwa都是Apache基金会的项目,用于收集、聚合和移动大规模日志数据。Scribe主要用于...

    大数据演讲:得数据者得天下

    数据收集是大数据应用的第一步。在大数据时代,数据采集的方法和工具也在不断进步。比如,通过引入乐思网络信息采集系统,可以更加系统化地收集和整合互联网上的各种数据资源,为大数据分析提供丰富的原材料。在实践...

    基于大数据时代下软件工程技术的应用研究.pdf

    众包软件服务工程的第一步是将出现的数据及时处理掉,第二步是在研发和生产运营管理中通过对大数据的深入研究和分析,挖掘出数据背后隐藏的有价值的信息。 在实际应用中,软件开发人员需要根据数据的类型,有针对性...

    适合初学者-大数据技术与应用介绍(含各种组件).docx

    【大数据技术与应用介绍】 大数据技术是现代信息技术领域的一个重要组成部分,它主要涉及对海量、高增长速度和多样性的信息资产的捕获、管理和处理。...掌握这些技术对于初学者来说,是迈进大数据世界的坚实第一步。

    2022最新版 大数据架构师课程

    Producer是数据入Kafka的第一步,了解它的发送逻辑、RecordAccumulator的工作方式以及如何实现高效的数据批量发送,对于优化性能和解决问题至关重要。 2. **Scala编程**:Scala是开发Kafka和其他大数据框架如Spark...

    51job大数据分析师岗位情况项目.rar

    1. 数据获取与清洗:理解如何从51job等招聘网站抓取数据,并进行数据清洗,是大数据分析的第一步。 2. 数据预处理:了解如何处理缺失值、异常值和重复值,是保证分析准确性的关键。 3. 数据可视化:掌握matplotlib和...

    大数据技术综述.doc

    1. **数据采集**:大数据处理的第一步是数据的获取,这包括Web爬虫、传感器数据、社交媒体信息等多种来源。数据采集技术需要高效且灵活,以便适应不同类型和来源的数据。 2. **数据存储**:为了处理大规模数据,...

    大数据平台部署方案完整版.docx

    环境配置是大数据平台部署的第一步。该步骤包括主机地址、查看服务器硬件环境信息、查看操作系统版本和内核、关闭防火墙和 SELinux、所有主机时间同步等操作。这些操作都是为了确保大数据平台的稳定运行。 在环境...

    大数据应用开发流程不包括.pdf

    1. 数据收集:这是大数据流程的第一步,涉及到从各种来源获取原始数据。这些来源可能包括社交媒体、传感器、交易记录、网页浏览历史等。数据收集的质量直接影响到后续处理的效果,因此需要确保数据的真实性和完整性...

    大数据实验报告对应我的第二篇博客

    在构建大数据平台时,架构设计是至关重要的第一步。通常,大数据平台会采用分布式架构,以支持高可用性、可扩展性和容错性。这种架构通常包括数据存储、计算处理、元数据管理等多个组件。Hadoop是常用于大数据处理的...

Global site tag (gtag.js) - Google Analytics