- 浏览: 9353 次
- 性别:
- 来自: 杭州
最新评论
什么是大数据,很多的朋友可能对大数据不是很了解,迫切需要了解大数据,下面新霸哥将用一句话来让你认识并读懂大数据,大数据就是无法通过人工,在合理时间内达到管理处理并整理成为人类所能解读的信息。
大数据特征
大数据就是无法通过人工的方式来完成数据分析和处理,需要借助工具才能完成相应的数据处理。大数据通常有3个特征:数量,种类,速度。准确的来说可以用大量,多样性,速度快以及价值高和密度低这四大特征来描述大数据。
一、大量性,数据量的级别从GB至、PB、乃至ZB上升,可称为海量,巨量甚至超量。并且以很快的速度在增长。最为典型的就是我们使用的微信,每天都会产生上亿级别的数据,来自不同领域,不同平台的用户都会产生大量的数据,这些数据是在不断的增长的,并且每个时间点都是不一样的,面对这样高速的增加,需要支撑的服务也是有要求的,这就需要有高并发高吞吐量的服务器来支撑。
二、多样性。数据信息由原来的简单数值、字符和文本向网页、图片、视频、图像和位置信息等半结构化和非结构化的数据类型发展,并且有一个通过的特征,信息大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台。简单的总结为三点:(1)数据来源多,和我们生活密切相关的社交应用像微博、微信、社交网站等等。(2)数据类型繁多,来自同一个平台可能就有不同的数据类型,图片,视频等等。(3)数据之间的关联性强,交互频繁,大型电子商务网站和社交网络中,一些用户的点击行为在一定程度上反映了该用户潜在的兴趣爱好和需求,链接之间的关联性是很强的。
三、快速化,大数据多数据的处理也是有一定的要求的,有的应用要求对数据的处理做到实时、快速。比较常见的就是我们最好的1元购,每次都有来自不同区域的海量数据,要在一定的时间内完成数据的计算和分析,这就需要将分布式计算、并行计算等等深度的结合才能满足需求的。
四、价值高密度低,我们经常会看到很多虚假的信息,通常情况下正在有价值的信息还是很分散的、密度非常低的,要在海量中寻求有价值的信息还是很有技术要求的。
大数据应用
大数据的广泛存在是有一定的商业价值的,现在大数据已经被广泛的应用在医疗,教育,科研等等很多领域,比较常见的就是网络营销,在网上我们会经常遇到这样的问题,我们曾经搜索过的商品或者某个产品在某个网站上有产品推荐,比较常见的就是百度推广,我们在搜索网页的时候会有相关产品的推荐,这就是大数据的一个最为典型的数据分析应用,根据不同用户的不同需求会有不同商品的推荐。
大数据处理技术
有了大数据应用肯定有对于的技术来解决的,最为常见的就是hadoop海量数据离线处理,strom实时在线数据分析处理,spart启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
感兴趣的朋友可以和新霸哥交流共同学习。好了,新霸哥今天就写到这里了,接下来会继续的和大家一起分享更多新知识,当然也可以关注.
大数据特征
大数据就是无法通过人工的方式来完成数据分析和处理,需要借助工具才能完成相应的数据处理。大数据通常有3个特征:数量,种类,速度。准确的来说可以用大量,多样性,速度快以及价值高和密度低这四大特征来描述大数据。
一、大量性,数据量的级别从GB至、PB、乃至ZB上升,可称为海量,巨量甚至超量。并且以很快的速度在增长。最为典型的就是我们使用的微信,每天都会产生上亿级别的数据,来自不同领域,不同平台的用户都会产生大量的数据,这些数据是在不断的增长的,并且每个时间点都是不一样的,面对这样高速的增加,需要支撑的服务也是有要求的,这就需要有高并发高吞吐量的服务器来支撑。
二、多样性。数据信息由原来的简单数值、字符和文本向网页、图片、视频、图像和位置信息等半结构化和非结构化的数据类型发展,并且有一个通过的特征,信息大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台。简单的总结为三点:(1)数据来源多,和我们生活密切相关的社交应用像微博、微信、社交网站等等。(2)数据类型繁多,来自同一个平台可能就有不同的数据类型,图片,视频等等。(3)数据之间的关联性强,交互频繁,大型电子商务网站和社交网络中,一些用户的点击行为在一定程度上反映了该用户潜在的兴趣爱好和需求,链接之间的关联性是很强的。
三、快速化,大数据多数据的处理也是有一定的要求的,有的应用要求对数据的处理做到实时、快速。比较常见的就是我们最好的1元购,每次都有来自不同区域的海量数据,要在一定的时间内完成数据的计算和分析,这就需要将分布式计算、并行计算等等深度的结合才能满足需求的。
四、价值高密度低,我们经常会看到很多虚假的信息,通常情况下正在有价值的信息还是很分散的、密度非常低的,要在海量中寻求有价值的信息还是很有技术要求的。
大数据应用
大数据的广泛存在是有一定的商业价值的,现在大数据已经被广泛的应用在医疗,教育,科研等等很多领域,比较常见的就是网络营销,在网上我们会经常遇到这样的问题,我们曾经搜索过的商品或者某个产品在某个网站上有产品推荐,比较常见的就是百度推广,我们在搜索网页的时候会有相关产品的推荐,这就是大数据的一个最为典型的数据分析应用,根据不同用户的不同需求会有不同商品的推荐。
大数据处理技术
有了大数据应用肯定有对于的技术来解决的,最为常见的就是hadoop海量数据离线处理,strom实时在线数据分析处理,spart启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
感兴趣的朋友可以和新霸哥交流共同学习。好了,新霸哥今天就写到这里了,接下来会继续的和大家一起分享更多新知识,当然也可以关注.
发表评论
-
后端架构师的知识体系之一基础组件
2018-11-21 22:31 256作为一个程序员,长 ... -
2016年末程序员应该知道的基本架构思想
2016-11-14 07:38 375说到系统的架构,初学者可能没有意识到,对于已经从事多年的开 ... -
2016年末程序员突破自我的绝密方法分享
2016-11-07 07:43 337新霸哥一直致力于了软件开发行业,从事软件开发快五年了,时间 ... -
2016程序员自学能力的培养方法有哪些?
2016-10-25 21:28 331近期新霸哥发现有 ... -
2016杭州云栖大会新亮点在这里
2016-10-17 07:27 317云栖大会已经圆满落幕,新霸哥近期一直在关注大会的一些情况, ... -
2016年学哪个编程语言最有前途?
2016-10-10 07:22 518说起哪个编程语言 ... -
准备加入软件开发行业的朋友可以看看
2016-09-26 07:33 279最近新霸哥注意到有一些的朋友想加入到IT行业中,因为现在这 ... -
为什么现在UML很少用了
2016-09-19 07:37 330新霸哥发现UML在面 ... -
软件开发中oracle查询常用方法总结
2016-09-12 07:37 259上次新霸哥和大家讲解了一些关于oracle的知识发现大家对 ... -
新霸哥带你轻松玩转Oracle数据库
2016-09-06 23:28 416接触过软件开发的 ... -
敏捷开发是一个什么样的开发模式
2016-08-29 07:39 263在信息技术高速发 ... -
这些云计算技术你了解过哪几种
2016-08-15 07:40 337新霸哥发现目前信息量高速增长的今天,IT行业正在面临着空间 ... -
Java与云计算有什么关系呢
2016-08-08 07:37 500在如今这个信息技术高速发展的今天,云计算已经不是一个陌生的 ... -
新霸哥带你进入java的世界
2016-08-01 07:46 303新霸哥从近期大家的留言中注意到了大家对基础知识比较重视,很 ... -
分布式数据库hbase详解
2016-07-25 07:47 355新霸哥注意到了在人类随着计算机技术的发展,数据的存储量发生 ... -
SQL和NOSQL有区别吗?
2016-07-18 07:44 417在大数据高速发展的今天,数据量在不断的增加,传统的数据库可 ... -
怎么充分利用大数据寻找商机?
2016-07-11 07:33 635在大数据时代,数据量日益增加,所以展现在我们面前的就有两个 ... -
mapreduce编程模型你知道多少?
2016-07-04 07:40 315上次新霸哥给大家介绍了一些hadoop的相关知识,发现大家 ... -
hadoop是什么?
2016-06-27 23:23 277在如今这个信息高 ... -
程序员入门有年龄限制吗?
2016-06-19 23:06 846年轻的我们很幸运 ...
相关推荐
【大数据详解:超越数据量的维度】 大数据,作为信息技术领域中的一个重要概念,早已不再仅仅意味着数据的体积庞大。它是一种现象,是互联网发展至当前阶段的必然产物,同时也是科技进步的象征,尤其在云计算技术的...
一篇文章让你认识并读懂大数据。在写这篇文章之前,我发觉周围专门多 IT 人关于这些热门的新技术、新趋势往往趋之若鹜却又专门难讲的透彻,假如你问他大数据和你有什么关系?可能专门少能讲出一二三来。究其缘故,一...
什么是大数据?什么是大数据?
大数据有什么意义?.pdf
基于spark技术体系,如何搭建大数据平台架构? 基于spark技术体系,如何搭建大数据平台架构? 基于spark技术体系,如何搭建大数据平台架构? 基于spark技术体系,如何搭建大数据平台架构? 基于spark技术体系,如何...
大数据应用案例-如何搭建大数据平台技术架构?.docx大数据应用案例-如何搭建大数据平台技术架构?.docx
湖仓一体是大数据的未来吗?-9.9.pdf
大数据相关知识,一些案例应用让你深入理解大数据的应用。
大数据究竟是什么.docx
什么是大数据? 什么是大数据?全文共42页,当前为第1页。 前言 赢在大数据时代 "大数据"是指以多元形式,许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、...
"一本书读懂大数据" 《一本书读懂大数据》是一本专门为初学者量身定制的大数据入门读物,全书从大数据的基本概念、技术框架、应用场景等多个方面进行了详细阐述,通过简洁易懂的语言和生动的案例,带领读者逐步揭开...
什么是大数据?.pdf
大数据隐私保护措施有哪些? .doc (2).docx大数据隐私保护措施有哪些? .doc (2).docx大数据隐私保护措施有哪些? .doc (2).docx大数据隐私保护措施有哪些? .doc (2).docx大数据隐私保护措施有哪些? .doc (2).docx...
【大数据概念】大数据是当前信息技术领域的一个核心概念,它指的是无法用传统数据库软件工具进行有效捕捉、管理和处理的海量、高增长速度和多样性的信息资产。大数据的特点通常概括为3V:Volume(大量)、Velocity...
1. 什么是大数据? 顾名思义,大数据首先最明显的特点就是数据量足够大,互联网大厂里面的数据量基本上原始日志单日的数据量能达到PB级别,经过处理后的中间表在TB级别,最终在平台上展示可以人工分析的数据最多只能...
大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT大数据可视化PPT...
读懂这三本书,才算真懂大数据(大数据时代+数据新常态+决战大数据).mobi
然而,当你已经决定要使用Hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。你有多种选择来安装Hadoop的一个版本并实现大数据处理。本文讨论了不同的选择,并推荐了每种选择的适用场合。下图...