- 浏览: 155342 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030:
你好,我想计算n篇文章的相似度,用mahout能处理吗,如何做 ...
mahout使用 -
di1984HIT:
OK,真的很牛啊
hadoop常见错误 -
xwl1991:
还真是这个问题 !
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
随着Microsoft 也加入Hadoop 阵营,Hadoop 已经完全变成了DBMS 的好朋友了 , 2年之前的SIGMOD组织提出的“A Comparison of Approaches to Large-Scale Data Analysis”引发了关于并行数据库和MapReduce模型的讨论, 双方唇枪舌剑之后发现两个系统根本就是各有所长, DBMS 目前有些处理好的领域和商业支持,Hadoop 也有自己的优势和使用案例.
就如前一篇TDWI 所说的3个V 问题,新一代Hadoop MapReduce 主要解决的是数据容量和多种类型的数据(结构化,半结构化,非结构化). 而传统的MPP DBMS 解决的主要还是速度,低延迟,实时性的问题.
DBMS | Hadoop |
低延迟,一般响应时间为秒 | 高延迟,一般响应时间最少为分钟 |
较高的吞吐(同一时间执行sql数) | 可以提交很多任务,但不一定快速执行. |
处理的数据量有限制(目前为P) | 可以处理大量的数据(从10p到1E) |
硬件有特殊需要,不能随时添加 | 硬件可随时添加,增加计算能力 |
假设机器是随时可用的,不对失败做处理 | 默认机器故障时正常的,可以容忍机器失效并用其它迅速机器替代 |
数据库模式过渡优化 | 对数据格式没有限制 |
数据满足完整性(外键) | 用户程序需要自己验证完整性 |
必须提前知道使用模式并进行优化 或者根据使用一段时间之后的情况进行特定优化 |
面对未知的使用模式,常规使用模式可以做一定程度的优化. |
需要添加额外的优化计算(索引,分区等) | 大部分情况不用额外优化 |
CPU,内存,磁盘,网络利用率较为高效 | 资源利用率不算高效,人为优化需要较多技巧,目前没有DBMS 优化技术成熟 |
储存能力有限, 磁盘不能随意扩展 | 储存能力极高,随时可以按需扩展 |
磁盘比较昂贵,经常访问的数据可使用高端SSD | 廉价磁盘,随意保存多份数据防止丢失 |
线型扩展能力一般, 一般到几百台机器有瓶颈 | 极高的线型扩展能力,目前yahoo 的为4000台,下一代Hadoop 目标6000 – 10000台 |
不具备开放性,必须数据库厂商提供功能 | 高端开放性,大多数组织参与合作 |
分析能力需要默认提供 | 可以自己编写UDF 函数,随时扩展功能. |
不太适合用来保存过多的历史数据 | 可以保存任意多的历史数据,随时可以访问. |
不能处理半结构化或非结构化的数据 | 可以处理XML,图片,音频视频等任意格式数据 |
有厂商在数据库内提供MapReduce功能 (Aster Data 和Greenplum) |
有厂商希望在Hadoop 内添加MPP DBMS 的特性降低延迟提高吞吐能力(Hadapt , MapR) |
可以随时装载最新数据并查询和分析 | 一般都是批量处理 , 需要特定的技术才能进行实时或叫准实时的计算 |
实施费用较为昂贵 | 免费开源 |
人员培训较为简单,拥有成熟的人才市场 | 需要IT 人员拥有较高的技能,而且培训较少. |
目前DBMS 还是在其关系型领域拥有绝对的竞争力, 适合多种不同的功能需要.
Hadoop 目前还是主要以廉价的解决方案,活跃的社区,储存能力和非结构化数据的处理见长.
目前有名的数据仓库提供商都开始在自己的产品线里面提供直接的Hadoop 集成,帮助用户选择合适的技术做合适的事情.
一些比较成功的数据仓库使用者都会同时使用DBMS 和Hadoop , 比如Ebay, Walmart, Yahoo, LinkedIn等
一些特殊的行业也会完全使用Hadoop 做其数据仓库的完整解决方案. 比如Facebook , Twitter .
Microsoft 加入Hadoop 估计也就是提供一下Windows 的便捷开发的然后骗骗用户“我们有大规模计算的能力了”,估计真要在Windows 服务器上跑Hadoop 效果可想而知.
参考资料
争论之后的A Comparison of Approaches to Large-Scale Data Analysis
http://database.cs.brown.edu/projects/mapreduce-vs-dbms/
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2356转自:http://www.kaifajie.cn/mySQL ... -
大数据的储存:百度HDFS集群的数据压缩
2012-08-30 17:48 12112012年4月13日,由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1944转自:http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1826转自:http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1429转自:http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4336优化时,把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1397从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6229安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1149对于HDFS集群,经常长时间的运行,尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 935转自:http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2277转自:http://www.4ucode.com/Study/ ... -
在XP系统下配置eclipse集成hadoop开发
2012-05-05 11:09 1051一、目的:由于hadoop只能在Linux环境下运行,所以对于 ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1100转自:http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 876志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2066转自:http://www.bwxxkj.com/a/jish ... -
hadoop中的trash机制,恢复删除的文件
2012-03-31 13:46 2203Hadoop回收站trash,默认是关闭的。 1.修改con ... -
Hadoop 中的两表join
2012-03-29 12:20 853转自:http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1386转自:http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1674错误1:bin/hadoop dfs 不能正常启动,持续提 ... -
hbase运维
2012-03-23 17:33 1310转自:http://blog.bluedavy.c ...
相关推荐
Hadoop的设计理念是容错性、高扩展性和高效性,使得它能够处理PB级别的数据。HDFS保证了数据的冗余和高可用性,而MapReduce则提供了并行处理数据的能力,让大数据分析变得可行。 在Hadoop生态系统中,Zookeeper是一...
在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说,它们在本地开发和运行Hadoop相关应用时必不可少。`hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供...
Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`和`winutils.exe`是两个关键组件,它们对于在Windows环境下运行Hadoop至关重要。 ...
在开发和调试过程中,这个文件对于理解Hadoop接口和检查函数调用的正确性非常有用。 然后,winutils.exe是Hadoop在Windows上的实用工具集,它提供了类似于Linux环境下hadoop命令的功能。例如,它能够管理HDFS的文件...
Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两个关键组件,它们对于在Windows环境下运行Hadoop至关重要。 Winutils.exe是...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理...Hadoop 3.0.0版本带来了许多改进和新特性,进一步提升了Hadoop在大数据领域的效率和适应性。理解这些组件和版本更新对于理解和使用Hadoop至关重要。
它将大文件分割成块,并将这些块复制到多个节点上,以确保容错性和高可用性。MapReduce则是一种编程模型,用于大规模数据集的并行处理,它将任务分解为"映射"和"化简"两个阶段,便于在集群中并行执行。 在Windows...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
标题中的“hadoop.dll & winutils.exe For hadoop-3.0.0”是指在Hadoop 3.0.0版本中使用的两个关键组件:hadoop.dll和winutils.exe。这两个文件对于在Windows环境中配置和运行Hadoop生态系统至关重要。 Hadoop是一...
在本场景中,我们讨论的是在Windows 10环境下,配合JDK 1.8.0_162和Eclipse 2020-03版本,与Hadoop 2.9.2的兼容性。 1. **Hadoop-Eclipse-Plugin插件**: Hadoop-Eclipse-Plugin是Apache Hadoop项目的一部分,它为...
8. **版本更新**:《Hadoop权威指南4》相较于早期版本,可能包含了Hadoop的新特性和改进,例如YARN的引入、HDFS的优化、安全性的增强等。这些更新对于跟踪Hadoop的最新进展至关重要。 9. **最佳实践**:书中通常会...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它最初设计的目标是处理和存储海量数据,尤其适合那些不适合在单台机器上运行的大型数据集。本篇将详细介绍如何在Windows系统中安装Hadoop...
"winutils"和"hadoop.dll"是Hadoop在Windows上运行的关键组件。 **winutils.exe** 是一个用于Windows环境的实用工具,它提供了类似于Linux环境下的某些功能,比如设置HDFS(Hadoop Distributed File System)的权限...
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
在Hadoop生态系统中,`winutils.exe` 和 `hadoop.dll` 是两个关键的组件,主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的,因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...
在标题中提到的“hadoop2.6.0版本hadoop.dll和winutils.exe”是针对Windows环境下运行Hadoop的一些关键组件。 1. **Hadoop 2.6.0**: 这是Hadoop的一个主要版本,发布于2014年,带来了许多增强和改进。在Hadoop 2.x...
在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的...在Hadoop-2.7.1这个版本中,这些工具的稳定性和功能性得到了很好的保障,使得Windows用户也能享受到Hadoop带来的强大数据处理能力。
Hadoop 2.6是Hadoop发展过程中的一个重要版本,它带来了许多性能优化和功能改进,旨在提高集群效率和稳定性。本资源提供了适用于64位操作系统的Hadoop相关组件,包括hadoop.dll和winutils.exe,这对于在Windows环境...
如果可能的话,推荐使用Linux环境来运行和管理Hadoop集群,以获得更好的稳定性和性能。 在使用这两个文件时,确保将它们放在Hadoop的安装路径下,并正确配置`HADOOP_HOME`和`PATH`环境变量,以便系统能够找到并正确...
支持如下版本的Hadoop hadoop-2.6.0 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0