- 浏览: 160802 次
- 来自: ...
文章分类
- 全部博客 (151)
- Liferay.in.Action (3)
- 集群 (12)
- web (5)
- jna (2)
- 数据库 (7)
- Terracotta (11)
- xml (1)
- Hibernate (3)
- Jdbc (2)
- DDD (10)
- nosql (7)
- 云存储 (3)
- 云产品 (7)
- 云计算 (26)
- Hadoop (11)
- 虚拟化 (5)
- REST (3)
- 程序人生 (11)
- google (2)
- 安全应用 (5)
- LDAP (0)
- 安全技术 (5)
- android (4)
- 网络妙语 (1)
- HTML5 (1)
- 搜索引擎 (1)
- 架构设计 (5)
- redis (3)
- Cassandra (2)
最新评论
-
liwanfeng:
情况是这样的,你的文件我觉得还是比较小,我现在需要处理的XML ...
dom4j处理大文件
原文 http://www.iteye.com/news/25197
Apache Hadoop社区近日发布了最新的Apache Hadoop 2.0 Alpha版本,这标志着Apache Hadoop进入了一个新的分支。
Hadoop是Apache的顶级开源项目,由前雅虎开发者Doug Cutting(也是Nutch和Lucene的创始人)开发的分布式计算平台,是一个能够对大量数据进行分布式处理的框架。用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力高速运算和存储。
该版本提供了一些新的、重要的功能,包括:
需要注意的是,该版本还处于Alpha阶段,部分功能还在部署中,不可用于实际生产。
文档:http://hadoop.apache.org/common/docs/r2.0.0-alpha/
下载地址:http://hadoop.apache.org/common/releases.html
Hadoop是Apache的顶级开源项目,由前雅虎开发者Doug Cutting(也是Nutch和Lucene的创始人)开发的分布式计算平台,是一个能够对大量数据进行分布式处理的框架。用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力高速运算和存储。
该版本提供了一些新的、重要的功能,包括:
- HDFS HA,当前只能实现人工切换。
- YARN,下一代MapReduce这是一套资源统一管理和调度平台,可管理各种计算框架,包括MapReduce、Spark、MPI等。
- HDFS Federation,允许HDFS中存在多个NameNode,且每个NameNode分管一部分目录,而DataNode不变,进而缩小了故障带来的影响范围,并起到一定的隔离作用。
- 基准性能测试
- 通过protobufs来提供HDFS和YARN的兼容性
需要注意的是,该版本还处于Alpha阶段,部分功能还在部署中,不可用于实际生产。
文档:http://hadoop.apache.org/common/docs/r2.0.0-alpha/
下载地址:http://hadoop.apache.org/common/releases.html
发表评论
-
Cassandra 分布式数据库详解,第 1 部分:配置、启动与集群
2012-08-01 11:13 934原文 http://www.ibm.com/devel ... -
Cassandra 分布式数据库详解,第 2 部分:数据结构与数据读写
2012-08-01 11:11 934原文 http://www.ibm.com/develope ... -
让 WordPress 使用 Redis 缓存来进行加速
2012-08-01 11:00 975原文 http://www.oschina.net/quest ... -
Linux 下 Redis 安装详解
2012-08-01 10:54 861原文 http://www.oschina.net/qu ... -
Redis作者:深度剖析Redis持久化
2012-08-01 10:37 870原文 http://www.iteye.com ... -
Hadoop学习笔记之在Eclipse中远程调试Hadoop+0700错误的处理
2012-08-01 00:15 0原文 http://www.blogjava.net/y ... -
华为称IT业五年内面临变革 云计算列入核心战略
2012-07-31 10:32 0原文 http://www.hadoopor.com/ ... -
Google在新的内容索引系统中放弃MapReduce
2012-07-31 10:30 867原文 http://www.hadoopor.co ... -
微软展开“大数据”蓝图,推进Hadoop至Azure和Windows Server
2012-07-31 10:13 919原文 http://www.iteye.com/news/23 ... -
Hadoop分布式文件系统:架构和设计要点
2012-07-31 10:07 793摘自 http://www.blogjava.net/ ... -
淘宝数据魔方技术架构解析
2012-07-31 10:09 776原文 http://www.programmer.com.c ... -
MongoDB Hadoop Connector 1.0 正式版发布
2012-07-30 16:01 915原文 http://www.iteye.com/news/24 ... -
VMware发布开源项目Serengeti,支持云中部署Apache Hadoop
2012-07-30 15:55 804原文 http://www.iteye.com/news/25 ... -
安全第一!VMware云安全八项新举措
2012-07-30 16:03 927云与安全,就这 ... -
EMC与VMware和Intel联手云安全
2012-07-28 14:05 698原文 http://security.zdnet.com.cn ... -
剖析开源云
2012-07-28 13:11 686原文 http://www.oschina.net/q ... -
怎样部署基于Spring与数据库的应用到CloudFoundry
2012-07-26 15:16 802原文 http://www.oschina.net/q ... -
深度剖析CloudFoundry的架构设计
2012-07-26 15:17 777原文 http://qing.weibo.com/22 ... -
Cloud Foundry——Azure杀手?
2012-07-25 09:54 1047原文 http://cloud.csdn.net/a/ ... -
业界首个开放式云服务平台Cloud Foundry
2012-07-25 09:52 997原文 http://sd.csdn.net/a/201 ...
相关推荐
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的出现为大数据处理提供了高效、可靠的解决方案。这个【标题】"hadoop-2.0.4官方源代码"代表着Hadoop的2.0.4版本的原始代码,这是一次重要的发布,因为它...
这个压缩包文件“hadoop-2.0.0-alpha-src”很可能包含了Hadoop 2.0的第一个alpha版本的源代码,这是一个重要的里程碑,因为Hadoop 2.0引入了许多关键改进和新特性。 1. **HDFS(Hadoop Distributed File System)**...
Sqoop 是一个在 Linux 环境下广泛使用的工具,用于在关系数据库和 Apache Hadoop 之间高效地导入和导出数据。这个压缩包“Sqoop-linux.zip”包含两个版本的 Sqoop 安装包:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar....
虽然Ozone目前仍处于Alpha测试阶段,但其设计目标是解决HDFS在处理小文件方面的局限性,有望成为未来Hadoop生态系统中重要的对象存储组件。 #### 四、总结 综上所述,对象存储是当前应对海量非结构化数据存储需求的...
apache-flume-1.7.0-bin.tar.gz,apache-hive-1.2.1-bin.tar.gz,apache-hive-2.1.0-bin.tar.gz,FileZilla_Server-0_9_60_2.exe,hadoop-2.7.2.tar.gz,hbase-1.1.5-bin.tar.gz,kafka_2.11-0.10.2.0.tgz,mysql-...
HBase属于Apache Hadoop生态系统的一部分,与HDFS(Hadoop Distributed File System)紧密集成,提供了对大规模数据集的实时访问。 在"标题"hbase-2.0.0中,我们看到的是HBase的一个特定版本,即2.0.0。这个版本...
4. 2015 年:HAWQ 2.0 版本发布,Apache HAWQ 孵化。 5. 2018 年:OushuDB 正式毕业成为顶级项目。 OushuDB 的特性包括: 1. 全新 SIMD 执行器,性能提升约 5-10 倍。 2. 支持新一代可插拔存储框架,原生支持 HDFS...
OushuDB发展历程展示了其从2011年到2018年的时间线,包括原型系统、HAWQ的alpha版、HAWQ 1.0版、HAWQ 2.0版,以及2018年正式成为Apache顶级项目。 从【部分内容】可以看出,OushuDB具有基于成本的优化器、ANSI SQL...
#### HBase 2.0版本发布历程 HBase 2.0版本自分支创建以来,经过长时间的开发与测试,最终在2018年4月29日正式发布。这一过程中历经多次alpha和beta版本的迭代,确保了新版本的质量与稳定性。HBase 2.0引入了一系列...
通过Phoenix和Java访问HBase 该存储库是有关如何通过Phoenix和Java访问HBase并执行CRUD操作的简单示例。 由于我在HBase的设置上使用伪分布式模式,因此... /phoenix-5.0.0-alpha-hbase-2.0-bin/bin/queryserver.py sta
4. HAWQ 2.0及Apache Incubating:HAWQ被引入Apache孵化器,成为开源项目,这标志着其社区参与度和开放性进一步增强。 **偶数科技的HAWQ++** 偶数科技(Oushu Tech)对HAWQ进行了扩展和优化,推出了HAWQ++。HAWQ++...
HAWQ,原生设计为Hadoop的并行SQL引擎,经历了从GoH到HAWQ Alpha,再到HAWQ 1.0和1.x的演进过程,并在HAWQ 2.0阶段进入Apache孵化器,成为了偶数科技HAWQ++的基础。HAWQ++进一步增强了HAWQ的功能,提供更先进的特性...