转发:http://www.mapr.com/blog/lights-out-data-center-ready-hadoop?mkt_tok=3RkMMJWWfF9wsRonuqzIZKXonjHpfsX56%2BQkWqG0lMI%2F0ER3fOvrPUfGjI4ATcRhI%2FqLAzICFpZo2FFVG%2FCH
这是什么意思“数据中心准备关灯了”吗?这意味着,任何故障,无论是硬件,软件或用户错误不需要通过管理员操作。通常管理员可以访问的数据中心,并进行维护,现在是常规,而不是紧急情况。如购物车磁盘已满,管理员可以随时更换硬盘。
在与客户的讨论,这是立即明确表示,他们是Hadoop的高可用性的各种描述相混淆。我个人最喜欢的是另一家厂商的描述他们会提供“热手动故障转移”。咦?手动故障转移过程中是如何“热”? - 当集群不可用?这是最大的矛盾,因为“高可用性 - 而不是指”业务连续性。至少是从后者显然,它不是真的高可用。
相比之下,MapR已专门设计的高可用性是唯一的Hadoop的分布无单点故障。其他发行版本使用单一NameNode,该NameNode的节点出现故障时,整个集群变得不可用,你丢失数据。 NameNode的功能有了MapR,分布在集群。从某种意义上讲,所以没有数据丢失或停机,甚至在面对多个磁盘或节点故障,MapR有一个“无NameNode的”架构。
当我们谈论高可用性,我们谈论的自动化,状态故障转移所有的软件和硬件错误。自动数据重新复制,意味着你的系统将通过没有问题的任何错误。 MapR的滚动升级,保证高可用性,在例行的硬件和软件维护。
还内置MapR镜像和快照 - 旨在有效地保持数据的完整性和业务连续性,跨集群和网站的功能完整的数据保护。这是重要的,因为复制其他使用Hadoop的分布并不防止用户或应用程序在集群复制,但与MapR得到充分保护您的错误。 MapR使得容易保护数据,您将体验零写在快照原始性能损失,PB的快照可以在短短几秒钟。
因此,当考虑为Hadoop的高可用性确保获得完整的架构,然后你可以放心地关灯。
分享到:
相关推荐
通常,Hadoop的版本发布会包括对HBase和Hive的兼容性测试报告,但这并不意味着所有早期版本的HBase和Hive都能与新版Hadoop完全兼容。相反,有时候新版本的Hadoop可能需要与特定版本的HBase和Hive一起使用才能正常...
对于0.20和1.0版本的Hadoop,可能需要找到对应版本的插件源,因为随着Hadoop的迭代,某些旧版本的插件可能不再提供。 3. 插件特性: - **项目创建**:插件提供了创建Hadoop MapReduce项目的向导,引导用户完成项目...
支持如下版本的Hadoop hadoop-2.6.0 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0
本文将详细介绍这两个组件以及如何在Windows系统下配置Hadoop 2.7.2版本的开发环境。 首先,`hadoop.dll`是Hadoop在Windows平台上的一个动态链接库文件,它包含了Hadoop运行所需的特定功能。由于Hadoop主要设计为在...
本文将介绍Hadoop、HBase、Hive以及ZooKeeper的版本整合兼容性,以及如何根据版本找到兼容性信息。 首先,Hadoop是一个开源的分布式存储和计算框架,它由HDFS和MapReduce两部分组成。HDFS用于存储大数据,而...
官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程框架,设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的...
缺少winutils.exe回报如下错误: Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下: Unable to load native-hadoop library for your platform… using ...
在标题中提到的“hadoop2.6.0版本hadoop.dll和winutils.exe”是针对Windows环境下运行Hadoop的一些关键组件。 1. **Hadoop 2.6.0**: 这是Hadoop的一个主要版本,发布于2014年,带来了许多增强和改进。在Hadoop 2.x...
windows64位hadoop2.7版本hadoop.dll 文件,前一个版本文件有点问题,在window64位下,通过hdfs上传会报错。
Hadoop是一款开源的大数据处理框架,最初由Apache软件基金会开发,旨在提高分布式系统上大规模数据集的处理效率。Windows版的Hadoop使得在个人计算机上搭建Hadoop环境成为可能,尤其是对于开发者和学习者而言,这...
hadoop-2.8.0 版本的eclipse插件
hadoop3.0.0 windows平台需要的文件 .
windows环境下运行hadoop的mapreduce程序需要的hadoop.dll winutils.exe等文件,使用方法见解压文件,该文件对应的hadoop版本是 2.7.2 , 请注意版本一致
标题中的“不同Hadoop版本winutils文件包”指的是在Windows环境下使用Hadoop时,需要的一个关键组件——winutils.exe。这个文件是Hadoop为了解决Windows操作系统与Hadoop的兼容性问题而提供的,因为Hadoop原本是设计...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
2.8.2是Hadoop的一个稳定版本,提供了许多改进和修复,使得在Linux系统上的运行更为可靠。在这个版本中,用户可以期待更高效的集群管理和数据处理性能。 在Linux环境下安装Hadoop 2.8.2,首先需要下载对应的tar.gz...
windows下做hadoop入门,会出现hdfs报错,2.7.7版本兼容 windows下做hadoop入门,会出现hdfs报错,2.7.7版本兼容 windows下做hadoop入门,会出现hdfs报错,2.7.7版本兼容
这个压缩包“hadoop-2.6.0.tar.gz”包含了Hadoop 2.6.0版本的所有组件,是搭建Hadoop集群的关键组成部分。在这个版本中,Hadoop已经相当成熟,提供了许多改进和新特性,使得它在大数据处理领域更加高效和稳定。 在...
本主题将聚焦于Hadoop的不同版本及其bin目录中的关键文件,特别是针对Windows环境的组件。 标题“Hadoop各个版本bin内文件”指的是Hadoop不同发行版的bin目录下的内容。bin目录是Hadoop安装目录下的一个子目录,...