由于原来配置的hadoop data目录快要用满了,故准备修改配置文件增加数据目录,以便扩容,但由于疏忽,把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录,但未创建实际目录,重启datanode服务时,报如下错误:
2014-11-18 08:51:39,128 WARN org.apache.hadoop.hdfs.server.common.Util: Path /data1/cdh/data/hadoop-hdfs/data should be specified as a
URI in configuration files. Please update hdfs configuration.
2014-11-18 08:51:39,129 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registe
ring> (Datanode Uuid unassigned) service to namenode.hadoop/192.168.136.177:9000
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volum
es failed: 1, volume failures tolerated: 0
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl.<init>(FsDatasetImpl.java:194)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetFactory.newInstance(FsDatasetFactory.java:34)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetFactory.newInstance(FsDatasetFactory.java:30)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:936)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:895)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:274)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:813)
at java.lang.Thread.run(Thread.java:745)
2014-11-18 08:51:39,129 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (
Datanode Uuid unassigned) service to namenode.hadoop/10.219.136.170:9000
2014-11-18 08:51:39,230 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with
NN
java.lang.Exception: trace
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:143)
at org.apache.hadoop.hdfs.server.datanode.BlockPoolManager.remove(BlockPoolManager.java:91)
at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:854)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.shutdownActor(BPOfferService.java:350)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.cleanUp(BPServiceActor.java:617)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:835)
at java.lang.Thread.run(Thread.java:745)
?error
2014-11-18 08:51:06,567 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-11-18 08:51:06,568 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2014-11-18 08:51:06,851 INFO org.apache.hadoop.hdfs.server.common.Storage: Data-node version: -55 and name-node layout version: -55
2014-11-18 08:51:06,954 INFO org.apache.hadoop.hdfs.server.common.Storage: Locking is disabled
2014-11-18 08:51:06,955 INFO org.apache.hadoop.hdfs.server.common.Storage: Restored 0 block files from trash.
2014-11-18 08:51:06,502 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Refresh request received for nameservices: null
2014-11-18 08:51:06,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting BPOfferServices for nameservices: <default>
2014-11-18 08:51:06,567 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-11-18 08:51:06,568 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2014-11-18 08:51:06,851 INFO org.apache.hadoop.hdfs.server.common.Storage: Data-node version: -55 and name-node layout version: -55
2014-11-18 08:51:06,954 INFO org.apache.hadoop.hdfs.server.common.Storage: Locking is disabled
2014-11-18 08:51:06,955 INFO org.apache.hadoop.hdfs.server.common.Storage: Restored 0 block files from trash.
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl.<init>(FsDatasetImpl.java:194)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetFactory.newInstance(FsDatasetFactory.java:34)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetFactory.newInstance(FsDatasetFactory.java:30)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:936)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:895)
java.lang.Exception: trace
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:143)
at org.apache.hadoop.hdfs.server.datanode.BlockPoolManager.remove(BlockPoolManager.java:91)
at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:854)
java.lang.Exception: trace
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.getBlockPoolId(BPOfferService.java:143)
at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdownBlockPool(DataNode.java:856)
2014-11-18 08:51:09,077 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2014-11-18 08:51:09,108 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at slave1/192.168.36.20
解决方法:修改hdfs-site.xml文件中dfs.datanode.data.dir内容为如下配置方式
<property>
<name>dfs.datanode.data.dir</name>
<value>
file:///data/cdh/data/dfs/data,file:///data1/cdh/data/hadoop-hdfs/data
</value>
<final>true</final>
</property>
之前是后面添加的目录配置方式没有加上file://前缀
,重启就OK
分享到:
相关推荐
2. **HDFS**:HDFS是Hadoop的数据存储系统,它将大型数据集分布在集群的多个节点上,提供高容错性和高可用性。HDFS的设计目标是处理PB级别的数据。 3. **MapReduce**:MapReduce是一种编程模型,用于处理和生成...
本文档旨在为 Hadoop 集群维护提供详细的操作指南,从集群启动和停止到数据平衡、节点添加、副本系数设置、平衡阈值调整、Hadoop 升级等多个方面,提供了实践操作步骤和注意事项。 一、集群启动和停止 Hadoop 集群...
1. 备份 dfs.namenode.dir 下的文件和 hdfs 文件目录的元数据信息。 2. 停止所有节点,重新部署 Hadoop 并替换 conf 文件夹下的所有文件。 3. 使用 bin/start-dfs.sh -upgrade 命令升级 Hadoop 版本。 4. 监控升级...
它基于分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce计算模型,能够处理PB级别的数据。 2. **Eclipse集成的重要性** 在传统的开发模式下,Hadoop应用的开发需要在命令行环境中进行,这给...
在大数据领域,Hadoop生态圈包含了众多组件,如HDFS(分布式文件系统)、MapReduce(分布式计算框架)、HBase(NoSQL数据库)、Hive(数据仓库工具)、Pig(数据分析工具)、Flume(日志收集系统)、Sqoop(数据导入...
《Hadoop Eclipse Plugin 2.7.3:整合开发环境的利器》 Hadoop Eclipse Plugin 2.7.3是一款专门为Hadoop...在处理大规模数据时,这种整合无疑将极大地推动项目的进度,降低出错率,是Hadoop开发人员不可或缺的利器。
`ranger-2.0.0-hdfs-plugin.tar.gz` 是一个预编译的Apache Ranger HDFS插件的归档文件,为用户提供了一个方便的方式来为Hadoop集群添加安全层,而无需自己经历繁琐且可能出错的编译过程。 Ranger的核心功能包括: ...
在每台机器完成单机部署后,接下来要进行集群配置,包括配置Hadoop的配置文件(如core-site.xml、hdfs-site.xml、mapred-site.xml等),设置主机名,配置 slaves 文件,以及在所有节点之间共享密钥以实现SSH免密登录...
- 注意:避免使用Hadoop-2.7.7的jar包,因为它可能导致程序出错。 - 快捷键“Shift + Ctrl + O”可以帮助自动导入所需的包。 **2. 文件上传与下载** - **上传**: - 使用`FileSystem`类和相关方法。 - 示例代码...
在IT行业中,分布式计算框架Hadoop是大数据处理的关键技术之一,而Spark则是在Hadoop基础上发展起来的更快、更易用的数据处理引擎。YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统,它为大数据处理...
数据仓库工程师面试题 下面是对数据仓库的详细介绍和知识点总结: 什么是数据仓库? 数据仓库(Data Warehouse)是指一个...开发步骤包括确定 CDC 策略,设计 mapping 文档,设计物理模型,抽取数据,加载数据等。
在Hadoop环境中,由于每个文件都会占用一定的元数据空间,如果存在大量小文件,会极大地增加HDFS的元数据负担,降低系统的整体性能。因此,将小文件合并成大文件可以优化存储效率和处理速度。 标题中的"结构化成行...
如果是首次启动Hadoop,确保你已经完成了所有必要的初始化步骤,如设置HDFS的初始化目录结构、配置集群中的所有节点等。 10. **YARN和MapReduce**: 如果你打算运行MapReduce作业,还要确保YARN(Yet Another ...
在Hadoop和HBase生态系统中,`fsimage`文件是Hadoop HDFS(Hadoop Distributed File System)NameNode的重要组成部分,它存储了HDFS的元数据快照。当`fsimage`损坏时,可能会对整个Hadoop集群的稳定性和HBase服务...
1. **HDFS Browser**:用于浏览和管理Hadoop分布式文件系统中的文件和目录。 2. **Hive Editor**:支持编写Hive SQL查询,并提供了自动补全和语法高亮等功能。 3. **Impala Shell**:提供对Impala的交互式查询支持,...
3. **优化数据写入模式**:采用批量写入或异步写入等方式,减少对HDFS的压力。 4. **监控和优化网络**:检查网络状况,确保网络稳定可靠,必要时可考虑优化网络配置。 通过以上措施,可以有效缓解高并发写入场景下...
由于Hive和HBase的数据均存储于HDFS之上,因此该步骤也间接实现了Hive和HBase数据的迁移。 2. **Hive元数据迁移**:随后,需要将源集群中的Hive元数据导出并导入到新的集群中。这样可以确保Hive表结构及其依赖关系在...
这一机制是基于Hadoop计算框架的集成原理,其中HDFS的静态功能主要由后端类库和架构本身实现。 总结来说,本研究提出的系统设计方法能够有效集成R语言强大的数据分析能力与SDL语言的模块化设计优点,通过与Hadoop和...
Apache Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户使用 SQL 类似的查询语言(HQL,Hive Query Language)来处理存储在 Hadoop 分布式文件系统(HDFS)中的大数据集。Hive 提供了数据整理、简单SQL查询以及...