java.io.IOException: File
/user/root/input could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
at
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
org.apache.hadoop.ipc.RemoteException:
java.io.IOException: File /user/root/input could only be replicated to 0 nodes,
instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
at org.apache.hadoop.ipc.Client.call(Client.java:740)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
at $Proxy0.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at
org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at
org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy0.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937)
at
org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2819)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
at
org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
原因:Configured Capacity也就是datanode 没用分配容量
[root@dev9106
bin]# ./hadoop dfsadmin -report
Configured Capacity: 0 (0
KB)
Present Capacity: 0 (0 KB)
DFS Remaining: 0 (0 KB)
DFS Used: 0 (0 KB)
DFS Used%: ?%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
解决方法:
<!--[if !supportLists]-->1.
<!--[endif]-->查看你的文件系统
[root@dev9106
/]# df -hl
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 1.9G 1.6G
302M 84% /
/dev/sda8
845G 47G 756G
6% /home
/dev/sda7 5.7G 147M
5.3G 3% /tmp
/dev/sda6 9.5G 4.0G
5.1G 45% /usr
/dev/sda5 9.5G 273M
8.8G 3% /var
/dev/sda1 190M 15M 167M 8% /boot
tmpfs
7.8G 0 7.8G
0% /dev/shm
<!--[if !supportLists]-->2. <!--[endif]-->修改文件Hadoop
conf/core-site.xml 中hadoop.tmp.dir的值
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/dhfs/tmp</value>
</property>
</configuration>
<!--[if !supportLists]-->3.
<!--[endif]-->停止hadoop服务,重新格式化namenode
<!--[if !supportLists]-->4.
<!--[endif]-->重启服务
<!--[if !supportLists]-->5.
<!--[endif]-->Ok
2. 运行hadoop程序时, 中途我把它终止了,然后再向hdfs加文件或删除文件时,出现Name
node is in safe mode错误:
rmr: org.apache.hadoop.dfs.SafeModeException:
Cannot delete /user/hadoop/input. Name node is in safe mode
解决的命令:
bin/hadoop dfsadmin -safemode
leave 关闭safe mode
分享到:
相关推荐
然而,在处理海量数据时,Hadoop平台常会遇到异常数据的挑战,这包括数据逻辑错误、数据链完整性缺失以及数据失效等问题。这些问题的出现严重干扰了云计算平台的数据运算准确性。 面对这些挑战,研究者们提出了针对...
Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案
Windows 搭建 hadoop2.7 环境,必备 winutils.exe + hadoop.dll,否则不能正常使用 hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常
配置好这些文件后,用户可以在Eclipse中顺利地运行和调试Hadoop MapReduce或YARN应用,避免因缺少依赖而导致的编译错误或运行时异常。同时,这对于本地开发和测试Hadoop应用程序,尤其是那些利用Hadoop生态系统组件...
在实际操作中,学生们可能会遇到数据清洗、去重、异常处理等问题,需要运用Python的pandas库进行数据预处理。然后,他们将在Hadoop环境中运行MapReduce程序,对数据进行分布式处理,比如统计、分析等操作。通过这些...
在开发过程中,将"hadoop-common.zip"解压后放入正确的目录,可以确保开发环境正确识别并使用Hadoop的相关组件,解决可能出现的异常。 当在IDE中使用Hadoop时,需要配置Hadoop的环境变量,包括HADOOP_HOME和PATH,...
这时,`hadoop.dll`文件就显得尤为重要,因为它能够帮助我们避免出现"nativeio异常"以及"winutils.exe空指针异常"。这两个异常是由于系统找不到必要的本地库或者执行文件导致的,直接影响到Hadoop在Windows平台上的...
在本地运行Spark时,如果Hadoop版本不匹配,可能会导致各种错误,例如类找不到异常、版本冲突等问题。因此,确保`hadoop.dll`与Spark和Hadoop的其他组件版本匹配至关重要。 4. **版本管理**:在处理多个版本的`...
在Windows环境中,NativeIO 使用特定的方法如 `access0` 来处理这些操作,但可能会遇到异常,表明本地系统与Hadoop的交互出现了问题。 描述中的异常 "org.apache.hadoop.io.nativeio.NativeIO$Windows.access0...
下载hadoop.dll放到HADOOP_HOME的bin目录下和windows系统的c:/window/system32/ 注意如果这个hadoop.dll的版本要和hadoop的一致,可以稍微高一点,低了可能就会报异常
它能够帮助开发者在编译阶段发现潜在的问题,比如空指针异常、资源泄漏等,从而提高代码质量和可维护性。使用FindBugs进行源码检查,可以确保Hadoop CDH的稳定性,并降低未来出现运行时错误的可能性。 编译Hadoop ...
没有这个文件,Windows系统上的Java应用程序将无法正确调用Hadoop的相关API,导致连接失败或运行异常。 在提供的压缩包文件中,有两个不同版本的文件: 1. winutils-hadoopdll2-7.rar:这个文件可能包含了适用于...
比如,在日志分析案例中,Hadoop可以从大量服务器日志中提取关键信息,如用户行为、系统状态等,然后通过MapReduce进行统计分析,找出访问热点或异常行为,帮助运营者优化服务。 总之,“Hadoop核心技术”涵盖了从...
2. 异常二:执行命令 hadoop fs -mkdir -p /lsy_test/test/就是同时创建多个文件夹出现异常,不能创建;解决方法:因为 HADOOP_INSTALL 环境变量指定的文件路径即 hadoop 安装文件解压后的文件夹中 bin/*.cmd 文件中...
此外,还可以使用机器学习算法预测订单趋势、识别异常行为或进行用户聚类。 数据可视化是让非技术团队理解分析结果的关键步骤。我们可以借助工具如Tableau、Echarts或Hadoop生态内的Hue来创建直观的图表和仪表盘。...
### 基于Hadoop的网络异常流量分布式检测研究 #### 内容概要与研究背景 本研究针对当前网络安全领域中的一个重要问题——网络异常流量检测进行了深入探讨。随着互联网技术的飞速发展,网络环境变得越来越复杂,...
标题 "hadoop_hadoop-2.7.2-hbase-jar.rar" 提供的信息表明,这是一个与Hadoop相关的压缩文件,具体来说是Hadoop 2.7.2版本的HBase JAR文件。Hadoop是一个开源框架,主要用于分布式存储和处理大数据。而HBase是建立...
在正常的集群运行状态下,所有节点对于集群中master节点的选择应该是一致的,但在网络不稳定时,就可能出现所谓的“脑裂”现象,即不同的节点对master节点的选择出现异常,导致集群状态信息的不一致。因此,如果数据...