`
david.org
  • 浏览: 157462 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop 客户端(DfsClient)需要处理管道异常的情况.

阅读更多
hadoop客户端实例在运行较长时间后, 如中间在put文件的过程中, 出现网络异常, 比如节点和节点之间传输时的网络异常, 那么客户端(DFSClient)抛出异常, 如当中的processDatanodeError(
boolean hasError, boolean isAppend)方法中的All datanode XXX are bad. Aborting异常, 当程序执行至此, closed被置为true, 那么即使上层使用out.close(); 方法尝试关闭流, 但DFSClient 由于closed被置为true, 而无法关闭文件. (假如该客户端实例永久运行下去, 那么该文件永远不会关闭.

issue on jira: https://issues.apache.org/jira/browse/HDFS-951
分享到:
评论
2 楼 david.org 2010-02-08  
yangfuchao418 写道
楼主有点表述不清,我也正在使用Hadoop 欢迎一起交流。目前使用Hadoop的公司不多。Lucene2010@hotmail.com MSN


嗯?哪里没有表达清楚?如果不清楚的话,可以参考 https://issues.apache.org/jira/browse/HDFS-951
1 楼 yangfuchao418 2010-02-07  
楼主有点表述不清,我也正在使用Hadoop 欢迎一起交流。目前使用Hadoop的公司不多。Lucene2010@hotmail.com MSN

相关推荐

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop 客户端权限问题

    这个特定的错误日志"org.apache.hadoop.security.AccessControlException: Permission denied: user=xudsa, access=WRITE, inode="/uploaddemo1.txt":hadoop:supergroup:-rw-r--r--"表明用户"xudsa"试图对文件"/...

    hadoop-client-2.6.5.jar

    hadoop-client-2.6.5.jar

    Hadoop客户端Java代码.zip

    本压缩包"**Hadoop客户端Java代码.zip**"包含了使用Java语言编写Hadoop客户端应用的源代码,这对于理解Hadoop的客户端编程接口以及进行数据处理是非常有帮助的。以下是基于Hadoop客户端Java代码的一些关键知识点: ...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    hadoop-yarn-client-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...

    hadoop-2.2.0-x64.tar.gz part2

    hadoop-2.2.0 64bit下载,自己编译的 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

    hadoop0.23.9离线api

    All Classes Packages org.apache.hadoop org.apache.hadoop.classification org.apache.hadoop.conf org.apache.hadoop.contrib.utils.join org.apache.hadoop.examples ...org.hadoop.yarn.client

    hadoop-2.2.0-x64.tar.gz part3

    自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

    hadoop-3.1.0.zip,windows 编译后bin文件,windows Hadoop客户端环境

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理大量数据,是大数据处理领域的重要工具。这个“hadoop-3.1.0.zip”压缩包包含了在Windows平台上编译后的Hadoop bin文件,这些文件是...

    各个版本Hadoop,hadoop.dll以及winutils.exe文件下载大合集

    通常,Hadoop是设计在Linux系统上运行的,但开发者为了在Windows上运行Hadoop,会创建像`hadoop.dll`这样的动态链接库文件。这个文件使得Windows系统能够理解Hadoop的某些操作,如与HDFS交互。 `winutils.exe`是另...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    hadoop-fuse-dfs安装.docx

    - 下载CDH集群中的HDFS客户端配置文件,并将`core-site.xml`和`hdfs-site.xml`两个文件复制到`/etc/hadoop/conf.empty`目录下覆盖原有文件,以确保Hadoop-Fuse-Dfs使用的是与CDH集群一致的配置信息。 #### 三、...

    hadoop-3.1.3.tar.gz

    <name>hadoop.tmp.dir <value>/app/hadoop/tmp ``` HDFS配置hdfs-site.xml则涉及NameNode和DataNode的相关参数,如副本数量和数据存储路径: ```xml <name>dfs.replication <value>3 <name>dfs....

    Hadoop client server通讯分析

    在Hadoop中,客户端(Client)负责提交任务、读写数据,而服务器端则包括NameNode、DataNode和TaskTracker等组件,它们处理客户端请求,管理数据存储和任务调度。 二、HDFS通信 1. 客户端与NameNode交互: 当...

    hadoop-2.7.1.tar.gz.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本,这是一个非常重要的里程碑,因为它包含了对Hadoop...

    hadoop-2.2.0-x64.tar.gz part1

    hadoop-2.2.0, 64 bit,下载 自己编译的64bit的hadoop-2.2.0,...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

    hadoop-yarn-client-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-yarn-client-2.7.3.jar; 赠送原API文档:hadoop-yarn-client-2.7.3-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.7.3.pom;...

    hadoop.dll、winutils.exe

    在这个场景中,`hadoop.dll` 和 `winutils.exe` 是在Windows环境中配置Hadoop所必需的二进制文件,特别是对于那些在非Linux系统上运行Hadoop集群的用户来说,这两个文件至关重要。 `hadoop.dll` 是一个动态链接库...

    hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...

Global site tag (gtag.js) - Google Analytics