`
standalone
  • 浏览: 610093 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

DFS Read Exception: No live nodes contain current block

阅读更多

I met this problem when I testing the open file operation latency of HDFS. In the stress test, I continuously open and close files for about 1000 seconds.

See the resolution below.
I get it from http://wiki.apache.org/hadoop/Hbase/Troubleshooting#6

Problem: "No live nodes contain current block"
See an exception with above message in logs (usually hadoop 0.18.x).
Causes

  • Slow datanodes are marked as down by DFSClient; eventually all replicas are marked as 'bad' (HADOOP-3831).

Resolution

  • Try setting dfs.datanode.socket.write.timeout to zero (in hadoop 0.18.x -- See HADOOP-3831 for detail and why not needed in hadoop 0.19.x). See the thread at message from jean-adrien for some background. Note, this is an hdfs client configuration so needs to be available in $HBASE_HOME/conf. Making the change only in $HADOOP_HOME/conf is not sufficient. Copy your amended hadoop-site.xml to the hbase conf directory or add this configuration to $HBASE_HOME/conf/hbase-site.xml.
  • Try increasing dfs.datanode.handler.count from its default of 3. This is a server configuration change so must be made in $HADOOP_HOME/conf/hadoop-site.xml. Try increasing it to 10, then by additional increments of 10. It probably does not make sense to use a value larger than the total number of nodes in the cluster.
分享到:
评论

相关推荐

    hadoop常见问题及解决办法

    问题描述:Hadoop抛出"No live nodes contain current block"错误。 解决办法:该问题是由于dfs.datanode.socket.write.timeout的值太小所致。解决办法是将dfs.datanode.socket.write.timeout的值设为0,然后增加...

    3dmax中毒, ALC Nodes Found, 解决方法,亲测有效.rar

    然而,正如标题和描述所示,"3dmax中毒,ALC Nodes Found"这个问题可能会困扰很多用户。这通常是由于计算机受到恶意软件或病毒的感染,导致3ds Max运行异常,出现错误提示“ALC Nodes Found”。下面将详细介绍这个...

    自述文件:欢迎在Nodes to进行蒸气开发

    【标题】:“自述文件:欢迎在Nodes to进行蒸气开发” 这句标题暗示了我们正在探讨一个关于蒸气(Vapor)开发的项目,它可能是一个基于Swift的后端服务器框架。蒸气(Vapor)是Server-Side Swift的一个重要实现,...

    openssl-1.0.2g源码

    - 如 `SSL_CTX_new` 用于创建 SSL 上下文,`SSL_connect` 和 `SSL_accept` 分别用于客户端和服务器的连接建立,`SSL_write` 和 `SSL_read` 用于数据的读写。 6. **安全更新** - OpenSSL 1.0.2g 版本修复了多个...

    湖南大学无线传感器网络实验报告DV-HOP.docx编程资料

    hopsize(i) = sum(sqrt(sum(transpose((repmat(all_nodes.true(i, :), all_nodes.anchors_n, 1) - all_nodes.true(1:all_nodes.anchors_n, :)).^2)))) / sum(anchor_to_anchor(i, :)); end % 计算未知节点的...

    masternodes-online-scraper:刮刮masternodes.online以找到好的硬币来旋转masternodes

    masternodes.online刮板刮刮masternodes.online并逐行筛选以找到好的硬币作为masternode支持。用法# Install depsnpm installnode scrape.js MIN_WORTH MIN_ROI执照MIT许可证: :

    湖南大学无线传感器网络实验报告DV-HOP.doc

    for i = all_nodes.anchors_n + 1:all_nodes.nodes_n obtained_hopsize = hopsize(find(shortest_path(i, 1:all_nodes.anchors_n) == min(shortest_path(i, 1:all_nodes.anchors_n)))); % ... (此处省略部分代码) ...

    vechain-core-nodes-security-checklist:VeChain core nodes security checklist(唯链核心节点安全执行指南)

    VeChain core nodes security checklist(唯链核心节点安全执行指南)by 慢雾安全团队 & Joinsec Team目录1.2 HTTP API 防护2. 配置安全2.1 开启日志记录2.2 设置最大连接数2.3 非 root 启动 thor2.4 监听随机端口3....

    nodeS7:用于与西门子 S7 PLC 通信的 Node.JS 库

    节点S7 NodeS7 是一个库,允许使用西门子 S7 以太网协议 RFC1006 与 S7-300/400/1200/1500 PLC 进行通信。 本软件与 Siemens 没有任何关系,I 也没有。S7-300、S7-400、S7-1200 和 S7-1500 是 Siemens AG 的商标。...

    TreeView添加nodes.rar

    总结来说,在VB6中使用`TreeView`添加`nodes`涉及的主要步骤包括:创建`nodes`,设置`nodes`的属性(如文本、图标),以及利用事件处理程序实现交互逻辑。理解并熟练运用这些知识点,你就能自如地构建出功能丰富的`...

    Windows下Redis快速傻瓜启动版,基于64位Redis7.02,方便在开发环境使用本地Redis集群

    1、依次执行6380、6381、6382、6383、6384、6385目录下的start.bat 2、然后执行6380下的... nodes: - 127.0.0.1:6380 - 127.0.0.1:6381 - 127.0.0.1:6382 - 127.0.0.1:6383 - 127.0.0.1:6384 - 127.0.0.1:6385

    Python库 | workflow_nodes-0.3.0-py3-none-any.whl

    python库。 资源全名:workflow_nodes-0.3.0-py3-none-any.whl

    nacos公用配置支持动态参数

    nodes: 10.8.3.30:6379,10.8.3.31:6380,10.8.30.32:6381 password: xxxx 业务库配置示例: spring: redis: cluster: nodes: ${cache.redis.cluster.nodes} max-redirects: 3 password: ${cache.redis.cluster...

    Nodes一个GraphQLJVM客户端-JavaKotlinScala等

    "Nodes一个GraphQL JVM 客户端 - Java, Kotlin, Scala等" 这个标题指出了一个名为 "Nodes" 的GraphQL客户端库,它适用于Java虚拟机(JVM)平台,并且支持多种编程语言,包括Java、Kotlin和Scala。这意味着Nodes是一...

    prometheus和loki的告警配置

    expr: (1 - avg(irate(node_cpu_seconds_total{job="Dev-Kubernetes-Nodes",mode="idle"}[1m])) by (instance)) * 100 > 85 for: 5m labels: obj: nodes team: Devops level: critical annotations: summary...

    CTreeCtrl控件应用实例

    增加顶级节点:TreeView.Nodes.Add("Key", "Text") 增加同级节点:TreeView.SelectedNode.Parent.Nodes.Add("Key", "Text") 增加子节点:TreeView.SelectedNode.Nodes.Add("Key", "Text") 全部展开:TreeView....

    java大数据作业_1云计算、大数据、hadoop

    - Live Nodes:活动的数据节点数。 - Dead Nodes:死亡的数据节点数。 9. MapReduce监控项含义: - Maps:当前运行的Map任务数量。 - Reduces:当前运行的Reduce任务数量。 - Map Task Capacity:Map任务的总...

    图论中最短路问题的MATLAB程序实现.pdf

    dist = inf * ones(num_nodes, 1); path = zeros(num_nodes, 1); dist(start) = 0; % 对每个顶点,计算从起点到达该顶点的最短路径的权和 for i = 1:num_nodes for j = 1:num_nodes if graph(i, j) ~= 0 ...

    visPieTree:基于echarts的树状结构视觉使用多层饼图

    视觉树结构使用基于echarts的多层饼。... {name:"搜索引擎", value:60, nodes:[{name:"邮件", value:35, nodes:[{name:"企业邮件", value:15}]}, {name:"联盟", value:65}]} ] }; 从其他项目中提取的com_tree文件中

Global site tag (gtag.js) - Google Analytics