刚开始学习Hadoop,不断遇到新问题,以后把遇到的新问题给记下来。
有时候大家会看到以下的信息,这表示没连上hdfs。
ximo@ubuntu:~$ hadoop fs -ls
11/11/08 10:59:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
11/11/08 10:59:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
11/11/08 10:59:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 2 time(s).
11/11/08 10:59:35 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 3 time(s).
11/11/08 10:59:36 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 4 time(s).
11/11/08 10:59:37 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 5 time(s).
有几种原因:
1)hadoop配置
主要是$HADOOP_HOME/conf/hdfs-site.xml、mapred-site.xml、core-site.xml中的配置是否正确,伪分布式模式可以参考前面的blog,或是网上的文章,一大堆一大堆的。
2)机器连不通
如果是分布式的,还要看hadoop客户端机器能不能ping通hdfs机器,注意hdfs的端口号
3)namenode没有启动
是否是namenode没有启动,
$stop-all.sh 如果出现no namenode stop则表示是namenode的问题
$hadoop namenode -format
$start-all.sh
4)其他。
分享到:
相关推荐
NULL 博文链接:https://ouyida3.iteye.com/blog/1144326
向yarn提交任务时Retrying connect to server 0.0.0.0:8032异常
在Hadoop中,客户端(Client)负责提交任务、读写数据,而服务器端则包括NameNode、DataNode和TaskTracker等组件,它们处理客户端请求,管理数据存储和任务调度。 二、HDFS通信 1. 客户端与NameNode交互: 当...
9. **异常处理**:编写爬虫时,必须考虑到可能出现的各种异常情况,如网络错误、解析错误等,需要设置适当的错误处理机制。 10. **合规性与道德**:在进行任何爬虫活动前,确保遵循网站的使用条款,尊重robots.txt...
分享一个我大晚上提交Hadoop作业到Yarn上因为一个小小小小错误解决了一晚上的问题! 报错:Exception in thread “main” java.net.ConnectException: Call From hdp-1/192.168.234.129 to hdp-1:8020 failed on ...
问题终于解决了,之前加上?wsdl的时候报如下错: - I/O exception (java.net.ConnectException) caught when processing request: Connection timed out: connect - Retrying request - I/O exception (java.net....
Retrying. --2017-03-27 22:54:49-- (try: 3) https://downloads.openwrt.org/sources/linux-3.10.49.tar.xz Connecting to downloads.openwrt.org (downloads.openwrt.org)|78.24.191.177|:443... failed: ...
自己搭集群用的 centos7 minimal 问题一 防火墙 一开始没装vmtools 手动...INFO ipc.Client: Retrying connect to server: linden10004/192.168.174.104:43012. Already tried 0 time(s); retry policy is RetryUpToMa
Vue CLI v4.2.2 Failed to check for updates :sparkles: Creating project in /home/syw/demo
2019-03-10 20:22:41,388 INFO ipc.Client: Retrying connect to server: c1/10.0.0.101:8020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=1, sleepTime=1000 ...
在Hadoop MapReduce框架中,Job的提交过程是整个分布式计算流程中的关键步骤。这个过程涉及到客户端、JobTracker(在Hadoop 2.x版本中被ResourceManager替代)和TaskTracker(在Hadoop 2.x版本中被NodeManager替代)...
**Python库 django_request_token-0.14.1-py3-none-any.whl** 这个压缩包文件`django_request_token-0.14.1-py3-none-any.whl`是针对Python开发的一个库,名为`django_request_token`,版本号为0.14.1。...
VCS双机启动的时候可能出现如下错误:VCS ERROR V-16-1-10600 Cannot connect to VCS engine 该文档是我在解决该错误的方法,希望能帮助到有需要的朋友!
yolov5 训练好得权重文件。 可以直接拿来测试。 如果是自己训练可以不要这个文件。为什么要50个字。。。
最新版 guava-30.1-jre.jar
简介:Scrcpy是一款小巧的Android投屏软件,能够跨平台其支持Windows、Mac、Linux系统。右PC充当客户端,Android板子作为服务端。 * 原理:Android将录屏发送给PC,PC接收到数据后进行展示。PC上鼠标点击录屏上对应...
Hadoop解决了传统单机或小型集群无法处理大规模数据的问题,实现了数据的分布式存储和处理,使得企业可以处理比自身硬件能力大得多的数据量。 3. **产生背景** 随着互联网和社交媒体的兴起,数据量呈指数级增长...
Console.WriteLine("Failed to connect. Retrying in 5 seconds..."); Thread.Sleep(5000); retryCount--; } } ``` 此外,为了提高程序的性能和可靠性,我们可以在读写数据时使用异步操作。C#的async/await模式...
这篇小白学习笔记就专门针对这个问题提供了解决方案。 首先,我们需要理解`pip install`命令的基本用法。当你在命令行(如CMD)中输入`pip install <library_name>`时,`pip`会尝试从Python的官方包索引库PyPI...
Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by 'ReadTimeoutError(HTTPSConnectionPool(host='pypi.python.org', port=443): Read timed out. (read timeout=15)...