`
cloudeagle
  • 浏览: 112612 次
  • 性别: Icon_minigender_1
  • 来自: 合肥
社区版块
存档分类
最新评论

修改DataNode遇到的问题

 
阅读更多
调试这块代码的时候遇到一个很奇怪的问题,就是改动的代码加进去后,发现有些新增代码是能执行的,有些不能执行,Stack的情况如下:
Daemon Thread [org.apache.hadoop.hdfs.server.datanode.DataXceiver@2ef9748f] (Suspended)
NoClassDefFoundError.<init>(String) line: 57
BlockReceiver.receiveBlock(DataOutputStream, DataInputStream, DataOutputStream, String, BlockTransferThrottler, int) line: 586
DataXceiver.writeBlock(DataInputStream) line: 398
DataXceiver.run() line: 107
Daemon(Thread).run() line: 636


这里问题的原因就应该是新增的这个类无法找到,可是为啥会找不到啊? 真是让人抓狂啊~

class BlockReceiver {
class PacketResponder { ... }
static private class Packet { ... }
class HdfsChunker { } //我的自定义类, 这里为什么会报NoClassDefFoundError.<init>(String) line: 57呢?

}

妈蛋的,是因为HdfsChunker 在初始化的时候,需要初始化一个Mongo引用,但是mongodb的jar包没引入,结果抛出一个MongodbException异常,而编译器又找不到这个异常类,所以悲剧。,。。。。。。
妹啊, 遇到问题一定要看日志啊啊啊啊啊啊啊啊啊啊啊啊, eclipse 远程调试不靠谱有木有有木有啊~
分享到:
评论

相关推荐

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    - **启动Hadoop时的权限问题**:由于Hadoop的配置通常要求由特定的非`root`用户(如`hadoop`用户)来运行服务,因此当Hadoop安装目录的所有者为`root`时,会导致Datanode在启动时遇到权限问题。 #### 三、解决方案 ...

    hadoop集群遇到的问题及其解决方法

    ### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...

    Hadoop使用常见问题以及解决方法

    但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES 在 Hadoop 中,Shuffle Error 是一个常见的问题,主要是由于系统默认的...

    hadoop常见问题及解决方法

    可以通过dfsadmin -safemode leave命令强制离开安全模式,也可以修改dfs.safemode.threshold.pct的值来离开安全模式。 4、could only be replicated to 0 nodes, instead of 1报错: 解决方法:可能是防火墙原因,...

    hadoop常见问题及解决办法

    然而,在使用Hadoop时,经常会遇到一些常见的问题,这些问题可能会导致Hadoop集群无法正常工作或者性能下降。因此,本文总结了一些常见的问题及解决办法,以帮助用户更好地使用Hadoop。 问题1:Shuffle Error: ...

    1. 搭建伪分布式集群环境过程中遇见的问题总结

    ### 搭建伪分布式Hadoop集群环境遇到的问题及解决方案 #### 一、网络配置问题 **问题描述:** 在CentOS 7中配置网络环境后,本机(Windows 10系统)与虚拟机(CentOS 7)之间的网络连接存在问题。具体表现为:虽然...

    hadoop节点问题.docx

    在Hadoop集群环境中,启动过程中可能会遇到某些关键节点未能正常启动的问题。例如,在启动Hadoop集群时,可能会遇到NameNode无法正常启动的情况。此类问题可能由多种因素引起,包括配置错误、节点ID不匹配等。本文将...

    hadoop集群配置范例及问题总结.pdf

    在Hadoop集群配置过程中,可能会遇到一些问题,例如主机名配置错误、ssh连接失败等。需要根据错误信息,进行相应的调整和配置。 Hadoop集群配置需要详细的步骤和注意事项,需要正确配置硬件环境、Java JDK、...

    Hadoop集群的搭建.docx

    解决方法有两种:一是手动修改DataNode和NameNode中`VERSION`文件的`clusterID`使其一致;二是删除临时文件目录,重新初始化NameNode并重启所有服务。 启动Hadoop集群,执行`start-all.sh`脚本。通过`jps`命令验证...

    hadoop学习常见问题(手动整理)

    **问题描述**:当尝试向HDFS系统中放置数据时,可能会遇到`namenodeisinsafemode`的问题,即使使用了`Hadoop dfsadmin -safemode leave`命令来退出安全模式,再次执行`hdfs put`或`hdfs rm`操作时,Namenode仍然会...

    Hadoop环境搭建过程中遇到的问题及解决方法

    在搭建Hadoop环境时,遇到问题是很常见的,关键在于理解和掌握正确的解决方法。通过以上步骤,可以有效解决Hadoop环境搭建过程中的常见问题,实现集群的顺利运行。同时,定期更新和维护环境,学习新的最佳实践,也是...

    hadoop运行wordcount实例

    如果存在问题,则需要修改并重启 Hadoop 服务。 4. **IO异常问题**: - 错误提示:“I/O exception occurred”。 - 解决方案:当执行 `hadoop namenode -format` 时,确保 DataNode 和 NameNode 的元数据被正确...

    hadoop出错解决方法

    但是在使用 Hadoop 过程中,我们经常会遇到一些错误和问题,本文将为您提供一些常见的 Hadoop 故障解决方法。 一、Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这个错误是由于系统默认的打开...

    Hadopp集群运用过程中碰到的问题

    在使用Hadoop集群的过程中,可能会遇到一系列...在遇到问题时,首先定位错误现象,然后分析可能的原因,最后针对性地采取解决方案。对于开发者而言,了解这些常见错误及其解决方法是提高Hadoop集群稳定性和效率的关键。

    硬盘故障导致mr任务报Failed to create directory错误及硬盘故障定位方法.docx

    当遇到"Failed to create directory"这样的错误时,通常意味着系统在尝试创建一个目录以进行任务运行或数据存储时遇到了问题。这可能是由于多种原因引起的,其中最常见的是硬盘故障。以下将详细讨论这个问题及其解决...

    Ubuntu 8.10下Hadoop-0.20.1集群配置手册

    ### Ubuntu 8.10 下 Hadoop-0.20.1 集群配置详解 #### 一、集群网络环境介绍 ...需要注意的是,由于版本较老,可能会遇到一些兼容性问题或安全漏洞,建议根据实际需求选择合适的 Hadoop 版本进行部署。

    CentOS搭建hadoop伪分布式时遇到的错误.doc

    在搭建Hadoop伪分布式环境的过程中,常常会遇到与文件系统权限相关的错误,特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题,并提供解决方案。 问题1:启动集群时出错:`mkdir: ...

    hadoop-管理

    如果遇到 NameNode 宕机,这是 Hadoop 集群中最核心的节点,需要执行 `./hadoop-daemon.sh start namenode` 来重启。同样,TaskTracker 也需要重启,确保集群的正常运行。 当向集群添加新节点时,首要步骤是在主...

    (完整版)hadoop常见笔试题答案.docx

    7. 当客户端读取数据时,如果遇到问题,Namenode会重新调度读取路径,避免错误的datanode。对于写入操作,如果某个datanode失败,客户端会将数据写入备份的datanode,后者成为新的首选datanode。 8. Hadoop的日常...

    Hadoop可靠性报告-百度分享

    HDFS支持集群的回滚功能,允许在遇到新版本问题时返回到之前的稳定状态,确保数据完整性和系统连续性。 总结,Hadoop的HDFS设计考虑了大规模数据处理的挑战,通过冗余存储、智能的副本策略和故障恢复机制确保了高...

Global site tag (gtag.js) - Google Analytics