一、Permission denied
1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
因为Eclipse使用hadoop插件提交作业时,会默认用windows系统的用户去将作业写入hdfs文件系统中, 由于此用户对hadoop目录并没有写入权限,所以导致异常的发生。
解决方法为:
方法一:放开 hadoop 目录的权限 , 命令如下 :$ hadoop fs -chmod -R 777 /
![]()
当然,也可以只针对某个目录操作:

如对命令不熟悉,可以直接用如下命令查看:

方法二:直接在hdfs的配置文件中,将dfs.permissions修改为False
![]()
二、空指针错误:
在我的上篇hadoop2.2.0安装教程中有人遇到空指针错误:“Exception in thread "main" java.lang.NullPointerException”
该错误的修正,需做如下操作:
1、下载hadoop.dll、winutils.exe文件放到eclipse所连接的hadoop的bin目录下(win系统里边);
2、win系统里边的C盘下的system32目录放一份;
3、环境变量的PATH里边加一下1中的bin目录。
三、有人日志打不出来,报警告信息:
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
这个需要在项目的src下面新建file名为log4j.properties的文件
内容为:
# Configure logging for testing: optionally with log file
#log4j.rootLogger=debug,appender
log4j.rootLogger=info,appender
#log4j.rootLogger=error,appender
#\u8F93\u51FA\u5230\u63A7\u5236\u53F0
log4j.appender.appender=org.apache.log4j.ConsoleAppender
#\u6837\u5F0F\u4E3ATTCCLayout
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout
如图所示:

四、自己在eclipse打的jar包放到linux中运行时报错:
Exception in thread "main" java.lang.ClassNotFoundException:后边跟着自定义参数(如目录等)
解决方法:
1、可以重新在eclipse中打包,打包时记得选择main class。
2、另外,可以在打包时选择“Runnable JAR file”,打成java运行jar包。(该种方法会把程序中相关的包都打进去,会比较大,不过可以保证能运行)
分享到:
相关推荐
- **通用指引**:给出常见的故障排查方法。 - **日志(Logs)**:介绍如何通过日志定位问题。 - **资源(Resource)**:列举可用的故障排除资源。 - **工具(Tools)**:推荐故障排除所需的工具。 - **客户端(Client)**:...
3. Hadoop:一个开源的分布式存储与计算平台,能够让用户在普通硬件上运行的应用程序能够处理大量数据。 4. MapReduce:一个编程模型,用于处理大量数据的并行运算。它将任务分解成多个小任务,在不同节点上并行...
根据提供的文档信息,我们可以将其中的关键知识点归纳整理如下: ### 大数据人工智能量化投资平台 #### 一、JavaSE基础知识 - **Java语言概述** - Java是一种面向对象的编程语言,广泛应用于企业级应用程序开发...
- **Java内存区域**:包括堆、栈、程序计数器、本地方法栈和方法区。 - **内存模型**:规定了变量的存储位置以及线程对变量的操作规则。 #### 垃圾回收机制 - **GC算法**:包括标记-清除、复制、标记-整理等算法。...
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
wrf转mp4播放器1.1.1
内容概要:本文档详细介绍了如何在Simulink中设计一个满足特定规格的音频带ADC(模数转换器)。首先选择了三阶单环多位量化Σ-Δ调制器作为设计方案,因为这种结构能在音频带宽内提供高噪声整形效果,并且多位量化可以降低量化噪声。接着,文档展示了具体的Simulink建模步骤,包括创建模型、添加各个组件如积分器、量化器、DAC反馈以及连接它们。此外,还进行了参数设计与计算,特别是过采样率和信噪比的估算,并引入了动态元件匹配技术来减少DAC的非线性误差。性能验证部分则通过理想和非理想的仿真实验评估了系统的稳定性和各项指标,最终证明所设计的ADC能够达到预期的技术标准。 适用人群:电子工程专业学生、从事数据转换器研究或开发的技术人员。 使用场景及目标:适用于希望深入了解Σ-Δ调制器的工作原理及其在音频带ADC应用中的具体实现方法的人群。目标是掌握如何利用MATLAB/Simulink工具进行复杂电路的设计与仿真。 其他说明:文中提供了详细的Matlab代码片段用于指导读者完成整个设计流程,同时附带了一些辅助函数帮助分析仿真结果。
国网台区终端最新规范
《基于YOLOv8的智慧农业水肥一体化控制系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计
GSDML-V2.33-LEUZE-AMS3048i-20170622.xml
微信小程序项目课程设计,包含LW+ppt
微信小程序项目课程设计,包含LW+ppt
终端运行进度条脚本
幼儿园预防肺结核教育培训课件资料
python,python相关资源
《基于YOLOv8的智慧校园电动车充电桩状态监测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计
deepseek 临床之理性软肋.pdf
SM2258XT量产工具(包含16种程序),固态硬盘量产工具使用
RecyclerView.zip
水务大脑让水务运营更智能(23页)