Hadoop cloudera CDH3B4

1. 问题: hadoop的客户端运行hadoop命令,但是没有在指定的日志文件中输出,指定的日志文件也不存在目录下.
  解决: hadoop的日志输出由conf/log4j.properties控制,log4j.properties文件中指定hadoop.log.dir=. ,运行hadoop时,会由conf/hadoop-env.sh中指定的export HADOOP_LOG_DIR 指定到特定目录下输出,默认为hadoop的logs目录.
  如果log4j.logger的级别很高,不生成输出的日志信息,那么日志文件也就不会生成(resin的logs/access.log也是),加入log4j.logger.org.apache.hadoop=DEBUG,DRFA 使hadoop 的log级别调高就可以了.

2011.04.22
1. 运行hive过程中出现 org.apache.hadoop.fs.permission.FsPermission$2.<init>
错误,通过查看hive log原因是2011-04-22 10:41:49,244 INFO  mapreduce.JobSubmissionFiles (JobSubmissionFiles.java:getStagingDir(120)) - Permissions on staging directory hdfs://hadoop-m:9000/disk3/CDH3B4/hadoop/tmp/mapred/staging/hadoop/.staging are incorrect: rwxrwxrwx. Fixing permissions to correct value rwx------
把权限修改正确后,运行正常.