hadoop知识点记录

问题一：No nodemanager to stop

yarn-deamon.sh stop部分的脚本： 

(stop)

   if [ -f $pid ]; then
     TARGET_PID=`cat $pid`
     if kill -0 $TARGET_PID > /dev/null 2>&1; then
       echo stopping $command
       kill $TARGET_PID
       sleep $YARN_STOP_TIMEOUT
       if kill -0 $TARGET_PID > /dev/null 2>&1; then
         echo "$command did not stop gracefully after $YARN_STOP_TIMEOUT seconds: killing with kill -9"
         kill -9 $TARGET_PID
       fi
     else
       echo no $command to stop
     fi
   else
     echo no $command to stop
   fi

根据上面代码。在关闭hadoop的进程的时候，会首先TARGET_PID=`cat $pid`，后面的操作都 
针对这个TARGET_PID。 
首先发送kill -0 TARGET_PID来检测这个pid存在不存在，若存在那么就使用kill  TARGET_PID 来关闭进程。 
第二个 kill -0 $TARGET_PID，意思是第一次删除失败的时候，则执行kill -9 $TARGET_PID。 
  在默认情况下，hadoop会使用/tmp目录作为临时文件存放地点，包括pid的文件.

由于/tmp会定期清除（以前认为只有在重启的时候，tmp才会清除，后来李天王提到由于tmpwatch的作用，会定期每隔240小时删除tmp的内容），会将pid清除，pid不存在的时候，就会报no *** to stop 。nodemanager的pid文件名为：yarn-${hadoop-user}-nodemanager.pid.

解决：类似问题都可以解决：在hadoop的hadoop-env.conf，yarn-env.sh或者hbase-conf.sh中修改文件中的PID配置项:HADOOP_PID_DIR,YARN_PID_DIR,HBASE_PID_DIR

 

2.reduce如何决定把拷贝过来的map结果存入内存还是存入磁盘？

         远程拷贝过程中，每次拷贝一个数据块时，若该数据块可以放入内存则放入内存，否则放入硬盘。有两个标准决定该数据块是否应该放入硬盘：(1) 数据块小于 java_heaps _size * mapred.job.shuffle.input.buffer.percent * MAX_SINGLE_SHUFFLE_SEGMENT_FRACTION(0.25) (2) 内存中有足够空间放入该数据块。