将本地文件目录移动（或cp）到hdfs下shell脚本

写了一下脚本，实现了以下功能：

1、保证同一时间只有一个该脚本的实例在运行，避免造成操作冲突

2、移动本地文件目录到hdfs下，目录路径相同

uploadtoHadoop.sh

#!/bin/bash
#pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'`
pid=`ps -ef | grep -v grep | grep uploadtoHadoop | wc -l`

usage()
{
echo "usage: `basename $0` /data/192.168.0.1/20110313/***/"
}
URL=$1

if [ $# -ne 1 ]
then
usage
exit 1
fi

if [ "$pid" = "2" ]
then
echo start

hadoop fs -mkdir $1/
hadoop fs -moveFromLocal $1/* $1/

echo complete
else
echo program exist!
fi

使用如下 sh uploadHadoop.sh /待移动的目录名称

start

complete

如果该脚本同时执行2个实例，第二个实例会报错，退出。