`
liyonghui160com
  • 浏览: 775650 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

shell判断hdfs文件目录是否存在

阅读更多

 

hadoop有提供相应的脚本去验证文件目录是否存在的:

 

-bash-3.2$ hadoop fs -help  
...  
-test -[defsz] <path>:    Answer various questions about <path>, with result via exit status.  
          -d  return 0 if <path> is a directory.  
          -e  return 0 if <path> exists.  
          -f  return 0 if <path> is a file.  
          -s  return 0 if file <path> is greater than zero bytes in size.  
          -z  return 0 if file <path> is zero bytes in size.  
        else, return 1. 

 

检验昨天产生的目录是否产生的shell脚本: 

 

yesterday=$(date -d '-1 day' '+%Y-%m-%d')  
hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterday  
if [ $? -eq 0 ] ;then  
    echo 'exist'  
else  
    echo 'Error! Directory is not exist'  
fi

 

分享到:
评论

相关推荐

    HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现

    第二步,检测文件或目录是否存在: hdfs dfs -test -e 文件或目录名 第三步,查看检测结果: echo $? 若输出结果为0,则说明文件或目录存在,若为1,则说明文件或目录不存在。 二、Java代码实现 import org.apache...

    实验二:熟悉常用的HDFS操作

    在Java编程实现部分,学生通过`org.apache.hadoop.conf.Configuration`,`org.apache.hadoop.fs.FileSystem`和`org.apache.hadoop.fs.Path`等类,实现了文件存在性判断和本地文件复制到HDFS的功能。`FileSystem.get...

    HDFS_HBaseShell的常用命令

    3. 列出HDFS上的目录内容:Hadoop dfs –ls /hdfsDir 4. 删除HDFS下的文档:Hadoop dfs -rmr /hdfs 5. 查看HDFS下的文件内容:Hadoop dfs -cat /hdfs 6. 查看HDFS基本统计信息:Hadoop dfsadmin -report 7. 进入和...

    大数据HDFS二次开发.pdf

    - `exists()`判断文件或目录是否存在。 - `mkdirs()`创建目录。 - `delete()`删除目录,可递归删除整个目录树。 - `copyFromLocalFile()`和`copyToLocalFile()`分别用于从本地复制文件到HDFS,以及从HDFS复制...

    解决hive报hdfs exceeded directory item limit错误

    脚本会使用Hadoop命令行工具`hdfs dfs`遍历目录,检查每个目录的最后修改日期,并根据指定的天数判断是否需要删除。为了确保脚本运行的稳定性,它还使用了`kinit`进行Kerberos身份验证,并设置`HADOOP_HEAPSIZE`以...

    linux-结构化成行成列-小文件循环合并成大文件--方便上传hadoop

    5. **检查门限**:判断当前大文件的大小或数量是否超过设定的门限,如果达到,则停止合并。 6. **上传HDFS**:使用Hadoop的`hadoop fs -put`命令将大文件上传到HDFS。 7. **清理工作**:可选地,删除已经上传的小...

    实验报告模板 - 大数据应用-实验二.docx

    - **判断路径是否存在**:`test()`方法通过`FileSystem.exists()`检查给定的路径是否在HDFS中存在,返回`true`表示存在,`false`表示不存在。 - **复制文件到指定路径**:`copyFromLocalFile()`方法首先获取`...

    基于Hadoop的ETL处理Shell架构

    1. **数据抽取**:Shell脚本可以连接到各种数据源,如关系型数据库、日志文件或网络接口,通过`curl`、`mysql`等命令将数据导入HDFS。 2. **数据转换**:利用Shell的文本处理功能,对数据进行清洗、格式转换、异常值...

    hadoop-shell(第四章)-带书签高清pdf文字版

    - Hadoop Shell提供了一种与HDFS(Hadoop Distributed File System)交互的方式,允许用户通过熟悉的Unix/Linux命令行界面执行文件管理和数据处理任务。 - 介绍Hadoop的命令行接口,包括`hadoop fs`命令,它是...

    大数据开发笔试.docx

    4. **Shell判断文件是否存在及处理**: 在Shell脚本中,可以使用条件语句`if [ ! -f "$file" ]; then touch "$file"`来判断文件是否存在。如果文件不存在,`touch`命令将创建一个新的文件。 5. **fsimage与edit的...

    shell脚本监控kafka-connect集群节点异常发送邮件通知.rar

    5. **日志记录**:为了便于后期排查问题,脚本还应记录每次运行的结果,包括执行的命令、获取的信息、判断结果以及是否发送邮件。 6. **持续运行**:为了实现持续监控,这个脚本通常会被添加到cron定时任务中,每隔...

    现在软件开发技术实训报告.docx

    HDFS提供了Shell命令,如`hdfs dfs -test -e`用于检查文件是否存在,如果文件存在,该命令将不返回任何结果。 **实验二:熟悉常用的HBase操作** HBase是一个分布式的、面向列的NoSQL数据库,它构建于HDFS之上,...

    hive-shell批量命令执行脚本的实现方法

    通过检查退出码 `$exitCode` 来判断Hive命令是否成功执行,如果不成功,则打印错误信息并结束脚本。 总结一下,这个脚本展示了如何通过Shell脚本来批量执行Hive命令,包括创建数据库、删除表、创建分区表、上传数据...

    04-大数据技术之高频面试题9.0.5.pdf

    - NameNode维护着整个文件系统的元数据,包括文件和目录的信息以及Block的分布情况。 - 为了提高性能,NameNode将所有元数据加载到内存中。 - 需要合理配置内存大小以支持大量文件和目录的管理。 #### 1.2.6 纠删码...

    linux的大数据存储与处理技术

    通过读取`/etc/passwd`文件,用`grep`过滤特定用户,然后用`wc -l`计算行数,可以判断用户是否存在。结合`if`判断和`for`循环,可以实现用户批量创建或删除的自动化。 综上所述,Linux的大数据存储与处理技术涉及...

    《大数据技术原理和应用操作》试卷A卷及答案.pdf

    * 在 Hadoop 的解压目录下的 bin 目录,存放的是 Hadoop 的可执行文件(×) * Hadoop HA 是集群中启动两台或两台以上机器充当 NameNode,避免一台 NameNode 节点发生故障导致整个集群不可用的情况(√) * 在安装...

    Hadoop面试100题.pdf

    - **知识点说明**:`hadoop fsck /` 命令用于检查HDFS文件系统的完整性。如果出现“connection refused java exception”,可能是因为NameNode服务未启动或者网络配置存在问题。 16. **我们使用Ubuntu及Cloudera,...

    《大数据平台搭建与配置管理》期末考试卷及答案.docx

    24. **HDFS文件模型** - **知识点**: HDFS采用了主从架构的简单文件模型,其中NameNode负责管理文件系统的命名空间,而DataNode负责存储实际的数据块。 25. **HDFS的设计目标** - **知识点**: HDFS主要面向高吞吐...

Global site tag (gtag.js) - Google Analytics