`

shell脚本调用hive示例

    博客分类:
  • hive
 
阅读更多

方法一:

   建立shell脚本如下run.sh如下:

#!/bin/sh

#参数传递

source /etc/profile;
source ~/.bash_profile;
BASEDIR=`dirname $0`
cd $BASEDIR

#classpath优先当前目录
CLASSPATH=$BASEDIR
#classpath其次是config目录
#classpath再次是lib目录下面的所有jar包

#设置参数
D=`date +%Y-%m-%d`
YESTODAY=`date -d "1 days ago" +%Y-%m-%d`

if [ $# == 2  ]; then
  YESTODAY=$2
fi

if [ $# == 4  ]; then
  D=$4
  YESTODAY=$2
fi

#HQL
hive<<EOF
LOAD DATA LOCAL INPATH '$HADOOP_DATA_HOME/consume-$YESTODAY.csv' OVERWRITE INTO TABLE tlbb.consume_log PARTITION (dt='$YESTODAY');
EOF

 方法二、

  #!/bin/sh

#参数传递

source /etc/profile;
source ~/.bash_profile;
BASEDIR=`dirname $0`
cd $BASEDIR

#classpath优先当前目录
CLASSPATH=$BASEDIR
#classpath其次是config目录
#classpath再次是lib目录下面的所有jar包

#设置参数
D=`date +%Y-%m-%d`
YESTODAY=`date -d "1 days ago" +%Y-%m-%d`

if [ $# == 2  ]; then
  YESTODAY=$2
fi

if [ $# == 4  ]; then
  D=$4
  YESTODAY=$2
fi

echo "LOAD DATA LOCAL INPATH '/data/tlbb/hadoop_data/billlogout-$YESTODAY.csv' OVERWRITE INTO TABLE tlbb.logout_log PARTITION (dt='$YESTODAY');" | hive 

 然后使用crontab进行定时调度了

0
0
分享到:
评论

相关推荐

    使用shell脚本执行hive、sqoop命令的方法

    ### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析,而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率,简化...

    hive操作指南

    - Hive允许通过UDF(User Defined Function)来调用Python、Shell等脚本语言。 **2.8 删除** - 示例:`DROP TABLE IF EXISTS employees;` **2.9 其他操作** - **2.9.1 Limit** - 示例:`SELECT * FROM ...

    hive解决问题方案

    `**:在 Hive 中直接调用 Hadoop 的 `dfs` 命令来列出指定路径下的文件或目录。 3. **`!shell 命令`**:利用 `!` 符号可以在 Hive 中执行 shell 命令。例如,`!ls /` 可以用来列出当前目录下的文件。需要注意的是,...

    spring data hadoop reference

    为了简化对 Hadoop 文件系统的操作,Spring Hadoop 支持通过脚本来调用 Hadoop 的 API,这种方式可以更方便地进行文件操作。 ##### 3.2 脚本中的隐式变量 在使用脚本化方法时,Spring Hadoop 允许在脚本中使用一些...

    hadoop-scripts:回购与我的Hadoopsie.com博客相关的脚本。 其中可能包含Hive,Pig,HDFS,Bash,Spark,Python以及与Hadoop生态圈相关的任何其他语言

    这个压缩包文件"**hadoop-scripts**"显然包含了与Hadoop生态系统相关的各种脚本,这些脚本可能用于自动化数据处理任务,或者作为教学示例来帮助用户理解和操作Hadoop组件。根据标题和描述,我们可以推测这些脚本可能...

    spring-data-hadoop官方文档

    - 执行Hive脚本查询,和Hive API的交互。 5. **对Pig的支持**: - 运行Pig脚本,包括使用Pig tasklet。 - 与Pig API的交互操作。 6. **Cascading集成**: - 使用Cascading tasklet进行数据处理。 - 使用...

    spring-hadoop.pdf

    - **使用工具Runner**:对于需要调用特定Hadoop工具的情况,可以使用工具Runner代替shell命令进行调用。 ```xml ``` ##### 3.5 使用Hadoop Tool - **替换Hadoop shell命令**:使用`&lt;hadoop:tool-runner&gt;`元素...

    大数据课程体系.docx

    - **HBase Shell与演示**:提供具体的HBase Shell命令示例。 - **HBase树形表设计**:指导如何设计适合HBase的树形数据结构。 - **HBase一对一和多对多表设计**:探讨不同业务场景下HBase表结构的设计方案。 - **...

    dolphinScheduler海豚调度器动态传递任务执行参数

    **dolphinScheduler**(简称DS)是一款强大的分布式任务调度平台,支持多种类型的作业执行,如Shell、Python、Spark等。它能够高效地管理任务间的依赖关系,并提供了丰富的功能来满足企业级的数据处理需求。在大数据...

    hadoop-eco

    Shell脚本是Linux/Unix环境中常用的一种编程方式,通过它可以方便地调用系统命令,实现对Hadoop集群的操作和管理。 总的来说,Hadoop生态是大数据处理领域的重要组成部分,涵盖了大量的工具和技术,通过深入学习和...

Global site tag (gtag.js) - Google Analytics