方法一:
建立shell脚本如下run.sh如下:
#!/bin/sh
#参数传递
source /etc/profile;
source ~/.bash_profile;
BASEDIR=`dirname $0`
cd $BASEDIR
#classpath优先当前目录
CLASSPATH=$BASEDIR
#classpath其次是config目录
#classpath再次是lib目录下面的所有jar包
#设置参数
D=`date +%Y-%m-%d`
YESTODAY=`date -d "1 days ago" +%Y-%m-%d`
if [ $# == 2 ]; then
YESTODAY=$2
fi
if [ $# == 4 ]; then
D=$4
YESTODAY=$2
fi
#HQL
hive<<EOF
LOAD DATA LOCAL INPATH '$HADOOP_DATA_HOME/consume-$YESTODAY.csv' OVERWRITE INTO TABLE tlbb.consume_log PARTITION (dt='$YESTODAY');
EOF
方法二、
#!/bin/sh
#参数传递
source /etc/profile;
source ~/.bash_profile;
BASEDIR=`dirname $0`
cd $BASEDIR
#classpath优先当前目录
CLASSPATH=$BASEDIR
#classpath其次是config目录
#classpath再次是lib目录下面的所有jar包
#设置参数
D=`date +%Y-%m-%d`
YESTODAY=`date -d "1 days ago" +%Y-%m-%d`
if [ $# == 2 ]; then
YESTODAY=$2
fi
if [ $# == 4 ]; then
D=$4
YESTODAY=$2
fi
echo "LOAD DATA LOCAL INPATH '/data/tlbb/hadoop_data/billlogout-$YESTODAY.csv' OVERWRITE INTO TABLE tlbb.logout_log PARTITION (dt='$YESTODAY');" | hive
然后使用crontab进行定时调度了
分享到:
相关推荐
### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析,而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率,简化...
- Hive允许通过UDF(User Defined Function)来调用Python、Shell等脚本语言。 **2.8 删除** - 示例:`DROP TABLE IF EXISTS employees;` **2.9 其他操作** - **2.9.1 Limit** - 示例:`SELECT * FROM ...
`**:在 Hive 中直接调用 Hadoop 的 `dfs` 命令来列出指定路径下的文件或目录。 3. **`!shell 命令`**:利用 `!` 符号可以在 Hive 中执行 shell 命令。例如,`!ls /` 可以用来列出当前目录下的文件。需要注意的是,...
为了简化对 Hadoop 文件系统的操作,Spring Hadoop 支持通过脚本来调用 Hadoop 的 API,这种方式可以更方便地进行文件操作。 ##### 3.2 脚本中的隐式变量 在使用脚本化方法时,Spring Hadoop 允许在脚本中使用一些...
这个压缩包文件"**hadoop-scripts**"显然包含了与Hadoop生态系统相关的各种脚本,这些脚本可能用于自动化数据处理任务,或者作为教学示例来帮助用户理解和操作Hadoop组件。根据标题和描述,我们可以推测这些脚本可能...
- 执行Hive脚本查询,和Hive API的交互。 5. **对Pig的支持**: - 运行Pig脚本,包括使用Pig tasklet。 - 与Pig API的交互操作。 6. **Cascading集成**: - 使用Cascading tasklet进行数据处理。 - 使用...
- **使用工具Runner**:对于需要调用特定Hadoop工具的情况,可以使用工具Runner代替shell命令进行调用。 ```xml ``` ##### 3.5 使用Hadoop Tool - **替换Hadoop shell命令**:使用`<hadoop:tool-runner>`元素...
- **HBase Shell与演示**:提供具体的HBase Shell命令示例。 - **HBase树形表设计**:指导如何设计适合HBase的树形数据结构。 - **HBase一对一和多对多表设计**:探讨不同业务场景下HBase表结构的设计方案。 - **...
**dolphinScheduler**(简称DS)是一款强大的分布式任务调度平台,支持多种类型的作业执行,如Shell、Python、Spark等。它能够高效地管理任务间的依赖关系,并提供了丰富的功能来满足企业级的数据处理需求。在大数据...
Shell脚本是Linux/Unix环境中常用的一种编程方式,通过它可以方便地调用系统命令,实现对Hadoop集群的操作和管理。 总的来说,Hadoop生态是大数据处理领域的重要组成部分,涵盖了大量的工具和技术,通过深入学习和...