`

Hue: run sqoop free query

 
阅读更多

When run a sqoop job in hue. The is a error:



 

The sqoop job likes:



 Root Cause:

The Sqoop command can be specified either using the command element or multiple arg elements.

When using the command element, Oozie will split the command on every space into multiple arguments.

When using the arg elements, Oozie will pass each argument value as an argument to Sqoop.

The arg variant should be used when there are spaces within a single argument.

 

 NOTE: The arg elements syntax, while more verbose, allows to have spaces in a single argument, something useful when using free from queries.

 

 When importing a free-form query, you must specify a destination directory with --target-dir.

 When using --hive-import, the --target-dir will be a stage dir which will be deleted from hdfs after data loaded to hive. so I use  /user/zhaohj/hive/warehouse/inok_raw.db/xx

 

Solution: When use sqoop free query, you need use parameters not fill the commnads in 'commnd' panel.

Just like:



 

 --query

SELECT user_id, GROUP_CONCAT(target_userid SEPARATOR ',') AS fans  FROM inok_friend WHERE relation=6 AND $CONDITIONS GROUP BY user_id;

 

 

Reference

https://oozie.apache.org/docs/3.3.0/DG_SqoopActionExtension.html

 

 

 

 

 

  • 大小: 16.3 KB
  • 大小: 49.5 KB
  • 大小: 44.3 KB
分享到:
评论

相关推荐

    hue平台oozie工作流操作sqoop,把mysql.pdf

    本文主要讲述在Hue平台使用Oozie工作流操作Sqoop工具将MySQL数据库的数据传输到HDFS中,并最终导入到Hive表中的经验。以下是详细知识点: 1. Hue平台和Oozie工作流简介: Hue是一种开源的用户界面,用于简化与...

    cylon-hue:Phillips Hue的Cylon.js适配器驱动程序

    Cylon.js For Hue Cylon.js( )是用于机器人技术,物理计算和物联网(IoT)JavaScript框架。 该存储库包含可连接到的Cylon适配器/驱动器。 它使用创建的node-hue-api节点模块( )谢谢! 是否想在机器人上使用Ruby...

    storm-hue:适用于Apache Storm的Hue应用程序

    Storm-HUE:Apache Storm HUE应用程序Storm-HUE是一个应用程序,用于管理和管理拓扑池。特征管理操作(启动和停止拓扑,重新平衡)。 基于检索指标数据的自定义仪表板HUE启动时配置验证器要求或更高。 同一Hue服务器...

    Swift颜色生成器RandomColorSwift.zip

    RandomColorSwift 是从 randomColor.js 移植过来的 Swift 颜色生成器,非常迷人。代码示例:import RandomColor ...let colors = randomColorsCount(20, hue: .Value(120), luminosity: .Random)

    sqoop2的安装包

    Sqoop2是一款用于在Hadoop和关系数据库管理系统(RDBMS)之间进行数据迁移的工具。...而如果你需要更复杂的任务管理和调度,那么探索其他的解决方案,如Apache Nifi或Hue等工具,可能会提供更好的支持。

    sqoop-1.2.0-CDH3B4.tar.gz下载

    6. **作业调度**:完成配置后,这些导入或导出操作可以通过Oozie或者Hue等工具进行调度,自动化数据的定期同步。 7. **元数据同步**:Sqoop还允许用户将数据库表的元数据同步到Hive或HBase,便于在Hadoop生态系统中...

    大数据框架Sqoop+Flume+Oozie+Hue视频教程

    《大数据框架Sqoop+Flume+Oozie+Hue视频教程》Sqoop+Flume+Oozie+Hue整合大数据视频教程 经典之作 值得珍藏的大数据视频教程。

    node-hue:与 Philips Hue API 通信的模块

    节点色调与 Philips Hue API 通信的模块安装npm install --save node-hue发现桥梁自动发现桥这将搜索桥,并使用搜索遇到的第一个有效桥 var hue = new Hue ( < UserName> );手动分配网桥 var hue = new Hue(, );配置...

    sqoop-1.4.6-cdh5.12.0.tar.gz

    7. 兼容性:Sqoop 不仅与 Hadoop 兼容,还与其他大数据组件(如 Oozie、Hue)无缝集成,可以作为工作流的一部分运行。 8. 自动化:用户可以通过脚本或 Oozie 工作流自动化 Sqoop 任务,提高数据处理的效率。 在...

    unity-hue:在Unity中控制Philips Hue灯

    统一色调在Unity中控制Philips Hue灯如何使用打开项目或在现有项目中导入Unity-Hue.unitypackage 在您的场景中导入Hue Bridge.prefab 按照Phillips Hue创建用户名,然后将其放在username段中。 单击“ Discover ...

    hue:PHP 类来控制飞利浦色调

    标题 "hue:PHP 类来控制飞利浦色调" 指出的是一个使用 PHP 编程语言实现的库,用于连接并控制飞利浦的 Hue 智能照明系统。这个系统允许用户通过网络接口对家中的智能灯泡进行远程操控,实现个性化照明设置,如调节...

    dmx-hue:Art-Net节点通过DMX控制飞利浦Hue灯

    :horizontal_traffic_light: dmx-hue Art-Net节点通过DMX控制飞利浦Hue灯 安装 安装 ,然后打开命令提示符: npm install -g dmx-hue 用法 Usage: dmx-hue [setup] [options] Create an ArtNet DMX<>Hue bridge...

    humix-sense-hue:Humix 的色调控制

    【humix-sense-hue: Humix 的色调控制】是一个专为飞利浦 Hue 智能照明系统设计的项目,旨在实现通过 Humix 平台的眼控功能来调节灯光的色调。Humix 是一个开源的物联网(IoT)框架,它允许开发者创建自定义的智能家居...

    echo-hue:带有亚马逊 Echo 的非常基本的飞利浦 Hue 控制

    标题 "echo-hue:带有亚马逊 Echo 的非常基本的飞利浦 Hue 控制" 提供了我们正在探讨的项目的核心信息。这是一个使用 JavaScript 开发的工具,它允许用户通过亚马逊 Echo 智能音箱来控制飞利浦 Hue 智能灯泡。Echo-...

    level1-module0-Pixel-Hue:GitHub Classroom创建的level1-module0-Pixel-Hue

    【标题】"level1-module0-Pixel-Hue:GitHub Classroom创建的level1-module0-Pixel-Hue" 提供的信息表明,这是一个在GitHub Classroom平台上创建的项目,可能属于一个教育机构或课程中的第一级、模块零的练习或作业,...

    c2hue:Construct 2 的飞利浦 Hue 插件

    C2Hue C2Hue 是 Construct 2 的插件,允许在您的游戏中快速实现 Phillips Hue 灯光。当前的功能集使用 Hue 桥进行身份验证。 设置并获取色调、饱和度、亮度。 打开/关闭灯。 获取灯的当前开/关状态。安装[下载当前...

    core-hue:用于Hiome的Hue适配器

    孝美顺将Hue与Hiome集成在一起,并根据Hiome的占用量直接控制Hue灯。安装git clone https://github.com/Hiome/hiome-hue.git npm install 按下色相桥上的链接按钮将其与Hiome配对npm start设置该脚本假定您拥有与...

    node-meem-hue:飞利浦 Hue 的 Meem 库

    《飞利浦Hue的Meem库:使用JavaScript探索智能照明控制》 在现代智能家居领域,飞利浦Hue智能灯泡系统凭借其丰富的色彩、亮度调节和远程控制能力,深受用户喜爱。为了更好地利用这一系统,开发人员创建了各种库来...

    snips-skill-hue:飞利浦Hue剪裁技巧

    飞利浦Hue剪裁技巧 安装 该技能是,因此您可以使用安装: $ pip install snipshue 用法 剪技能经理 建议您与一起使用此技能。 只需将以下部分添加到您的: skills : - package_name : snipshue class_name : ...

Global site tag (gtag.js) - Google Analytics