`
Molisa
  • 浏览: 35183 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

Cloudera Hue Issues

 
阅读更多
在使用Cloudera Hue时遇到一问题:
1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示:
  • 使用Hue的Sqoop shell -》 start job --jid * 提交会出现一些错误提示
  • 然后再去/var/log/sqoop/里面查看log


2. 第二个问题是在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql 驱动,虽然驱动已经被我加入到sqoop/lib下,后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了

3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。初步发现的原因,可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.

4. hue oozie中有几个关于时间的设置,都跟时区有关:
  • Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致,将其改为Asia/Chongqing,重启hue服务即可。
  • Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。
  • 上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。


5. 当使用MySQL作为集群中Hive的MetaStore和Cloudera Manager Monitor Service的Database的时候,各个节点要安装mysql-connector。

6. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常,使用NTP server/client可以解决这个问题。

7. Cloudera Manager - Hbase browser couldn't connect to localhost:9090

In Hue 2.5.0, there is a new feature called "HBase Browser", it is for user to quickly browsing huge tables and accessing Hbase content. You can also create new tables, add data, modify existing cells and filter data with the autocompleting search bar. If you click on "Hbase Browser" icon and get "API error: couldn't connect to localhost:9090", probably you don't have a Hbase thrift server running.

In your CM, go to "All Services" -> "hbase1" -> "Instances", then under "Role Instances", click on "Add", choose a node to be "HBase Thrift Server", then start the thrift server. By default, hue connects to itself on port 9090, so make sure hue knows which node is the thrift server.

To start a thrift server from commnad line, just type "hbase thrift start".
分享到:
评论

相关推荐

    hue-3.9.0-cdh5.12.1.tar.gz

    HUE(Hadoop User Experience)是Cloudera公司推出的一款开源大数据分析图形用户界面工具,它为用户提供了直观易用的操作界面,使得非专业程序员也能方便地进行大数据处理和分析。HUE 3.9.0是该系列的一个重要版本,...

    hue-4.10.0_Centos7.9安装部署手册.rar

    wget https://github.com/cloudera/hue/releases/download/4.10.0/hue-4.10.0.tgz tar -xvf hue-4.10.0.tgz cd hue-4.10.0 ``` 四、配置 Hue 在 `desktop/conf/pseudo-distributed.ini` 文件中,配置 Hue 的各项...

    Ambari2.7.4集成Hue4.6.0

    Hue 是基于 Python Web 框架 Django 开发的,起源于 Cloudera Desktop,并最终贡献给了 Apache 基金会。它提供了对 Hadoop 生态系统的广泛支持,包括 HDFS、MapReduce、Hive、HBase 等组件的操作。 2. **环境准备*...

    Hue 常见问题解决方案,大数据平台的hue/hive常见问题总结 免费下载

    Hue是Cloudera公司开发的一款开源Web应用程序,它提供了一个统一的界面,让用户无需编写复杂的命令行脚本就能执行Hadoop任务。Hue的核心组件包括: 1. **HDFS Browser**:用于浏览和管理Hadoop分布式文件系统中的...

    Hue Editor:开源SQL查询助手数据库/仓库- cloudera/ Hue

    Query. Explore. Share. The Hue Editor is a mature open source... It ships in Cloudera Data Platform, Google DataProc, Amazon EMR, Open Data Hub... Hue is also ideal for building your own and any contribu

    cloudera 5.12.zip

    Cloudera 5.12 是一款开源大数据管理平台,主要提供Hadoop生态系统的企业级解决方案。这个版本的Cloudera Manager和CDH(Cloudera Distribution Including Apache Hadoop)组合在一起,为用户提供了数据存储、处理和...

    Cloudera技术参考资料

    ### Cloudera技术参考资料知识点详解 #### 一、Cloudera概述与大数据平台的重要性 - **数据驱动行业发展:** 在当今社会,数据已经成为推动各行业发展的核心动力之一。随着技术的进步,越来越多的企业意识到数据的...

    hue的安装配置.doc

    Hue 是 Cloudera Data Hub (CDH) 中的一款重要组件,它提供了一整套Web界面工具,使得用户能够更方便地管理和操作CDH中的各种大数据服务。Hue 主要由三个部分构成:Hue UI(用户界面)、Hue Server(服务器)和Hue ...

    hue-3.7.0-cdh5.3.6

    "hue-3.7.0-cdh5.3.6" 版本是针对Cloudera Data Hub (CDH) 5.3.6的一个定制化版本,主要用于与CDH组件集成,如Hadoop、HBase、Hive、Pig等。在这个版本中,Hue提供了对这些大数据处理框架的图形化支持,使得非技术...

    CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册.pdf

    "Cloudera Manager中文手册" Cloudera Manager是一款基于大数据管理平台,用于管理Hadoop集群和CDH(Cloudera Distribution of Hadoop)集群。该手册详细介绍了Cloudera Manager的产品介绍、基本功能、监控功能等...

    hue-cdh版本

    在这个“hue-3.7.0-cdh5.3.6”版本中,我们关注的是Hue与Cloudera Data Hub (CDH) 5.3.6的集成。 Hue的核心功能包括: 1. **文件浏览器**:允许用户浏览HDFS中的文件和目录,支持上传、下载、编辑文件,并提供了...

    Cloudera 5.4.x Documentation系列官方文档

    Cloudera 5.4.x Documentation系列官方文档。压缩包里面共有十个文档!分别是: cloudera-administration.pdf-配置管理文档 cloudera-datamgmt.pdf-数据管理文档 cloudera-impala.pdf-impala使用文档 cloudera-...

    Cloudera Manager 6.3.1 (文件1)

    cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-db-2-6.3.1-...

    Cloudera Hadoop 安装指南

    根据给定的文件信息,以下是对Cloudera Hadoop安装指南中的关键知识点的详细解析。 ### 关于Cloudera Hadoop安装指南 Cloudera Hadoop安装指南是为那些希望在自己的环境中部署并运行Cloudera Hadoop软件的用户提供...

    hue简介及编译安装说明文档

    Hue 是一个开源项目,由 Cloudera 公司维护。Hue 的主要功能是提供一个统一的界面,帮助用户快速高效地处理大数据。Hue 支持多种数据源,包括 HDFS、Hive、Impala 等,同时也支持多种数据可视化方式,包括表格、图表...

    hue-3.9.0-cdh5.14.0.tar.gz

    在Hue的安装过程中,"hue-3.9.0-cdh5.14.0.tar.gz"是一个重要的文件,它是针对CDH(Cloudera Distribution Including Apache Hadoop)5.14.0版本的Hue 3.9.0的源码压缩包。这个压缩包包含了所有必要的源代码、配置...

    java调用Cloudera Manager Api实例

    Java调用Cloudera Manager API是一个复杂而关键的任务,它涉及到使用Java编程语言与Cloudera Manager服务器进行交互,以实现自动化管理和监控大数据集群。Cloudera Manager是管理Hadoop和其他Cloudera支持的数据处理...

    Cloudera Introduction官方介绍文档

    在开始介绍Cloudera之前,我们首先要了解的是Cloudera Inc. 是一家在数据管理领域内提供商业解决方案以及大数据技术的公司。Cloudera创立于2008年,并且是Hadoop生态系统中的重要成员之一。Cloudera的产品和服务主要...

    cloudera manager的运行机制及目录

    Cloudera Manager是Cloudera公司提供的一套用于管理Apache Hadoop集群的软件,它简化了Hadoop集群的安装、部署和运维工作。Cloudera Manager使用C/S结构,包含一个Server端和若干Agent端。Server端负责集群的管理、...

    hue搭建收集的文档

    Hue是Cloudera公司开发的一个Web界面,它提供了一组直观的用户界面,使得非技术用户也能轻松地进行大数据分析。Hue与Hadoop生态系统中的多个组件如HDFS、HBase、Impala、Spark等集成,为数据分析师提供了统一的入口...

Global site tag (gtag.js) - Google Analytics