Hive 0.8 以上版本开始支持远程调试(注1)。
1. 以debug模式启动Cli，${HIVE_HOME}/bin/hive --debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh 。
2. 在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Port，确定。
3. 如果Hadoop是0.23以上版本，debug模式启动Cli会报错：ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.。打开${Hadoop_HOME}/bin/hadoop，注释掉HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"即可。
注1：https://issues.apache.org/jira/browse/HIVE-2500
分享到：
相关推荐
【Ubuntu完全分布式及Hive远程安装详解】 在大数据处理领域，Apache Hive是一个广泛使用的数据仓库工具，它允许用户使用SQL（HQL）查询Hadoop集群中的数据。本篇将详细介绍如何在Ubuntu操作系统上进行Hive的完全...
在Windows 7环境下配置和远程调试Hadoop集群是一项挑战，但通过正确的方法和步骤，可以成功实现这一目标。以下是关于这个主题的详细知识： 1. **Hadoop简介**： Hadoop是由Apache基金会维护的一个分布式计算框架，...
Eclipse是一种流行的Java集成开发环境，它支持对Hadoop和Hive这样的大数据项目的开发和调试。 标签 "hive2.1.1 jd" 暗示了这个压缩包主要关注Hive 2.1.1版本的JDBC驱动，jd可能是“jdbc驱动”的缩写。 现在我们来...
本地模式通常用于调试，所以主要分析远程模式。 在远程模式下，Hive on Spark 的运行流程可以分为以下几个步骤： * 首先，Hive parser 将 SQL 语句解析成抽象语法树（AST）。 * 然后，Hive optimizer 对 AST 进行...
- **远程访问**：通过网络，用户可以在远程服务器上执行Hive查询，而无需在本地安装Hive客户端。 - **兼容性**：Hive JDBC驱动提供了标准的接口，使得不同的编程语言可以轻松地连接到Hive。 2. **Hive 2.5.15的...
7. **配置和调试 Hive** - **更改运行时配置**：可以在提交作业前通过 SET 命令动态调整某些参数。 - **调试技巧**：利用日志记录、性能监控等手段优化 Hive 应用程序。 8. **使用 Hue** - **准备工作**：安装...
6. **错误处理和调试**：库通常会提供错误处理机制，帮助开发者诊断和解决在与Hive交互过程中可能出现的问题。 7. **测试和验证**：像“test_hive.php”这样的测试脚本可以帮助开发者确保代码的正确性，测试不同...
同时，还需要配置Hive的metastore服务，可以选择本地模式或远程模式。 4. **Hive数据模型**：Hive的数据模型包括数据库、表、分区和桶。数据库是逻辑上的组织单位，表是数据的存储容器，分区是表的逻辑划分，用于...
这意味着开发人员可以使用 Java 或者支持 JDBC 的任何编程语言（如 Python 的 jaydebeapi 或 Scala）来远程操作 Hive，而无需在本地安装完整的 Hive 客户端。 安装这个 JDBC 驱动时，通常将其解压后将 jar 文件复制...
6. **Hive Server**：允许远程客户端通过Thrift协议连接到Hive服务，执行查询和管理任务。 7. **Hcatalog**：作为元数据服务，Hcatalog允许其他工具如Pig和MapReduce共享Hive的元数据，增强数据仓库的互操作性。 8...
9. **建立连接**：在Eclipse中配置Hadoop和Spark连接，使得Eclipse能够与本地或远程Hadoop和Spark集群通信。 10. **开发源码**：现在你可以在Eclipse中编写Hadoop MapReduce、Spark应用和Hive查询。使用Eclipse的...
WebHCat是HCatalog的RESTful API，用于远程操作Hive和HCatalog，比如提交作业、查询元数据等，适合于开发基于Web的应用程序。 **Hive命令行界面（CLI）** Hive提供了两种命令行接口：传统的Hive CLI和更现代的...
- 如果使用Eclipse作为Java IDE，可以通过安装Hive插件，如Hive Editor，实现Hive查询的集成开发和调试。 总之，Hive的配置涉及到环境变量设置、配置文件修改、数据库连接配置等多个环节，而其基本操作则涵盖了...
具体系统介绍看我的博客空间 搜索对应的题目，本代码适合学习java 代码springboot 如自己能力有限 运行不出来，可以联系作者购买人工远程调试服务
- 它具有强大的SQL编辑器，支持编写、执行和调试SQL脚本。 - 数据可视化功能，如图表和图形，帮助用户更好地理解数据。 - 提供版本控制集成，如Git，便于数据库版本管理和协作。 **2. Hive与DBeaver的结合**： ...
在C++编程中，日志系统是调试、监控和问题排查的关键工具。Hive Software Logger以其小巧的体积、高效的性能以及对资源的最小化占用，成为开发者们在C++项目中实现日志功能的理想选择。 1. **日志级别与过滤** ...
2. **测试与调试**：在设计环境中可以直接执行转换，查看输出结果，进行调试。 3. **部署与执行**：将设计好的转换或作业保存为.ktr或.kjb文件，然后使用Kitchen或Pan进行命令行执行。 4. **监控与管理**：通过Carte...
本地调试通过设置IDEA的运行模式为`local`，而远程调试则可以使用IDEA的Alibaba Cloud View插件或通过`spark-submit`命令提交。 测试环境和正式环境的发布路径被指定，硬件部署要求也给出了明确的标准，例如调度...
5. **remote_test**：这个可能涉及到远程Hadoop集群的测试代码，如提交MapReduce作业到远程集群运行，检查作业状态，或者对HDFS上的文件进行远程操作。 学习这些示例代码，不仅可以理解Hadoop生态的基本组件和它们...
执行 Sqoop 命令时，可以使用`--debug`选项来开启调试模式，这将使每个MapReduce任务在启动时等待远程调试器的连接。例如，一个基本的 Sqoop 导入命令可能是这样的： ``` sqoop import --connect 'jdbc:mysql://...