用Sqoop从Mysql数据库里向Hbase里导入数据,导入成功后,在eclipse上使用Java Hbase API的连接集群,打印所有数据,结果一运行程序,日志显示无法定位登录配置,具体信息如下:
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;.
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.compiler=<NA>
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.name=Windows 7
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.arch=amd64
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.version=6.1
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.name=qin
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin
- 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst
- 2013/12/29-02:20:46 INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection
- 2013/12/29-02:20:46 INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC
- 2013/12/29-02:20:46 INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)
2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;. 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\ 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:java.compiler=<NA> 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.name=Windows 7 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.arch=amd64 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:os.version=6.1 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.name=qin 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin 2013/12/29-02:20:46 INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst 2013/12/29-02:20:46 INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection 2013/12/29-02:20:46 INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC 2013/12/29-02:20:46 INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)
其实这个信息,并不是Hbase的异常,而是客户端找不到zookeeper的解析地址,由于Hbase是通过hostname解析IP地址的(DNS),Zookeeper只会返回Hbase的域名,需要客户端通过DNS或本地hosts文件进行解析。
解决办法:
在Linux上,在/etc/hosts文件中添加Hbase Master节点的域名及IP地址映射,
在Windows上,修改C:\Windows\system32\etc\hosts文件,添加Hbase Master节点的域名及IP地址映射。
截图如下:
至此,就可以正常使用了,再次启动程序,已经发现没有刚才的问题了
相关推荐
首先,Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive,还能直接导入到HBase。关键在于正确使用参数: 1. `--hbase-table`:此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话,数据将被导入...
当尝试使用Sqoop从MySQL导入数据到HBase时,可能需要特定的JAR文件来处理MySQL的数据格式和HBase的存储模型之间的差异。 描述中提到的"报错空指针,且提示json错误",这通常是由于JSON解析问题导致的。JSON...
通过 Sqoop导出到Hbase,需要先将数据导入HDFS,再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce:可以编写自定义的MapReduce作业,将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高,但开发...
本实验主要介绍了 HBase 数据迁移与数据备份和恢复的方法,包括使用 Sqoop 将 MySQL 数据导入到 HBase、将文本文件批量导入 HBase、使用 Hadoop DistCp 实现 HBase 的冷备份和热备份。 一、使用 Sqoop 将 MySQL ...
使用Sqoop将数据从Hive导入MySQL**: - 使用Sqoop连接到Hive并指定要导出的表。 - 设置目标MySQL数据库的连接信息,包括用户名、密码、数据库名和表名。 - 执行Sqoop命令,将Hive表的数据导入到MySQL中。 **3. ...
内容概要:本文介绍了如何使用 Sqoop 在 HBase 和关系型数据库(如 MySQL 或 PostgreSQL)之间进行数据导入和导出。首先,文中详细描述了使用 Sqoop 导入数据的具体步骤,包括前提条件、创建 HBase 表以及执行 Sqoop...
综上所述,这个分布式数据库课程设计项目通过整合 Hbase、Hive、MySQL、Sqoop 等工具,实现了从数据采集、存储、分析到可视化的全流程,展现了大数据处理的一般流程和关键技术。通过实际操作,学习者可以深入理解和...
把关系型数据库的数据导入到Hadoop系统(如HDFS,Hbase和Hive中) 把数据从Hadoop系统里面抽取并导出到关系型数据库中 利用MapReduce加快数据处理速度 ·批处理方式进行数据传输 Sqoop 优势 ·¬高效、可控地利用资源 ...
- 导入数据:使用Sqoop命令,指定HBase的表名和列族,将MySQL数据导入HBase。 3. **MySQL到Hive**: - 配置Hive:创建与MySQL表结构匹配的Hive表。 - 导入数据:使用Sqoop将MySQL数据导入Hive,数据会自动创建为...
在将 mysql 数据库中的表导入到 HDFS 中时,需要启动 hadoop,登录 mysql 数据库,查看 hive 数据库中有哪些表,然后使用 sqoop 命令将 hive 数据库中的表导入到 HDFS 中。最后,查看是否导入 HDFS 中。 Sqoop ...
MySQL到HBase的数据迁移是大数据领域常见的操作,尤其是在传统关系型数据库向分布式NoSQL数据库转换的过程中。本资源“mysql2hbase.7z”提供了一种解决方案,由于Sqoop已经停止更新,不再支持较新的HBase版本,因此...
1.对文本文件形式的原始数据集进行...5.使用Sqoop将数据从MySQL导入HBase 6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的
通过Sqoop,我们可以将结构化的数据导入到Hadoop的HDFS中,或者将Hadoop中的数据导出到关系数据库。安装Sqoop需要确保已安装Hadoop和JDBC驱动,配置相关环境变量,如SQOOP_HOME,然后下载并解压Sqoop的源码或二进制...
最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka,再通过存储程序将 Kafka 的数据保存至 Hive 或 HBase 中。然而,在实施过程中遇到了 Sqoop 版本兼容性问题: - **Sqoop1**:适用于命令行模式执行。...
它允许用户将结构化数据从关系数据库如MySQL、Oracle导入到Hadoop的HDFS,或者将Hadoop的数据导出回关系数据库。版本1.4.7支持更多的数据库类型,改进了性能和错误处理,使得数据迁移更加便捷和可靠。 **Kafka 2.10...
使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、...5、使用Sqoop将数据从MySQL导入HBase 6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析
文档还提供了详细的实战步骤指导,覆盖了从准备工作、HBase 表创建,到数据导入验证的具体执行细节,同时对潜在的问题进行了预判和给出解决方案建议。 适合人群:本指南面向希望深入掌握数据迁移技术的技术人员,...
3. 将MySQL的JDBC驱动复制到Sqoop的lib目录,确保 Sqoop 能够连接到MySQL数据库。 4. 使用root权限配置环境变量,添加SQOOP_HOME并更新PATH。 5. 创建并编辑`sqoop-env.sh`文件,设置Hadoop、HBase、Hive等相关路径...
这个流程体现了大数据处理中的一种典型数据流:从NoSQL系统(如HBase)到数据仓库(如Hive),再到关系型数据库,最后以结构化的文本格式供其他系统或工具使用。通过这样的操作,可以充分利用各种工具的优势,实现...