`
weitao1026
  • 浏览: 1053707 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

用Sqoop从Mysql数据库里向Hbase里导入数据

阅读更多

用Sqoop从Mysql数据库里向Hbase里导入数据,导入成功后,在eclipse上使用Java Hbase API的连接集群,打印所有数据,结果一运行程序,日志显示无法定位登录配置,具体信息如下:

Java代码 复制代码 收藏代码
  1. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;.  
  2. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\  
  3. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.compiler=<NA>  
  4. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.name=Windows 7  
  5. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.arch=amd64  
  6. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.version=6.1  
  7. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.name=qin  
  8. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin  
  9. 2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst  
  10. 2013/12/29-02:20:46  INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection  
  11. 2013/12/29-02:20:46  INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC  
  12. 2013/12/29-02:20:46  INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)  
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.library.path=D:\soft\Java\jdk1.6.0_32\bin;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin/server;D:/soft/Java/jdk1.7.0_04/bin/../jre/bin;D:/soft/Java/jdk1.7.0_04/bin/../jre/lib/amd64;D:\Python;C:\Program Files (x86)\AMD APP\bin\x86_64;C:\Program Files (x86)\AMD APP\bin\x86;C:\Program Files (x86)\Intel\iCLS Client\;C:\Program Files\Intel\iCLS Client\;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\DAL;C:\Program Files (x86)\Intel\Intel(R) Management Engine Components\IPT;C:\Program Files (x86)\ATI Technologies\ATI.ACE\Core-Static;D:\soft\Java\jdk1.7.0_04/bin;D:\soft\Java\jdk1.7.0_04/jre/bin ;E:\SSHClient;D:\soft\eclipse;;.
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.io.tmpdir=C:\Users\qin\AppData\Local\Temp\
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.compiler=<NA>
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.name=Windows 7
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.arch=amd64
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:os.version=6.1
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.name=qin
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.home=C:\Users\qin
2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:user.dir=D:\eclipseworkspace\myfirst
2013/12/29-02:20:46  INFO ZooKeeper:438 - Initiating client connection, connectString=192.168.120.129:2181 sessionTimeout=180000 watcher=hconnection
2013/12/29-02:20:46  INFO RecoverableZooKeeper:104 - The identifier of this process is 9308@qin-PC
2013/12/29-02:20:46  INFO ClientCnxn:966 - Opening socket connection to server namenode/192.168.120.129:2181. Will not attempt to authenticate using SASL (无法定位登录配置)



其实这个信息,并不是Hbase的异常,而是客户端找不到zookeeper的解析地址,由于Hbase是通过hostname解析IP地址的(DNS),Zookeeper只会返回Hbase的域名,需要客户端通过DNS或本地hosts文件进行解析。
解决办法:
在Linux上,在/etc/hosts文件中添加Hbase Master节点的域名及IP地址映射,
在Windows上,修改C:\Windows\system32\etc\hosts文件,添加Hbase Master节点的域名及IP地址映射。
截图如下:








至此,就可以正常使用了,再次启动程序,已经发现没有刚才的问题了

分享到:
评论

相关推荐

    sqoop把mysql数据导入hbase2.1.6

    首先,Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive,还能直接导入到HBase。关键在于正确使用参数: 1. `--hbase-table`:此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话,数据将被导入...

    mysql导入hbase所需要的jar

    当尝试使用Sqoop从MySQL导入数据到HBase时,可能需要特定的JAR文件来处理MySQL的数据格式和HBase的存储模型之间的差异。 描述中提到的"报错空指针,且提示json错误",这通常是由于JSON解析问题导致的。JSON...

    关系型数据库的数据导入Hbase

    通过 Sqoop导出到Hbase,需要先将数据导入HDFS,再用Hbase的Import命令将数据加载到Hbase表中。 - Hadoop MapReduce:可以编写自定义的MapReduce作业,将RDBMS数据读取、转换并写入Hbase。这种方法灵活性高,但开发...

    nosql实验五-HBase数据迁移与数据备份&恢复.docx

    本实验主要介绍了 HBase 数据迁移与数据备份和恢复的方法,包括使用 Sqoop 将 MySQL 数据导入到 HBase、将文本文件批量导入 HBase、使用 Hadoop DistCp 实现 HBase 的冷备份和热备份。 一、使用 Sqoop 将 MySQL ...

    Hive、MySQL、HBase数据互导

    使用Sqoop将数据从Hive导入MySQL**: - 使用Sqoop连接到Hive并指定要导出的表。 - 设置目标MySQL数据库的连接信息,包括用户名、密码、数据库名和表名。 - 执行Sqoop命令,将Hive表的数据导入到MySQL中。 **3. ...

    大数据处理:用 Sqoop 实现 HBase 与关系型数据库的数据互导

    内容概要:本文介绍了如何使用 Sqoop 在 HBase 和关系型数据库(如 MySQL 或 PostgreSQL)之间进行数据导入和导出。首先,文中详细描述了使用 Sqoop 导入数据的具体步骤,包括前提条件、创建 HBase 表以及执行 Sqoop...

    分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化

    综上所述,这个分布式数据库课程设计项目通过整合 Hbase、Hive、MySQL、Sqoop 等工具,实现了从数据采集、存储、分析到可视化的全流程,展现了大数据处理的一般流程和关键技术。通过实际操作,学习者可以深入理解和...

    Sqoop数据库数据导入导出教程PDF

    把关系型数据库的数据导入到Hadoop系统(如HDFS,Hbase和Hive中) 把数据从Hadoop系统里面抽取并导出到关系型数据库中 利用MapReduce加快数据处理速度 ·批处理方式进行数据传输 Sqoop 优势 ·¬高效、可控地利用资源 ...

    23-Sqoop数据导入导出1

    - 导入数据:使用Sqoop命令,指定HBase的表名和列族,将MySQL数据导入HBase。 3. **MySQL到Hive**: - 配置Hive:创建与MySQL表结构匹配的Hive表。 - 导入数据:使用Sqoop将MySQL数据导入Hive,数据会自动创建为...

    Sqoop安装与使用

    在将 mysql 数据库中的表导入到 HDFS 中时,需要启动 hadoop,登录 mysql 数据库,查看 hive 数据库中有哪些表,然后使用 sqoop 命令将 hive 数据库中的表导入到 HDFS 中。最后,查看是否导入 HDFS 中。 Sqoop ...

    mysql2hbase.7z

    MySQL到HBase的数据迁移是大数据领域常见的操作,尤其是在传统关系型数据库向分布式NoSQL数据库转换的过程中。本资源“mysql2hbase.7z”提供了一种解决方案,由于Sqoop已经停止更新,不再支持较新的HBase版本,因此...

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行...5.使用Sqoop将数据从MySQL导入HBase 6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    通过Sqoop,我们可以将结构化的数据导入到Hadoop的HDFS中,或者将Hadoop中的数据导出到关系数据库。安装Sqoop需要确保已安装Hadoop和JDBC驱动,配置相关环境变量,如SQOOP_HOME,然后下载并解压Sqoop的源码或二进制...

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka,再通过存储程序将 Kafka 的数据保存至 Hive 或 HBase 中。然而,在实施过程中遇到了 Sqoop 版本兼容性问题: - **Sqoop1**:适用于命令行模式执行。...

    zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10

    它允许用户将结构化数据从关系数据库如MySQL、Oracle导入到Hadoop的HDFS,或者将Hadoop的数据导出回关系数据库。版本1.4.7支持更多的数据库类型,改进了性能和错误处理,使得数据迁移更加便捷和可靠。 **Kafka 2.10...

    spark大作业.zip

    使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、...5、使用Sqoop将数据从MySQL导入HBase 6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

    大数据处理技术中Sqoop与HBase的数据交互详解

    文档还提供了详细的实战步骤指导,覆盖了从准备工作、HBase 表创建,到数据导入验证的具体执行细节,同时对潜在的问题进行了预判和给出解决方案建议。 适合人群:本指南面向希望深入掌握数据迁移技术的技术人员,...

    大数据实践-sqoop数据导入导出.doc

    3. 将MySQL的JDBC驱动复制到Sqoop的lib目录,确保 Sqoop 能够连接到MySQL数据库。 4. 使用root权限配置环境变量,添加SQOOP_HOME并更新PATH。 5. 创建并编辑`sqoop-env.sh`文件,设置Hadoop、HBase、Hive等相关路径...

    hbase导出csv,文本,html文件

    这个流程体现了大数据处理中的一种典型数据流:从NoSQL系统(如HBase)到数据仓库(如Hive),再到关系型数据库,最后以结构化的文本格式供其他系统或工具使用。通过这样的操作,可以充分利用各种工具的优势,实现...

Global site tag (gtag.js) - Google Analytics