博客首页 → micmiu

最新文章列表

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点： ［一］、基础环境 Ubuntu 12.04 LTS 64  位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 ［二］、软件配置  
micmiuhadoopubuntubuild 
sjsky 评论(0) 有1116人浏览 2014-04-22 14:23

Ubuntu设置默认jdk

详见：http://www.micmiu.com/os/linux/ubuntu-config-default-jdk/  
micmiuubuntujdk 
sjsky 评论(0) 有1163人浏览 2014-04-22 14:22

Ubuntu12.04中Eclipse安装svn插件问题

一般Ubuntu12.04中Eclipse安装svn插件经常碰到两种问题： Failed to load JavaHL Library. ubuntu Incompatible JavaHL library loaded.  1.8.x or later required 以我的环境为例：
eclipseubuntusvnmicmiu 
sjsky 评论(0) 有1011人浏览 2014-04-22 14:22

eclipse中开发Hadoop2.x的Map/Reduce项目

本文演示如何在Eclipse中开发一个Map/Reduce项目： 1、环境说明 Hadoop2.2.0 Eclipse Juno SR2 详见：http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/    
micmiuhadoopmapreduceeclipse 
sjsky 评论(0) 有1460人浏览 2014-04-22 14:20

Hadoop2.x eclipse plugin插件编译安装配置

本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程： 环境参数 编译过程 安装配置 详见： http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/
micmiuhadoopeclipse plugin 
sjsky 评论(0) 有1445人浏览 2014-04-22 14:18

maven编译Spark源码

Spark 源码除了用 sbt/sbt assembly 编译，也可用Maven进行编译，具体步骤如下：   详见：http://www.micmiu.com/bigdata/spark/spark-building-with-maven/
micmiusparkmaven 
sjsky 评论(0) 有1892人浏览 2014-04-14 23:37

java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception

在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错： java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception: ...
micmiuhive 
sjsky 评论(1) 有4964人浏览 2014-04-14 23:36

ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no colu

Sqoop 把数据从Oracle中迁移到Hive中时发生错误：   ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!   详见：http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no- ...
micmiusqooporacle 
sjsky 评论(0) 有1617人浏览 2014-04-14 23:35

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的 ...
micmiusqoophivehbasehadoop 
sjsky 评论(0) 有2076人浏览 2014-04-09 16:51

Hive和HBase整合

本文主要描述Hive和HBase 环境整合配置的详细过程： 基本环境 整合配置 测试验证     详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
micmiuhivehbase 
sjsky 评论(0) 有1189人浏览 2014-04-09 16:50

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：   HiveException:Not a host:port pair: PBUF   详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/  
micmiuhivehbase 
sjsky 评论(0) 有1331人浏览 2014-04-09 16:49

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：   HiveException:Not a host:port pair: PBUF   详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/
micmiu 
sjsky 评论(0) 有1070人浏览 2014-04-09 16:48

HBase安装配置之完全分布式模式

HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的完全分布式模式安装配置的过程，分布式模式均需要依赖于HDFS。 基础环境 安装配置 详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/  
micmiuhbasehadoop 
sjsky 评论(0) 有1195人浏览 2014-03-10 17:28

HBase安装配置之伪分布式模式

HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。 基础环境 安装配置 详见：http://www.micmiu.com/
micmiuhbasehadoop 
sjsky 评论(0) 有1487人浏览 2014-03-10 17:26

github更新自己Fork的代码

  github上有个功能叫fork，可以将别人的工程复制到自己账号下。这个功能很方便，但其有一个缺点是：当源项目更新后，你fork的分支并不会一起更新，需要自己手动去更新。 以github用户名:micmiu ，fork 项目 sql-parser（原始地址https://github.com/FoundationDB/sql-parser）到自己账号下 https://github.com ...
micmiugitgithubfork 
sjsky 评论(0) 有1196人浏览 2014-03-09 22:52

HBase安装配置之单机模式

HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。默认的安装模式就是单机模式 ，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本教程介绍了HBase单机安装的方法，并演示：启动HBase、通过shell创建表、插入数据、查询数据、删除表，最后停止HBase的过程。 环境说明 安装配置 详见：http://w ...
HBasemicmiuHadoop 
sjsky 评论(0) 有2188人浏览 2014-03-09 22:51

Hive自定义分隔符InputFormat

Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。 [一]、开发环境 Hadoop 2.2.0 Hive 0.12.0 Jav ...
micmiuHiveinputformat 
sjsky 评论(0) 有1649人浏览 2014-02-24 17:34

Hive教程之DML数据导入导出

文章基本目录结构： 数据导入 导入本地文件 导入hdfs文件 数据导出 导出到新表 导出到本地文件 导出到hdfs文件 本文的测试基于Hadoop 2.2.0 +
micmiuhivedml 
sjsky 评论(0) 有588人浏览 2014-02-20 17:26

HBase基于Hadoop2的源码编译

本文以HBase0.98.0 为例，演示编译生成适用于Hadoop2.x 版本软件包的过程。 基本环境参数： Mac OSX 10.9.1 Maven 3.0.4 Java 1.6.0_65 Hadoop 2.2.0 HBase 0.98.0 源码编译的基本步骤：    
micmiuhbase 
sjsky 评论(0) 有1988人浏览 2014-02-20 17:24

Hive教程之metastore的三种模式

Hive中metastore（元数据存储）的三种方式： 内嵌Derby方式 Local方式 Remote方式 详见：http://www.micmiu.com/opensource/hadoop/hive-metastore-config/  
micmiuhivemetastore 
sjsky 评论(0) 有1365人浏览 2014-02-20 17:24

最近博客热门TAG

Java(141746) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics