sjsky
- 浏览: 917845 次
- 性别:
- 来自: 上海
-
最新评论
-
fighhin：
decode(BinaryBitmap,java.util.M ...
条形码/二维码之开源利器ZXing图文介绍 -
u013489005：
追问：楼主，请问有中文文档么？我的邮箱是frankgray@s ...
Java表达式计算引擎:Expr4J -
u013489005：
感谢博主 需要引入的包是import java.io.*;im ...
Java表达式计算引擎:Expr4J -
calosteward：
感谢楼主分享。。 Zxing 我听说过的。__________ ...
条形码/二维码之开源利器ZXing图文介绍 -
u013810758：
judasqiqi 写道感谢楼主！想请问楼主一下这个生成的图片 ...
Java实现二维码QRCode的编码和解码
文章列表
启用新的博客：
http://www.micmiu.com
此处的博客将暂停回复，希望大家以后能多多关注我新的博客 。
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：
［一］、基础环境
Ubuntu 12.04 LTS 64 位
Hadoop2.2.0
Java version: 1.7.0_55
Apache Maven 3.2.1
［二］、软件配置
详见：http://www.micmiu.com/os/linux/ubuntu-config-default-jdk/
一般Ubuntu12.04中Eclipse安装svn插件经常碰到两种问题：
Failed to load JavaHL Library.
ubuntu Incompatible JavaHL library loaded. 1.8.x or later required
以我的环境为例：
本文演示如何在Eclipse中开发一个Map/Reduce项目：
1、环境说明
Hadoop2.2.0
Eclipse Juno SR2
详见：http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程：
环境参数
编译过程
安装配置
详见：
http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/
Spark 源码除了用 sbt/sbt assembly 编译，也可用Maven进行编译，具体步骤如下：
详见：http://www.micmiu.com/bigdata/spark/spark-building-with-maven/
在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错：
java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused;
解决办法详见：http://www.micmiu.com/bigdata/hive/hive-conn ...
Sqoop 把数据从Oracle中迁移到Hive中时发生错误：
ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!
详见：http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no-columns/
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的安装配置和简单应用的演示。
安装配置
准备测试数据
导入数据到HDFS
导入数据到Hive
导入数据到HBase
详见：http://www.micmiu.com/bigdata ...
本文主要描述Hive和HBase 环境整合配置的详细过程：
基本环境
整合配置
测试验证
详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：
HiveException:Not a host:port pair: PBUF
详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：
HiveException:Not a host:port pair: PBUF
详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的完全分布式模式安装配置的过程，分布式模式均需要依赖于HDFS。
基础环境
安装配置
详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。
基础环境
安装配置
详见：http://www.micmiu.com/