- 浏览: 80394 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (95)
- Linux(CentOS) (17)
- ubuntu (16)
- linux命令 (13)
- java基础 (8)
- eclipse maven (1)
- ubuntu xen (0)
- samba (1)
- jdk (1)
- linux (1)
- jenkins (1)
- MySQL (4)
- spring (1)
- redis (2)
- zookeeper (3)
- java多线程 (3)
- 线程池 (2)
- 工具类 (1)
- 技术问答 (1)
- 算法 (1)
- eclipse JVM (1)
- hadoop配置 (2)
- hadoop配置 HDFS (0)
- ubuntu svn (1)
- hadoop (5)
- mapReduce (1)
- HDFS (2)
- hive (3)
- flume (1)
- python (6)
- centos (1)
- svn (1)
- sonar (1)
- JVM (1)
- kafka (1)
- zabbix (1)
- python paramiko (1)
- TPS (1)
- docker (4)
- ssh (2)
- Go (1)
最新评论
搭建环境:Centos x 6.6 64bit
前置环境jdk1.7、maven3.0.5
如果是你32bit的机器,可以直接下载官方已经编译好的包,64bit的机子重新编译步骤如下。
安装依赖工具
编译Hadoop
慢慢等着,这个过程会很久,..................................................................................................................................................................真的会很久
编译成功后会打包,放在hadoop-dist/target
# ls
antrun dist-tar-stitching.sh hadoop-2.6.0.tar.gz hadoop-dist-2.6.0-javadoc.jar maven-archiver
dist-layout-stitching.sh hadoop-2.6.0 hadoop-dist-2.6.0.jar javadoc-bundle-options test-dir
前置环境jdk1.7、maven3.0.5
如果是你32bit的机器,可以直接下载官方已经编译好的包,64bit的机子重新编译步骤如下。
安装依赖工具
yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst tar xvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure make make install #验证: protoc --version libprotoc 2.5.0 tar -zxvf apache-ant-1.9.5-bin.tar.gz -C /usr/local #配置ant环境变量
编译Hadoop
慢慢等着,这个过程会很久,..................................................................................................................................................................真的会很久
mvn package -DskipTests -Pdist,native
编译成功后会打包,放在hadoop-dist/target
# ls
antrun dist-tar-stitching.sh hadoop-2.6.0.tar.gz hadoop-dist-2.6.0-javadoc.jar maven-archiver
dist-layout-stitching.sh hadoop-2.6.0 hadoop-dist-2.6.0.jar javadoc-bundle-options test-dir
发表评论
-
Centos7安装Go语言
2017-01-12 15:08 4411、下载安装包 # wget https://storag ... -
Centos安装Sqlite3
2017-01-12 11:30 6151、下载安装包 官网http://www.sqlite.org ... -
Docker仓库搭建(Registry + Portus)
2016-12-21 11:26 838引用 http://www.cnblogs.com/derek ... -
Centos7安装
2016-12-14 14:30 3571、配置静态IP vi /etc/sy ... -
Docker创建支持ssh服务的容器和镜像
2016-10-03 10:48 4151、启动容器 [root@docker ~]# docke ... -
svn
2015-06-05 13:15 4741、下载单个文件 svn co --depth=empt ... -
CentOS sendmail发送外部邮件
2015-05-10 13:39 15481、安装配置sendmail软件 yum install ... -
centos6.6 脚本
2015-04-20 21:15 377软件存放于~/soft下面,安装常用软件java、tomcat ... -
Flume
2015-03-12 17:23 6691、运行flume需要的jar包,以及hadoop配置文件 ... -
hadoop、hbase、hive、zookeeper版本对应关系
2015-03-11 15:25 708hadoop与HBase版本对应关系: Hbase Had ... -
HIVE实例
2015-03-09 16:08 4321、配置hive-site.xml文件,使用mysql作为me ... -
hadoop学习--mapReduce
2015-01-22 15:37 372vim words hello jzk hello ... -
linux文件夹权限问题
2014-07-20 16:08 6571、sudo chmod 777 /usr/local/j ... -
CentOS 6.5安装jenkins
2014-06-25 15:50 1372第一种方法 1、安装 新增 jenkins 的 yum 源 ... -
CentOS 6.5开机自启动svn、apache
2014-06-22 23:14 6861、编辑rc.local文件 #vi /etc/rc.d/rc ... -
CentOS 6.5搭建SVN 1.8.5服务器
2014-06-18 15:40 714yum install subversion apache安装 ... -
CentOS 6.5安装apache
2014-06-18 14:28 7991、依赖包的安装 tar zxvf apr-1.5.0.tar ... -
CentOS 6.5开放端口
2014-06-18 11:50 511netstat -anp|grep 8080 #查看8080 ... -
CentOS 6.5安装tomcat7
2014-06-18 11:43 6651、创建tomcat路径,上传apache-tomcat-7. ... -
CentOS 6.5安装JDK6
2014-06-18 11:32 6031、安装jdk6 上传jdk-6u30-linux-i586 ...
相关推荐
在本文中,我们将深入探讨如何在Cent OS 6.5操作系统上编译Hadoop 2.6.0的源码,以及如何利用编译生成的lib包目录替换官方下载资源中的对应目录。这个过程对于那些希望自定义Hadoop配置、优化性能或解决特定环境下的...
《Spark编程核心组件:spark-assembly-1.5.2-hadoop2.6.0.jar详解》 在大数据处理领域,Spark以其高效、易用和灵活性脱颖而出,成为了许多开发者的首选框架。Spark-assembly-1.5.2-hadoop2.6.0.jar是Spark中的一个...
hadoop 2.6.0 eclipse 插件 测试可用
Hadoop是Apache软件基金...以上是对"Hadoop 2.6.0 安装包"的相关知识点的详细介绍,包括Hadoop的基本概念、主要组件、新特性、安装配置流程以及Hadoop生态系统的其他组件。这些知识对于理解和操作Hadoop集群至关重要。
hadoop-2.6.0.tar.gz + ideaIC-13.1.6.tar.gz + jdk-7u75-linux-i586.tar.gz + scala-2.10.4.tgz + spark-1.0.0-bin-hadoop2.tgz
安装和配置Hadoop在Windows上时,`winutils.exe`也是一个必不可少的工具,它提供了包括设置Hadoop环境变量、启动HDFS和YARN服务等在内的各种功能。 此外,Hadoop 2.6.0还包含许多其他组件,如HBase(一个分布式...
Hadoop2.6.0是这个框架的一个重要版本,它包含了多项优化和改进,以提高系统的稳定性和性能。在这个压缩包中,我们关注的是与Windows环境相关的两个关键组件:Winutils和hadoop.dll。 首先,让我们详细了解一下...
spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,
Spark-assembly-1.5.2-hadoop2.6.0.jar是Apache Spark的一个关键组件,主要用于在Scala环境中开发Spark应用程序。这个特定的版本(1.5.2)与Hadoop 2.6.0兼容,这意味着它可以无缝地运行在支持Hadoop 2.6.0的集群上...
《Hadoop-2.6.0在CentOS6.5上的编译与集群搭建详解》 Hadoop,作为开源的大数据处理框架,是大数据领域的核心工具之一。版本2.6.0是其发展历程中的一个重要里程碑,它带来了诸多性能优化和功能增强。在本文中,我们...
下载hadoop2.6.0的源码辛苦编译成的,网上没找到编译好现成的,费了几个小时用maven编译好的带源码的jar包,中间还得安装编译protoc,可以直接供eclipse使用。
在标题中提到的“hadoop2.6.0版本hadoop.dll和winutils.exe”是针对Windows环境下运行Hadoop的一些关键组件。 1. **Hadoop 2.6.0**: 这是Hadoop的一个主要版本,发布于2014年,带来了许多增强和改进。在Hadoop 2.x...
标题"Hadoop2.6.0-64-bin.zip"指的是Hadoop 2.6.0版本的64位二进制发行版。Hadoop是一个开源的分布式计算框架,由Apache软件基金会开发,它允许在廉价硬件上处理大量数据,实现了大数据的存储和处理能力。这个压缩包...
3. 解压Hadoop压缩包:使用`tar -zxvf hadoop2.6.0.tgz`命令解压。 4. 配置环境变量:在`~/.bashrc`或`~/.bash_profile`文件中设置HADOOP_HOME,并添加到PATH。 5. 配置Hadoop配置文件:修改`etc/hadoop/core-site....
### 使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0 #### Hadoop 2.x 版本变化及依赖分析 在Hadoop 2.x版本中,相较于早期版本,其架构和依赖库有了明显的变化。在早期版本如1.x中,所有的依赖都集中在`...
- 创建 `/opt/yarn` 目录,并进入该目录使用 `tar xvf hadoop2.6.0.tar.gz` 解压文件。 3. **用户和组创建**: - 根据实际需要创建用户组(例如 `hadoop`),以及用户(如 `yarn`, `hdfs`, `mapred`)。 4. **...
hadoop2.6.0.chm由hadoop的doc制成,包含User Guide、Javadocs等
在本案例中,我们关注的是Hadoop 2.6.0的编译过程,这通常需要一系列的工具来完成。以下是编译Hadoop 2.6.0所需的关键组件及其功能的详细解释: 1. **Apache Ant**: Apache Ant是一个Java库和命令行工具,用于...
用户可以通过解压此文件,编译安装来搭建自己的Hadoop环境,进行分布式计算和数据存储。这个版本还包含了其他相关工具,如Hadoop命令行工具、Hadoop守护进程等,用于管理和操作Hadoop集群。 而hadoop-2.6.0-cdh...