一、安装java
$ mkdir -p /usr/local/java
$ cd /usr/local/java
# 压缩包复制过去
$ sudo -s cp -r /mnt/shared_2/jdk-7u11-linux-i586.tar.gz ./
$ sudo -s cp -r /mnt/shared_2/jre-7u11-linux-i586.tar.gz ./
# 修改权限
$ sudo -s chmod a+x jdk-7u11-linux-i586.tar.gz
$ sudo -s chmod a+x jre-7u11-linux-i586.tar.gz
# 解压
$ sudo -s tar xvzf jdk-7u11-linux-i586.tar.gz
$ sudo -s tar xvzf jre-7u11-linux-i586.tar.gz
#修改配置文件
sudo gedit /etc/profile
# 添加下面内容:
# java环境变量
JAVA_HOME=/usr/local/java/jdk1.7.0_11
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
JRE_HOME=/usr/local/java/jre1.7.0_11
PATH=$PATH:$HOME/bin:$JRE_HOME/bin
export JAVA_HOME
export JRE_HOME
export PATH
修改完成后
sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jre1.7.0_11/bin/java" 1
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.7.0_11/bin/javac" 1
sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jre1.7.0_11/bin/javaws" 1
sudo update-alternatives --set java /usr/local/java/jre1.7.0_11/bin/java
sudo update-alternatives --set javac /usr/local/java/jdk1.7.0_11/bin/javac
sudo update-alternatives --set javaws /usr/local/java/jre1.7.0_11/bin/javaws
ps: netbeans 设置菜单字体大小
修改在/usr/local/netbeans-7.2.1/etc/netbeans.conf目录下,在netbeans_default_options参数追加
--laf Nimbus -J-Dswing.aatext=true -J-Dawt.useSystemAAFontSettings=lcd
二、安装hadoop
hadoop下载安装说明连接
http://hadoop.apache.org/docs/r0.19.2/cn/quickstart.html
首先要安装
、
# 为远程登录会话和其他网络服务提供安全性的协议
$ sudo apt-get install ssh
# rsync是Unix下的一款应用软件,它能同步更新两处计算机的档案与目录
$ sudo apt-get install rsync
建立目录 /usr/local/hadoop
下载最新稳定版的hadoop解压到这个目录下
编辑conf/hadoop-env.sh,设置java_home的变量
之后编辑系统/etc/profile添加hadoop的系统环境变量
# Hadoop环境变量
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin
三、安装Hive和Pig
分别下载hive和pig的版本,建立对应的/usr/local/hive(pig)目录,加压安装包到指定文件中。
设置一下环境变量,即可
# hive 环境变量
HIVE_HOME=/usr/local/hive
PATH=$PATH:$HOME/bin:$HIVE_HOME/bin
# pig 环境变量
PIG_HOME=/usr/local/pig
PATH=$PATH:$HOME/bin:$PIG_HOME/bin
分享到:
相关推荐
本教程将详细介绍如何搭建Hadoop集群以及安装和使用Hive。 首先,我们来了解Hadoop集群的搭建步骤: 1. **环境准备**:确保所有节点的操作系统一致,通常选择Linux发行版,如Ubuntu或CentOS。安装Java开发套件...
在Ubuntu上安装Hadoop是一...此外,还有其他高级配置,如Hadoop的安全性、性能优化和与其他大数据工具(如Hive、Pig、Spark)的集成。理解Hadoop的工作原理以及如何在不同环境中安装和配置是成为Hadoop专家的重要步骤。
本文将详细介绍Hadoop在Ubuntu系统上的安装过程以及初步的性能测试方法,旨在帮助读者理解和掌握Hadoop的基本部署与优化技巧。 #### 二、Hadoop安装准备 ##### 2.1 JDK安装 Hadoop的运行依赖于Java环境,因此首先...
"基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...
在IT行业中,Hadoop是一个广泛使用的开源框架,用于存储和...在部署完成后,可以考虑学习和掌握Hadoop的数据处理框架如MapReduce和Spark,以及Hadoop生态中的其他工具,如Hive、Pig和HBase等,以充分发挥Hadoop的潜力。
在实际应用中,Hadoop 通常与其他大数据工具集成,例如 ZooKeeper、Hive、Pig、Sqoop 等。 在本文中,我们将介绍如何在单机上安装 Hadoop 的伪分布式环境。伪分布式安装是指在一台机器上模拟分布式环境,所有 ...
- **Hadoop生态环境**:包括Pig、Hive、Spark等工具,用于数据处理、分析和查询。 - **伪分布模式**:在单机上模拟多节点集群,更接近生产环境,但需要配置更多参数。 以上就是Hadoop单机版的安装教程及相关知识...
在Ubuntu系统上,这通常涉及安装Java开发环境,配置Hadoop的环境变量,如`HADOOP_HOME`,以及修改Hadoop配置文件,如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,以定义HDFS的副本数量...
本文将详细阐述如何搭建Hadoop 2.x的环境,这包括单节点模式、伪分布式模式以及完全分布式模式的安装与配置,同时也涵盖了Hadoop生态系统中其他重要组件的安装。 一、Hadoop简介 Hadoop是基于Java开发的,它由...
在Ubuntu上,可以通过`sudo apt-get install openjdk-7-jre openjdk-7-jdk`命令安装OpenJDK,并设置`JAVA_HOME`环境变量。 4. **单机安装配置**: Hadoop的二进制包可以从官方网站下载,解压缩后放到适当的位置,...
同时,Hadoop还催生了一系列生态系统工具,如Hive(数据仓库工具)、Pig(数据流处理语言)、Spark(快速大数据处理引擎)等,它们与Hadoop共同构成了强大的大数据处理生态。 总的来说,Hadoop-2.7.3是一个成熟的...
此外,Hadoop生态还包括YARN(Yet Another Resource Negotiator),用于资源管理和调度,以及众多的扩展项目,如HBase、Hive、Pig、Spark等。 二、虚拟机安装 在实际环境中,为了便于测试和学习,我们通常会在...
在大数据领域,Hadoop生态圈包含了众多组件,如HDFS(分布式文件系统)、MapReduce(分布式计算框架)、HBase(NoSQL数据库)、Hive(数据仓库工具)、Pig(数据分析工具)、Flume(日志收集系统)、Sqoop(数据导入...
至于“开发新的数据算法”,Hadoop提供了丰富的API和工具,如Pig、Hive、Spark等,可以用于处理和分析大数据。你可以在Java、Python或其他支持的语言中编写MapReduce程序,实现自己的数据处理逻辑。 总结来说,本...
该平台由多个组件组成,包括Hadoop、HBase、Pig、Hive、Zookeeper、Ganglia、Chukwa等。 二、Hadoop云计算平台组件介绍 1. Hadoop:Hadoop是Apache软件基金会旗下的开源分布式计算框架,主要用于存储和处理大规模...
4. 软件要求:操作系统需要64位Ubuntu12.04.4、JDK版本为jdk-7u51-linux-x64.tar.gz、Hadoop版本为hadoop-1.2.15、Zookeeper版本为zookeeper-3.4.6、HBase版本为hbase-0.94.20、Pig版本为pig-0.12.0等。 5. Hadoop...
在本篇文档中,我们将深入探讨Hadoop平台的安装过程,包括在Linux操作系统上的...此外,学习和使用Hadoop的同时,也需要了解相关的生态系统组件,如Hive、Pig、Spark等,它们与Hadoop共同构建了大数据处理的完整框架。
【IT十八掌徐培成】Hadoop第01天-03....学习Hadoop不仅需要掌握安装过程,还需要理解其分布式文件系统HDFS和MapReduce计算模型,以及如何与其他大数据工具如Hive、Pig、Spark等集成,从而构建完整的数据分析平台。
在Ubuntu上安装Hive,我们需要先安装Hadoop,然后解压Hive的tarball,配置HIVE_HOME,添加到PATH,并设置相关配置文件如`hive-site.xml`。 **Sqoop-1.4.7** 是一个用于在Hadoop和传统数据库之间进行数据导入导出的...