HADOOP篇
HADOOP安装
1.tar -zvxf hadoop-0.19.2.tar.gz
2.HADOOP的安装路径添加到环境文件/etc/profile中:
export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2
export PATH=$HADOOP_HOME/bin:$PATH
HADOOP配置
1.在$HADOOP/conf/hadoop-env.sh中配置JAVA环境
export JAVA_HOME=/home/hadoop/setup/jdk1.7.0_04
2.在$HADOOP/conf/hadoop-site.xml中增加如下配置
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
HADOOP运行
1.格式化namenode
$HADOOP_HOME/bin/hadoop namenode -format
2.启动hadoop
$HADOOP_HOME/bin/start-all.sh
HIVE篇
HIVE安装
1.tar -zvxf hive-0.6.0.tar.gz
2.HIVE的安装路径配置到环境文件/etc/profile中:
export HIVE_HOME=/home/hadoop/setup/hive-0.6.0
export PATH=$HIVE_HOME/bin:$PATH
HIVE配置
1.在$HIVE_HOME/conf下创建文件hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.0.237:3306/metastore_db?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>t237</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
2.HIVE运行
hadoop@ubuntu:~$ hive
分享到:
相关推荐
Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...
Hadoop 单机系统 安装配置13#Hadoop 文件下载和解压13#配置 hadoop-env.sh 环境变量13#Hadoop Common组件 配置 core-site.xml13#HDFS NameNode,DataNode组建配置 hdfs-site.xml14#配置MapReduce - JobTracker ...
从基础环境的搭建、单机系统安装到集群系统配置,以及Hive的使用都一一做了详细说明,极大地降低了学习Hadoop的门槛。EasyHadoop作为一款开源社区产品,通过其提供的实战操作手册,使得大数据分析变得更简单。
- ZooKeeper 是 Hadoop 集群中的协调服务,需要单机或集群安装 5. **关闭 Linux 防火墙** - 关闭防火墙以允许 Hadoop 相关服务通信 6. **编译并安装 Hadoop 2.7.1** - 对于 64 位系统,可能需要编译源码 - ...
- **Ubuntu系统安装**:建议使用CloudUser作为用户,避免在root用户下安装,以防止权限问题。 - **软件安装**:包括vim编辑器和JDK,JDK的卸载可通过`sudo rm -rf /home/grid/java/jdk`完成。 2. **Hadoop安装与...
《EasyHadoop实战手册》详细介绍了Hadoop的部署方法,包括单机安装和集群安装的详细步骤,以及Hive仓库集群的部署。本文档旨在简化Hadoop的安装部署过程,使得用户能够更加轻松地进行大数据分析。手册适用于多种操作...
- **Linux安装**:推荐使用Redhat Linux作为Hadoop集群的操作系统。可以使用虚拟机软件如VMware来安装和配置Linux系统。 - **配置机器时间同步**:确保所有节点的时间保持一致,可以使用NTP(Network Time Protocol...