HADOOP篇
HADOOP安装
1.tar -zvxf hadoop-0.19.2.tar.gz
2.HADOOP的安装路径添加到环境文件/etc/profile中:
export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2HADOOP配置
export PATH=$HADOOP_HOME/bin:$PATH
1.在$HADOOP/conf/hadoop-env.sh中配置JAVA环境
export JAVA_HOME=/home/hadoop/setup/jdk1.7.0_04
2.在$HADOOP/conf/hadoop-site.xml中增加如下配置
- <span style="font-size: small;"><property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property></span>
1.格式化namenode
$HADOOP_HOME/bin/hadoop namenode -format
2.启动hadoop
$HADOOP_HOME/bin/start-all.sh
HIVE篇
HIVE安装
1.tar -zvxf hive-0.6.0.tar.gz
2.HIVE的安装路径配置到环境文件/etc/profile中:
export HIVE_HOME=/home/hadoop/setup/hive-0.6.0
export PATH=$HIVE_HOME/bin:$PATH
HIVE配置
1.在$HIVE_HOME/conf下创建文件hive-site.xml
- <span style="font-size: small;"><?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <configuration>
- <property>
- <name>hive.metastore.local</name>
- <value>true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://192.168.0.237:3306/metastore_db?createDatabaseIfNotExist=true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>t237</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>123456</value>
- </property>
- <property>
- <name>datanucleus.fixedDatastore</name>
- <value>false</value>
- </property>
- </configuration> </span>
2.HIVE运行
hadoop@ubuntu:~$ hive
相关推荐
Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...
从基础环境的搭建、单机系统安装到集群系统配置,以及Hive的使用都一一做了详细说明,极大地降低了学习Hadoop的门槛。EasyHadoop作为一款开源社区产品,通过其提供的实战操作手册,使得大数据分析变得更简单。
- ZooKeeper 是 Hadoop 集群中的协调服务,需要单机或集群安装 5. **关闭 Linux 防火墙** - 关闭防火墙以允许 Hadoop 相关服务通信 6. **编译并安装 Hadoop 2.7.1** - 对于 64 位系统,可能需要编译源码 - ...
- **Ubuntu系统安装**:建议使用CloudUser作为用户,避免在root用户下安装,以防止权限问题。 - **软件安装**:包括vim编辑器和JDK,JDK的卸载可通过`sudo rm -rf /home/grid/java/jdk`完成。 2. **Hadoop安装与...
- **Linux安装**:推荐使用Redhat Linux作为Hadoop集群的操作系统。可以使用虚拟机软件如VMware来安装和配置Linux系统。 - **配置机器时间同步**:确保所有节点的时间保持一致,可以使用NTP(Network Time Protocol...