1.hadoop的伪分布安装 hadoop-1.2.0
1.1 设置ip地址
执行命令 service network restart
验证: ifconfig
1.2 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
1.3 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
1.4 设置主机名
执行命令 (1)hostname chaoren
(2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
执行命令 vi /etc/hosts
验证: ping chaoren
1.6 设置ssh免密码登陆
执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh chaoren
1.7 安装jdk
执行命令 (1)cd /usr/local
(2)chmod u+x jdk-6u24-linux-i586.bin
(3)./jdk-6u24-linux-i586.bin
(4)mv jdk1.6.0_24 jdk
(5)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(6)source /etc/profile
验证: java -version
1.8 安装hadoop
执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
(2)mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
(6)hadoop namenode -format
(7)start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
(2)在浏览器查看,http://chaoren:50070 http://chaoren:50030
1.9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败
=====================================接上
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/
2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>
- 浏览: 66793 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (107)
- Scrapy (3)
- git (1)
- eclipse (2)
- PostgreSQL (17)
- jstl (1)
- python (11)
- Oracle (6)
- jquery (2)
- MongoDB (5)
- redis (0)
- Shell (3)
- Java-POI (2)
- solr (3)
- Java (12)
- nutch (0)
- Linux (7)
- PyLucene (1)
- hadoop (13)
- maven (1)
- Kafka (3)
- oozie (2)
- Kerberos (1)
- mysql (4)
- 杂记 (1)
- Storm (0)
- spark (1)
- nosql (0)
- hive (0)
- hbase (0)
- 项目管理 (2)
- jetty (0)
- jquery page翻页代码 (0)
- liferay portal 6 (1)
- spring boot -redis (0)
最新评论
发表评论
-
Mahout--学习资料
2015-04-16 16:00 359IBM--推荐系统:http://www.ibm.com/d ... -
Hadoop RPC
2015-04-10 00:27 0第一部分:什么是RPC ... -
Hadoop 管理
2015-04-10 00:27 0第一部分:HDFS管理 命令行工具 •HDFS文件系 ... -
Hadoop IO
2015-04-10 00:26 0第一部分:数据完整性 ... -
MapReduce高级编程
2015-04-10 00:25 0第一部分:重要的组件 Combiner ... -
hadoop tunning笔记
2015-04-10 00:23 0第一部分:core-site.xml ... -
hadoop tunning
2015-04-10 00:20 467选项 类型 默认值 描述 ... -
hive UDF 与hive UDAF开发
2015-04-09 23:19 0hive UDF HIVE允许用户使用UDF(user def ... -
hadoop2.x分布式安装
2015-03-30 00:43 0前期的环境准备都一样的,就不多说了----------vi / ... -
Hadoop 2.x伪分布式安装_20140729
2015-03-30 00:43 0软件的安装目录: ... -
11_flume
2015-03-30 00:42 0目前常见的日志收集系统:facebook-scribe、clo ... -
10_sqoop
2015-03-30 00:42 0SQOOP是用于对数据进行导入导出的。 (1)把MySQ ... -
09_hive
2015-03-30 00:42 01.Hive1.1在hadoop生态圈中 ... -
08_pig
2015-03-30 00:41 01.Pig是基于hadoop的一个数据处理的框架。 MapR ... -
07_Hbase集群搭建
2015-03-30 00:41 01.hbase的机群搭建过程(在原来的hadoop0上的hba ... -
06_HBase单节点
2015-03-30 00:40 01.HBase(NoSQL)的数据模型1.1 表(table) ... -
05_ZooKeeper
2015-03-30 00:40 5191.ZooKeeper 1.1 zk可以用来保证数据在z ... -
04_hadoop1.x的分布式安装
2015-03-30 00:39 4121.hadoop的分布式安装过程 1.1 分布结构 ... -
03_hdfs操作
2015-03-30 00:39 4671.对hdfs操作的命令格式是hadoop fs 1. ... -
Hadoop--CLI的解析
2015-03-17 15:51 759基于 Apache Commons CLI 的命令行设计 ...
相关推荐
知识点1:Oracle RAC双节点安装前的环境准备 在进行Oracle RAC双节点安装之前,需要准备两个CentOS 5.6(64位)操作系统的主机,每个主机的处理器应为AMD8220,内存为16GB。除此之外,还需要确保主机名、操作系统...
【FastDFS单节点安装手册】主要涵盖了如何在单一服务器上部署和配置FastDFS分布式文件系统。FastDFS是一个开源的高性能、轻量级的文件存储系统,适用于互联网和企业内部的大规模文件存储。以下是对相关文件的详细...
根据给定的文件信息,我们将深入探讨《02_IDS安装手册》中涉及的关键知识点,包括软件安装说明、安装流程、系统安装步骤以及后续的IDS配置和管理。 ### 软件安装说明 #### IDS(Identity and Directory Service)...
### MHA双节点安装知识点详解 #### 一、MHA概览 - **MHA (Master High Availability)**:一种用于MySQL高可用性集群的解决方案,主要用于实现MySQL的故障转移和自动恢复。 - **应用场景**:适用于需要高可用性和低...
在进行B05CBP单节点环境的配置之前,需要完成一系列的准备工作,包括但不限于准备必要的安装包以及确保环境符合安装要求。 **安装包准备**: 1. **CBE 安装包**:该部分涉及的主要安装包包括`CBPENIP_V100R004C20_...
在实际部署中,根据具体需求可能还需要调整其他参数,如增加集群节点、调整网络设置等,以适应大规模分布式系统的管理需求。 在大数据领域,熟练掌握Zookeeper的安装和配置是提升系统稳定性和效率的重要一环。...
02_新能源汽车数仓概述 03_数仓需求介绍及框架选择 04_数仓架构介绍 05_服务器选型介绍 06_集群资源规划介绍 07_采集数据格式介绍 08_克隆准备3台虚拟机 09_分发脚本和免密登录配置 10_jdk安装部署 11_环境变量配置...
02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 04_数仓架构介绍.mp4 05_服务器选型介绍.mp4 06_集群资源规划介绍.mp4 07_采集数据格式介绍.mp4 08_克隆准备3台虚拟机.mp4 09_分发脚本和免密登录...
* 节点2:node02,IP地址为10.30.201.22,主机名为node02,防火墙设置为关闭,时钟同步使用NTP服务器。 * 节点3:node03,IP地址为10.30.201.23,主机名为node03,防火墙设置为关闭,时钟同步使用NTP服务器。 2. ...
在这个过程中,我们将使用四台服务器,node01、node02、node03 作为集群节点,node04 作为管理节点,负责创建集群,并作为集群的路由。下面将详细介绍这个搭建过程。 一、简介 InnoDB Cluster 是 Mysql 的一个高...
02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 04_数仓架构介绍.mp4 05_服务器选型介绍.mp4 06_集群资源规划介绍.mp4 07_采集数据格式介绍.mp4 08_克隆准备3台虚拟机.mp4 09_分发脚本和免密登录...
### CrateDB 单节点与集群部署详解 #### 一、CrateDB简介 CrateDB是一种高度可扩展的分布式SQL数据库系统,它以其强大的实时数据分析能力而闻名。该数据库底层采用了Elasticsearch的部分源代码,并在此基础上进行...
启动时,可能需要运行一个启动脚本来开启ucar_controller节点,并与其他相关节点如传感器数据接收节点进行连接。 在比赛中,ucar_controller可能需要根据接收到的传感器数据(如摄像头图像、雷达测距等)进行实时...
### Linux 下如何找到 I2C 某设备的设备节点 #### 一、理解 I2C 总线与设备节点 在 Linux 系统中,I2C (Inter-Integrated Circuit) 总线是一种用于连接低速微控制器、传感器和其他低功耗芯片的标准接口。在 Linux ...
01_MapReduce框架处理数据的流程及几点注意 02_编写MapReduce编程模块 03_MapReduce数据类型及自定义数据类型 04_案例:网站基本指标分析(一) ...11_分布式安装部署:配置主从节点之间的SSH无密钥登录
8. **解压与安装**:下载的`teleop_twist_keyboard-master.zip`需要解压缩,然后在ROS环境中使用`catkin_make`或者`colcon build`等命令来编译和安装。编译成功后,可以通过运行`roslaunch`命令启动键盘控制节点。 ...
Oracle EBS R12在Linux上的安装和升级详细步骤,包括单节点安装、下载和解压、MD5 校验、数据库节点和应用程序节点的安装等。 一、单节点安装 在本文中,我们将使用单节点安装,即数据库、所有产品目录和AD核心...
- 在两个节点上安装Linux AS 6.3 64位操作系统 - 操作系统版本要求: - 支持Oracle Linux 6和Red Hat Enterprise Linux 6 Distributions for x86-64 - 支持Oracle Linux 5和Red Hat Enterprise Linux 5 ...
在正常情况下,服务会通过虚拟 IP 提供,当主节点 HAproxy01 出现故障时,KeepAlived 会自动将虚拟 IP 切换到备用节点 HAproxy02,确保服务不间断。同时,通过 IPVSadm 可以查看和管理 IPVS 相关的设置。
在本文中,我们将深入探讨该版本的安装过程,包括必要的系统要求、安装步骤以及可能出现的问题解决方法。 首先,让我们来看看安装WebSphere Application Server V6.1的基本要求。该版本需要一个分布式操作系统环境...