- 浏览: 914707 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (498)
- J2EE (52)
- 数据库 (17)
- java基础 (43)
- web技术 (19)
- 程序设计 (6)
- 操作系统 (18)
- IT资讯 (7)
- 我的IT生活 (12)
- 学习笔记 (9)
- Jquery (25)
- JavaScript (18)
- spring (40)
- Hibernate (12)
- Struts (10)
- YUI (2)
- Extjs (22)
- .net (0)
- Eclipse (10)
- 社会主义 (2)
- 服务器 (9)
- CSS (8)
- 网络安全 (16)
- 版本控制 (9)
- PHP (2)
- Oracle (42)
- SQL server (1)
- Mysql (11)
- 项目管理 (3)
- 开发工具使用 (10)
- SQL语句 (7)
- Perl (0)
- Shell (6)
- 漏洞 (4)
- ibatis (5)
- hacker (2)
- SQL注入 (6)
- Hacker工具 (2)
- 入侵和渗透 (7)
- 插件/组件 (2)
- 最爱开源 (5)
- 常用软件 (2)
- DOS (1)
- HTML (2)
- Android (9)
- CMS (1)
- portal (8)
- Linux (7)
- OSGI (1)
- Mina (5)
- maven (2)
- hadoop (7)
- twitter storm (2)
- sap hana (0)
- OAuth (0)
- RESTful (1)
- Nginx (4)
- flex (1)
- Dubbo (1)
- redis (1)
- springMVC (1)
- node.js (1)
- solr (2)
- Flume (1)
- MongoDB (2)
- ElasticSearch (1)
最新评论
-
M_drm:
请问要怎么设置浏览器才不报没权限呢?
用JS在页面调用本地可执行文件的方法(ACTIVEX) -
Alexniver:
官方文档。When importing data into I ...
mysql导入数据过慢 解决方法 -
camelwoo:
我记得 Criteria 可以做连接查询与子查询,也可以做分页 ...
Hibernate总结篇二 -
zhenglongfei:
楼主如果SubKeyName 这个节点不存在,怎么办??怎么用 ...
Java操作注册表 -
yxx676229549:
用log4j 2 了
logback
一、安装准备
1、下载hadoop 0.21.0,地址:http://mirror.bjtu.edu.cn/apache/hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz
2、JDK版本:jdk-6u22-linux-i586.bin (必须是1.6)
3、操作系统:ubuntu10.10
4、三台机器,192.168.2.27(master+ slave),192.168.3.28(slave),192.168.3.29(slave)
二、安装操作
1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。
2、安装JDK:
执行代码:
jdk-6u22-linux-i586.bin
将 会出现字幕,持续按回车键,直到屏幕出现需要输入yes/no,此时输入yes/y 回车,将会把JDK解压到文件夹,得到jdk1.6.0_22.此时JDK安装完毕。下面进行配置。
执行代码:
sudo gedit /etc/environment
在 environment中修改如下信息:
PATH="........:/home/yuxl/jdk1.6.0_22/bin"
CLASSPATH=".:/home/yuxl/jdk1.6.0_22/lib"
JAVA_HOME="/home/yuxl/jdk1.6.0_22"
由 于ubuntu中有默认jdk还需要执行如下工作
执行代码:
sudo update-alternatives --install /usr/bin/java java /home/yuxl/jdk1.6.0_22/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /home/yuxl/jdk1.6.0_22/bin/javac 300
通过 这一步将我们安装的JDK加入java选单
然后执行代码:
sudo update-alternatives --config java
通 过这一步设置系统默认的JDK
然后在shell中执行代码:
java -version
此时显示的系统中的java就是刚刚安装的 java
3、解压hdaoop到/yuxl目录下。tar –zxvf hadoop-0.21.0.tar.gz -C /yuxl
4、配置27机器可以通过SSH无密码访问28和29:
在27上执行以下操作:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
完成后可以实现无密码登录本机:
$ ssh localhost
把27上的id_dsa.pub 文件追加到28和29的authorized_keys 内( 以192.168.2.28节点为例):
a. 拷贝27的id_dsa.pub文件:
$ scp id_dsa.pub 192.168.2.28:/root/
b. 登录192.168.2.28,进入/root目录执行:
$ cat id_dsa.pub >> .ssh/authorized_keys
之后可以在27上不输入密码直接访问28
5、修改/yuxl/hadoop-0.21.0/conf/目录下的master文件,内容如下:
192.168.2.27
6、修改/yuxl/hadoop-0.21.0/conf/目录下的slaves文件,内容如下:
192.168.2.27(同时为namenode和datanode)
192.168.2.28
192.168.2.29
7、修改/yulx/hadoop-0.21.0/conf/hadoop-env.sh文件的环境变量:
# The java implementation to use. Required.
export JAVA_HOME=/home/yuxl/jdk1.6.0_22
8、修改/yuxl/hadoop-0.21.0/conf/core-site.xml配置文件,内容如下:
9、修改/yuxl/hadoop-0.21.0/conf/hdfs-site.xml配置文件,内容如下:
10、修改/jz/hadoop-0.20.2/conf/mapred-site.xml配置文件,内容如下:
11、修改ect/hosts配置文件,内容如下:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost
192.168.2.27 机器名
192.168.2.28 机器名
192.168.2.29机器名
12、修改/ect/profile配置文件,在末尾追加以下内容,并输入source/etc/profile使之生效:
export JAVA_HOME=/home/yuxl/jdk1.6.0_22
export JRE_HOME=/home/yuxl/jdk1.6.0_22/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/yuxl/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HIVE_HOME/bin
13、将/jz/hadoop-0.20.2拷贝到192.168.3.132和192.168.3.133对应的目录下。将/ect/profile和/etc/hosts也拷贝到132和133机器上。注意profile需要做生效操作。
三、启动/停止hadoop
1、通过shell脚本启动hadoop。
sh /yuxl/hadoop-0.21.0/bin/start-all.sh
2、停止hadoop
sh /yuxl/hadoop-0.21.0/bin/stop-all.sh
四、初始配置
1、格式化HDFS文件系统。进入/jz/hadoop-0.20.2/bin目录。执行:
hadoop namenode –format
2、在/yuxl/hadoop-0.21.0/bin目录下,执行:
hadoop fs -ls /
如果控制台返回结果,表示初始化成功。可以向里面录入数据。
3、通过WEB查看hadoop
查看集群状态 http://192.168.2.27:50070/dfshealth.jsp
查看JOB状态 http://192.168.2.27:50030/jobtracker.jsp
五、注意事项
1、hadoop的安装千万计的修改/etc/hosts文件。修改之后最好是重启机器。
2、master和slaves这2个配置文件可以不拷贝到s132和s133机器上,只在master上保存即可。
3、通过web查看hadoop的时候,如果使用IE一些图形工具显示不出来,建议使用opera或是chrome。
1、下载hadoop 0.21.0,地址:http://mirror.bjtu.edu.cn/apache/hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz
2、JDK版本:jdk-6u22-linux-i586.bin (必须是1.6)
3、操作系统:ubuntu10.10
4、三台机器,192.168.2.27(master+ slave),192.168.3.28(slave),192.168.3.29(slave)
二、安装操作
1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。
2、安装JDK:
执行代码:
jdk-6u22-linux-i586.bin
将 会出现字幕,持续按回车键,直到屏幕出现需要输入yes/no,此时输入yes/y 回车,将会把JDK解压到文件夹,得到jdk1.6.0_22.此时JDK安装完毕。下面进行配置。
执行代码:
sudo gedit /etc/environment
在 environment中修改如下信息:
PATH="........:/home/yuxl/jdk1.6.0_22/bin"
CLASSPATH=".:/home/yuxl/jdk1.6.0_22/lib"
JAVA_HOME="/home/yuxl/jdk1.6.0_22"
由 于ubuntu中有默认jdk还需要执行如下工作
执行代码:
sudo update-alternatives --install /usr/bin/java java /home/yuxl/jdk1.6.0_22/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /home/yuxl/jdk1.6.0_22/bin/javac 300
通过 这一步将我们安装的JDK加入java选单
然后执行代码:
sudo update-alternatives --config java
通 过这一步设置系统默认的JDK
然后在shell中执行代码:
java -version
此时显示的系统中的java就是刚刚安装的 java
3、解压hdaoop到/yuxl目录下。tar –zxvf hadoop-0.21.0.tar.gz -C /yuxl
4、配置27机器可以通过SSH无密码访问28和29:
在27上执行以下操作:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ,
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
完成后可以实现无密码登录本机:
$ ssh localhost
把27上的id_dsa.pub 文件追加到28和29的authorized_keys 内( 以192.168.2.28节点为例):
a. 拷贝27的id_dsa.pub文件:
$ scp id_dsa.pub 192.168.2.28:/root/
b. 登录192.168.2.28,进入/root目录执行:
$ cat id_dsa.pub >> .ssh/authorized_keys
之后可以在27上不输入密码直接访问28
5、修改/yuxl/hadoop-0.21.0/conf/目录下的master文件,内容如下:
192.168.2.27
6、修改/yuxl/hadoop-0.21.0/conf/目录下的slaves文件,内容如下:
192.168.2.27(同时为namenode和datanode)
192.168.2.28
192.168.2.29
7、修改/yulx/hadoop-0.21.0/conf/hadoop-env.sh文件的环境变量:
# The java implementation to use. Required.
export JAVA_HOME=/home/yuxl/jdk1.6.0_22
8、修改/yuxl/hadoop-0.21.0/conf/core-site.xml配置文件,内容如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/hadoopdata</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.2.27:9000</value> <description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri's authority is used to determine the host, port, etc. for a filesystem.</description> </property> <property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property> </configuration>
9、修改/yuxl/hadoop-0.21.0/conf/hdfs-site.xml配置文件,内容如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
10、修改/jz/hadoop-0.20.2/conf/mapred-site.xml配置文件,内容如下:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>192.168.2.27:9001</value> <description>The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task. </description> </property> </configuration>
11、修改ect/hosts配置文件,内容如下:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost
192.168.2.27 机器名
192.168.2.28 机器名
192.168.2.29机器名
12、修改/ect/profile配置文件,在末尾追加以下内容,并输入source/etc/profile使之生效:
export JAVA_HOME=/home/yuxl/jdk1.6.0_22
export JRE_HOME=/home/yuxl/jdk1.6.0_22/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/yuxl/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$PATH:$HIVE_HOME/bin
13、将/jz/hadoop-0.20.2拷贝到192.168.3.132和192.168.3.133对应的目录下。将/ect/profile和/etc/hosts也拷贝到132和133机器上。注意profile需要做生效操作。
三、启动/停止hadoop
1、通过shell脚本启动hadoop。
sh /yuxl/hadoop-0.21.0/bin/start-all.sh
2、停止hadoop
sh /yuxl/hadoop-0.21.0/bin/stop-all.sh
四、初始配置
1、格式化HDFS文件系统。进入/jz/hadoop-0.20.2/bin目录。执行:
hadoop namenode –format
2、在/yuxl/hadoop-0.21.0/bin目录下,执行:
hadoop fs -ls /
如果控制台返回结果,表示初始化成功。可以向里面录入数据。
3、通过WEB查看hadoop
查看集群状态 http://192.168.2.27:50070/dfshealth.jsp
查看JOB状态 http://192.168.2.27:50030/jobtracker.jsp
五、注意事项
1、hadoop的安装千万计的修改/etc/hosts文件。修改之后最好是重启机器。
2、master和slaves这2个配置文件可以不拷贝到s132和s133机器上,只在master上保存即可。
3、通过web查看hadoop的时候,如果使用IE一些图形工具显示不出来,建议使用opera或是chrome。
发表评论
-
List对象排序通用方法
2014-07-29 09:21 1026在数据库中查出来的列 ... -
EJBCA环境搭建
2014-04-03 17:31 1085EJBCA开发者 http://wiki.ejbca.org/ ... -
Java & Eclipse 相关内容杂记及技巧
2013-11-26 22:42 10491、Eclipse 的启动画面 A、加启动参数。如: ... -
一套貌似很牛B的Nutch相关框架视频教程
2013-10-24 09:16 1100国内首套免费的《Nutch相关框架视频教程》(1-20) ht ... -
memcached实现多个tomcat 共享一个session(转)
2013-04-23 09:49 872http://dqm926.iteye.com/blog/18 ... -
win7安装hadoop及eclipse调试mapreduce的配置方法(转)
2013-04-23 09:44 1717http://qiaoshi.iteye.com/blog/1 ... -
Ubuntu上安装HADOOP多机完全分布式集群(转)
2013-04-02 13:45 2021Ubuntu上安装HADOOP多机完全分布式集群 http: ... -
Windows下Hadoop的搭建
2013-04-01 11:00 10971.安装JDK MapReduce 程序的编写和Hadoop ... -
logback
2013-01-23 09:40 1283http://yuri-liuyu.iteye.com/blo ... -
位运算
2012-11-21 17:50 954程序中的所有数在计算 ... -
HashMap的2中遍历方式比较
2012-11-20 11:47 1006http://smallnetvisitor.iteye.co ... -
SVN如何强制在提交时要求添加注释说明(windows平台)
2012-11-06 18:00 3616在项目库的hooks目录下,添加一个pre-commit.ba ... -
hadoop资料整理
2012-08-23 14:50 912hadoop资料整理 http://www.itpub.net ... -
Hadoop实战-初级部分 之 HDFS
2012-08-22 13:13 841Hadoop实战-初级部分 之 HDFS http://si ... -
Java虚拟机读写其他进程的数据
2012-08-22 13:07 1135Java虚拟机读写其他进程的数据 http://axiang ... -
java计算校验和:对“消息头+会话头+事务头+操作信息”按32位异或,对异或结果取反后的值为校验和。
2012-08-14 17:41 3537java计算校验和:对“消 ... -
java中对Byte字符数组定长截取的方法
2012-08-14 16:33 2102今天在在处理从网络上接收到的字符串,因为是从后台C语言过来的一 ... -
CAS单点登录配置笔记
2012-08-14 16:31 1089转:http://blog.csdn.net/lifvc/ar ... -
集中各种好网站
2012-08-09 16:41 9651.开源中国---在线工具: http://www.oscto ... -
人脸检测算法库 jViolajones 使用示例代码
2012-08-09 16:32 1686jViolajones是人脸检测算法Viola-Jones的一 ...
相关推荐
### Hadoop安装与配置知识点详解 #### 一、Hadoop简介及核心组件 **Hadoop** 是Apache软件基金会旗下的一款开源分布式计算平台,其主要功能是处理和存储大规模数据集。Hadoop的核心组件包括 **Hadoop分布式文件...
《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践...
hadoop安装与配置 hadoop安装与配置 Hadoop的安装与配置可以分成几个主要步骤: 1. 安装Java 2. 下载Hadoop 3. 配置Hadoop 4. 格式化Hadoop文件系统 5. 启动Hadoop 以下是基于Linux系统的简化安装与配置步骤: 1. ...
hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置
a high-performance service for building distributed applications hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置
`HydraQL`HBaseclient APISQLHBaseAPI `HydraQL`HBaseSQLAPI**HBase`hbase-client`API hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置
Hadoop 安装与配置实验报告 本实验报告的目的是对 Hadoop 的安装与配置进行实验和实践,掌握 Hadoop 的基本使用和配置方法。该实验报告将分为 several 部分,分别是实验名称、实验日期、实验目的、实验用的仪器和...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
Hadoop的安装与配置是一个相对复杂但结构化的过程,主要涉及环境准备、软件安装、配置调整以及集群启动等多个步骤。以下是一个详细的Hadoop安装与配置指南: 一、环境准备 硬件与软件要求 硬件:Hadoop集群至少需要...
hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置
hbase-sdkHydraQLhttps://gitee.com/weixiaotome/hydra-ql hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置
,IT10+,Java,K8S hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置 hadoop安装与配置