`
mipengchong
  • 浏览: 9716 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

hadoop 爱的初体验

 
阅读更多
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂

环境描述:CentOS-6.5-x86_64-bin-DVD1.iso 
                 hadoop-2.4.0
                 jdk-7u15-linux-x64.tar
客户端:   
Xmanager Enterprise 4
        
先关闭防火墙:service  iptables stop

配置环境变量 (JAVA):
#mpc add jdk1.7
export JAVA_HOME=/opt/jdk1.7.0_15
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export JAR_HOME=$JAVA_HOME/jre
编译并运行:
配置环境变量(hadoop):
#mpc add hadoop2.4.0
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

编译、增加可执行权限,并查看版本:
source /etc/profile
chmod a+x bin/hadoop
hadoop version
配置ssh免费密码登录:
参考:

1. cd ~/.ssh     (进入用户目录下的隐藏文件.ssh)
2. ssh-keygen -t rsa   (用rsa生成密钥)
3. cp id_rsa.pub authorized_keys   (把公钥复制一份,并改名为authorized_keys,这步执行完,应该ssh localhost可以无密码登录本机了,可能第一次要密码)
4. scp authorized_keysqiuchenl@qiuchenl1:/home/qiuchenl/.ssh  (把重命名后的公钥通过ssh提供的远程复制文件复制到从机qiuchenl1上面)
5. chmod 600 authorized_keys    (更改公钥的权限,也需要在从机qiuchenl1中执行同样代码)
6. ssh qiuchenl1  (可以远程无密码登录qiuchenl1这台机子了,注意是ssh不是sudo ssh。第一次需要密码,以后不再需要密码)



如果root工作目录下没有.ssh目录,用root用户在主机上登陆一次即可生成。

将authorized_keys文件复制到其他三台机器上:
命令:scp authorized_keys  root@192.168.15.222:/home/.ssh
查看其他三台是否拷贝完成,并修改权限:
拷贝完成后未修改权限居然也可以,可能是root的缘故吧。
为了保险起见,我还是将从机的权限修改了:chmod 600 authorized_keys

修改各个机器上的hostname:
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=slave1

NETWORKING=yes
HOSTNAME=slave2

NETWORKING=yes
HOSTNAME=slave3

修改网络映射:
vim /etc/hosts

并分别拷贝到各个从机上:
修改配置文件:


将配置好的hadoop复制到其他三台从机上:

scp -r hadoop-2.4.0/ slave3:/opt/
scp -r jdk1.7.0_15/  slave3:/opt/

环境变量也scp

在从机上source /etc/proflie
插播广告:java群 :84436262

格式化:
将hadoop2.4.0版本下所有的文件权限增加执行权限:
chmod a+x /opt/hadoop-2.4.0
chmod a+x /opt/hadoop-2.4.0/bin/*
chmod a+x /opt/hadoop-2.4.0/sbin/*.sh
hadoop namenode -format


启动:start-all.sh
如果中途报错 ,无法找到或者设置JAVA_HOME;
请讲jdk配置到  ~/.bashrc 文件内。

master:

    


插播广告:JAVA/J2EE/ORACLE/MYSQL/HADOOP 群 :84436262



创建目录、上传文件:
创建数据目录:hadoop fs -mkdir /hadoop20150610
上传文件: hadoop fs -put /root/install.log.syslog  /hadoop20150610


文件浏览:

workcount:

产看文件列表:hadoop fs -ls /hadoop20150610/output/
查看结果: hadoop fs -cat /hadoop20150610/output/part-r-00000
分享到:
评论

相关推荐

    DFS命令行工具操作Hadoop分布式集群初体验

    3. Hadoop操作的初体验:初学者可以通过一系列操作来获得对Hadoop基本使用方法的体验,比如使用DFS命令行工具进行文件上传、查看文件列表、下载文件等操作,从而对Hadoop的数据处理流程有直观的认识。 4. Hadoop...

    Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验

    根据提供的标题、描述和部分文本内容,我们可以提炼出与Hadoop相关的知识点,特别是关于如何使用HDFS命令行工具操作Hadoop分布式集群。 ### Hadoop基础知识 #### 什么是Hadoop? Hadoop是一个开源软件框架,用于...

    Hadoop-eclipse-plugin-2.7.2

    《Hadoop-eclipse-plugin-2.7.2:在Eclipse中轻松开发Hadoop应用》 在大数据处理领域,Hadoop作为一个开源的分布式计算...无论你是初涉Hadoop的新手,还是经验丰富的老手,这个插件都将为你带来更加流畅的开发体验。

    Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

    阅读源代码前的准备1.1 准备源代码学习环境1.1.1 基础软件下载1.1.2 ...Hadoop初体验1.5.1 启动Hadoop1.5.2 Hadoop Shell介绍1.5.3 Hadoop Eclipse插件介绍1.6 编译及调试Hadoop源代码1.6.1 编译Hadoop源代码...

    Hadoop C++扩展

    这一框架不仅需具备与Hadoop Java API相似的用户体验,还要提供更直接的内存控制能力,以及潜在的性能优化。HCE的模块设计围绕以下几个关键组件展开: 1. **HceSubmitter**:负责提交MapReduce作业,初始化作业配置...

    细细品味Hadoop_Hadoop集群(第3期)_VSFTP安装配置

    从其命名中可以看出,开发者在设计之初便将安全性作为首要考量因素,这不仅体现在其源代码的安全性上,还反映在其功能设计上对非法访问的有效防御。在性能方面,VSFTP表现出色,特别是在ASCII模式下,其数据传输速度...

    Hadoop环境搭建实验指导手册.zip

    最后,0601-Hadoop集群初体验.doc可能会提供一些测试Hadoop集群功能的简单任务,比如使用HDFS命令行接口进行文件操作,或者运行一个MapReduce示例程序来验证集群的正确性。 总的来说,这个Hadoop环境搭建实验指导...

    Impala A Modern, Open-Source SQL Engine for Hadoop.pdf

    由于其设计之初就考虑到了Hadoop环境的特性,因此在执行SQL查询时可以取得低延迟和高并发的优势。这对于那些使用Hadoop作为数据存储和处理平台的公司来说,意味着他们可以在不牺牲查询性能的前提下,更加高效地利用...

    Hadoop权威指南中文版(第2版高清扫描版本)

    总的来说,《Hadoop权威指南》中文版(第2版)是学习和进阶Hadoop技术的重要参考资料,无论你是初入大数据领域的探索者,还是已经在Hadoop领域有一定经验的开发者,都能从中受益匪浅。高清扫描版本虽然无法直接复制...

    基于hadoop的商品推荐系统.zip

    总结来说,基于Hadoop的商品推荐系统利用Java和Hadoop的分布式计算能力,对大规模用户行为数据进行处理和分析,通过协同过滤、基于内容的推荐等算法生成个性化推荐,最终提升用户体验和业务效益。随着技术的发展,...

    企业管理系统,基于SSM框架和Hadoop的简单项目.zip

    Hadoop设计之初就是为了处理和存储海量数据,其分布式特性使得数据可以在多台服务器上进行分布式存储和并行处理,从而提高了数据处理能力。在本项目中,Hadoop可能被用来处理企业管理系统中的大数据分析任务,如用户...

    Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)1

    10. **HDFS初体验**:进行简单的数据上传、下载、复制等操作,熟悉HDFS的使用。 整个过程需要细致操作,特别是配置文件的修改,因为它们直接影响到Hadoop集群的性能和稳定性。理解并遵循这些步骤,可以成功地搭建一...

    基于Hadoop的油田勘探开发云平台数据存储模型研究与应用.docx

    2. **HDFS数据存储模型**:HDFS设计之初就是为了克服传统文件系统在处理大规模数据时的局限性。它通过将数据分块存储在不同的节点上,实现了数据的冗余存储,从而提高了数据的安全性和可用性。此外,HDFS还支持数据...

    AI培训:1-AI初体验-人工智能通识基础课

    【AI培训:1-AI初体验-人工智能通识基础课】是针对想要了解和学习人工智能基础知识的初学者设计的一门课程。在这个课程中,学员将接触到人工智能的基本概念、原理以及在大数据背景下的应用。课程旨在帮助学员建立起...

    nutch初体验

    《Nutch初体验:深入解析开源搜索引擎框架》 Nutch是一个开源的全文搜索引擎项目,它主要专注于网络爬虫和信息提取。Nutch以其强大的可扩展性和灵活性,被广泛用于构建大规模的网页抓取和索引系统。在这个初体验中...

    大数据核心平台技术-实验记录

    4、Hadoop集群配置2.3Hadoop集群测试1、格式化文件系统2、启动和关闭Hadoop集群3、通过UI查看Hadoop运行状态2.4Hadoop集群初体验Hadoop经典案例——单词统计 一、前言 学校:许昌学院 学院:信息工程学院 实验环境:...

    高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门

    #### 知识点六:MapReduce & YARN初体验 - **实践案例**: 1. **WordCount示例**:通过编写简单的Java程序实现WordCount,体验MapReduce的基本使用方法。 2. **数据分析任务**:使用MapReduce处理大规模日志数据...

    高级软件人才培训专家-Hadoop课程资料-4-第四章 - 分布式SQL计算 Hive 入门

    #### Hive 初体验 初次使用 Hive 时,用户可以通过以下步骤开始: 1. **启动 Hive CLI**:通过命令行进入 Hive 环境。 2. **创建表**:使用 SQL 语句创建表,并指定数据格式和存储位置。 3. **加载数据**:将数据...

Global site tag (gtag.js) - Google Analytics