`
447214075
  • 浏览: 81278 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop初步使用

 
阅读更多
hadoop在部署的过错中出现的错误。

1.本人使用ubuntu 13.10 在安装ssh时报错,安装方式sudo apt-get install ssh,错误说是找不到安装包,网上找到了解决方案,在网上找一个最新的ubuntu源问题。粘帖到/etc/apt/sources.list文件中。
2.启动hadoop后jps指令无效,提示让安装open-jdk,可我已经安装来jdk了,而且我进入jdk目录,使用jps指令能够使用。这时应该就是classpath配置有问题,打开/etc/profile发现JAVA_HOME在 export PATH后,调换一下顺序,保存,然后./source /etc/profile,这时jps指令在任何地方都能使用了。
当重启系统后,直接使用jps还是提示安装open-jdk,此时使用source命令,jps指令就能够使用了(此问题未解决,哪位好心的大神指点一下)
3.jps后发现没有namenode进程。原因是没有进行hadoop namenode -format ,重新执行就ok了
4.在调用hadoop的put指令将本地文件上传到hdfs时,put指令无效,只是将目录创建出来了,并没有将文件上传上去。例如:bin/hadoop dfs -put test.txt /input
使用bin/hadoop dfs -ls /input 时发现并没有将test.txt文件上传上去,而且没有任何错误提示。此时应该先在hdfs上将文件夹创建出来,bin/hadoop dfs -mkdir /input 然后在将文件上传到hdfs的input目录中。假如文件夹名称前没有带/ 则默认在/user/hadoop/input中。
5.运行测试程序wordcount时map为100%,但reduce始终0%,等了好大会报错误。解决方法时在/etc/hosts第一行添加127.0.0.1 计算机名(我的是masternode)。
分享到:
评论

相关推荐

    Hadoop初步了解和在单机环境下的配置

    【Hadoop初步了解和在单机环境下的配置】 Hadoop是一个开源的分布式并行编程框架,它基于MapReduce计算模型,使得程序员能够方便地编写处理大量数据的分布式应用。Hadoop还包括一个分布式文件系统——Hadoop ...

    hadoop-3.1.4.tar.gz

    5. **支持硬件多样性**:Hadoop 3.1.4增强了对不同硬件类型的支持,包括对冷存储设备和SSD的优化,以及对非传统CPU架构(如GPU和FPGA)的初步支持。 三、Hadoop的安装与配置 1. **环境准备**:确保系统安装了Java...

    Hadoop数据分析_大数据_hadoop_数据分析_

    2. **Hive**:基于Hadoop的数据仓库工具,允许用户使用SQL-like语法查询和管理存储在HDFS中的大数据集,简化了大数据分析。 3. **Pig**:一种高级数据流语言和执行框架,用于构建大规模数据处理的管道。 4. **...

    hadoop1.0.2 hbase0.94安装

    6. **测试Hadoop**:可以使用`hadoop fs -put`命令上传文件到HDFS,然后使用`hadoop fs -ls`命令检查文件是否成功上传。 接下来是编译Hadoop-Eclipse插件的部分。这个插件允许开发者在Eclipse环境中直接编写和调试...

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf

    《Hadoop大数据开发实战》教学教案—01初识Hadoop的内容主要涵盖了大数据的基本概念、核心需求以及Hadoop框架的初步介绍。在这个章节中,学习者将了解到大数据在当今信息化社会中的重要地位,并掌握大数据的基本特征...

    Hadoop实战大数据大作业

    - 使用`start-all.sh`命令启动Hadoop集群。 - 关闭主节点虚拟机的防火墙。 - 准备待统计的文本文件。 2. **程序开发:** - 在IDEA中新建项目并导入pom依赖。 - 创建日志文件(log4j.properties),用于记录运行...

    hadoop 实战 dev_03

    案例能够加深对Hadoop生态系统中各种工具的使用技巧和经验积累。 4. Hadoop典型架构和项目:文中提到了运营商相关的一些典型Hadoop架构和项目,如全国性项目、省级移动公司数据分析等。这些项目可能涉及到大规模...

    Hadoop 在大数据运算中的限制

    例如,可以使用Hadoop进行数据的初步整合和批量处理,而在需要实时分析或者复杂查询时,可以结合使用NoSQL数据库或者传统的关系数据库管理系统。同时,也需要考虑引入数据仓库、流处理系统以及数据集成和质量管理...

    hadoop经典系列(十一)性能分析实验初步

    在本篇“Hadoop经典系列(十一)性能分析实验初步”中,我们将深入探讨Hadoop分布式计算框架的性能分析,这是大数据处理的关键环节。通过理解Hadoop的工作原理和优化策略,我们可以有效地提升集群效率,降低任务执行...

    hadoop基础知识扫盲

    大数据hadoop基础知识扫盲,初步了解什么是hadoop

    Hadoop - Hadoop Streaming

    通过以上详细说明,可以看出 Hadoop Streaming 提供了一种灵活的方式来处理大数据,并允许使用多种编程语言和工具。这对于那些不熟悉 Java 或希望使用特定领域语言解决问题的开发者来说尤其有用。

    hadoop2_7_4的bin文.zip

    在Hadoop环境中,它可能提供了关于如何配置和运行Hadoop的初步指导。 5. **Hadoop的启动与配置**:在部署Hadoop时,用户需要根据自己的环境修改配置文件,如`core-site.xml`(核心配置)、`hdfs-site.xml`(HDFS...

    Hadoop大数据管理实验详细参考文档

    "大数据管理实验之三Hadoop基础命令与编程初步.docx"则深入到Hadoop的使用层面,包括HDFS的基本命令,如上传、下载、查看文件等,以及编写MapReduce程序的初步概念,如Mapper和Reducer的工作原理,以及使用Java API...

    hadoop集群搭建教程

    #### 四、集群使用初步 **4.1 HDFS使用** - **查看集群状态**: 使用`hdfs dfsadmin -report`。 - **上传文件**: `hadoop fs -put localfile /hdfsdir`。 - **下载文件**: `hadoop fs -get /hdfsdir/localfile`。 ...

    Hadoop权威指南(原版).pdf

    - **使用Unix工具分析数据**:首先介绍了如何使用传统的Unix命令(如`sort`、`uniq`等)对数据进行初步处理,为后续的MapReduce操作打下基础。 - **使用Hadoop分析数据**:接着通过Hadoop MapReduce框架进行更深层次...

    Hadoop学习总结.doc

    - **客户端**:使用FileSystem API中的open()方法打开文件。 - **分布式文件系统客户端(DFSClient)**:根据文件路径向Namenode发送请求,获取文件的数据块信息及其位置。 - **数据节点选择**:根据Namenode返回的...

    基于hadoop对某网站日志分析部署实践课程设计报告参考模板.doc

    论坛日志数据由Python网络爬虫抓取,包含2013年5月30日和5月31日两天的数据,由于数据量较大,超过了传统分析工具的处理能力,因此选择使用Hadoop进行分析。 2. 总体设计: 在Hadoop环境下,数据分析通常分为四个...

    hadoop 编码

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它的核心设计思想是分布式存储和并行计算,使得海量数据的处理变得高效、可靠且可扩展。本篇文章将深入探讨Hadoop编码的相关知识,包括其...

Global site tag (gtag.js) - Google Analytics