`
eksliang
  • 浏览: 598899 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop2.2.0目录结构

阅读更多

一.hadoop2.0的目录结构如下图所示

 
二.bin目录

Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop


 

三.etc目录

hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop2.0新增的文件。.template是模板文件

 

 

四.include目录

对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是C++定义的,通常用于C++程序访问HDFS或者编写MR程序


 

五.lib目录 

该目录提供了对外编程的静态库和动态库,与include目录下的头文件结合使用(并不是一些依赖jar包)



 

六.libexec

各个服务所对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息



 

七.sbin

hadoop管理脚本所在目录,主要包括HDFS和YARN中各类服务的启动/关闭脚本



 

八.share

hadoop 各个模块编译后的jar包所在目录,以及文档所在目录




转载至:http://www.cnblogs.com/admln/p/trivial-directoryStructureOf2-2-0.html?utm_source=tuicool

  • 大小: 23.7 KB
  • 大小: 28.8 KB
  • 大小: 64.7 KB
  • 大小: 14.1 KB
  • 大小: 20.8 KB
  • 大小: 27.8 KB
  • 大小: 67 KB
  • 大小: 23.1 KB
分享到:
评论

相关推荐

    hadoop-2.2.0-sources:Hadoop 2.2.0源代码(用于Eclipse IDE的Java项目)-java project source code

    这些源代码目录结构清晰,便于开发者按需查找和阅读。 具体来说,源代码中的主要模块包括: - `hadoop-common`: 包含Hadoop的基本功能,如网络通信、配置管理、I/O工具等。 - `hadoop-hdfs`: 实现了HDFS的部分,...

    hadoop-2.2.0-x64.tar.gz

    在压缩包文件名称列表中,"hadoop-2.2.0"通常包含以下目录结构: - `bin`:包含可执行脚本,如启动和停止Hadoop服务的命令。 - `conf`:存放默认配置文件,如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, ...

    hadoop-eclipse-plugin-2.2.0.zip

    首先,将下载的“hadoop-eclipse-plugin-2.2.0.jar”文件复制到Eclipse的plugins目录下。然后,重启Eclipse,插件就会自动加载。在Eclipse的“Window”菜单中选择“Preferences”,在弹出的对话框中可以看到新增的...

    hadoop-common-2.2.0-bin-master

    此外,还需要对Hadoop目录结构有清晰的理解,如bin、sbin、lib等目录的作用。 七、开发实践 实际开发中,开发者可以通过Hadoop提供的样例代码和教程来学习如何使用Java API。例如,可以创建一个简单的MapReduce程序...

    spark-2.2.0-bin-hadoop2.6.tgz

    `spark-2.2.0-bin-hadoop2.6.tgz`是一个压缩包,包含了Spark 2.2.0在YARN(Hadoop Yet Another Resource Negotiator)模式下运行所需的所有组件。 首先,让我们深入了解Spark的核心概念。Spark提供了一个基于内存...

    hadoop2.x编译实例

    ### Hadoop 2.x 编译实例详解 ...编译完成后,会在 `/usr/local/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0` 目录下生成编译好的 Hadoop 包。 至此,Hadoop 2.2.0 的源码编译过程全部完成。

    hadoop-commin-2.2.zip

    5. **使用Hadoop Common**:编译生成的`hadoop-common-2.2.0-bin-master`目录包含了Hadoop Common的所有二进制文件,包括可执行程序、库文件以及配置文件。你可以将这个目录添加到系统PATH环境变量中,以便于在...

    hadoop-eclipse-plugin-2.2.0依赖包(亲验)

    guava-11.0.2.jar是Google的Guava库,它提供了许多Java集合框架的增强功能,如新的数据结构、并发库和实用工具类,是Hadoop项目中的重要依赖,增强了代码的可读性和效率。 hadoop-mapreduce-client-core-2.2.0.jar...

    spark-2.2.0-bin-hadoop2.7

    根据提供的文件信息,我们可以深入探讨Spark 2.2.0版本与Hadoop 2.7集成的相关知识点。尽管描述和标题相同,且部分内容提供的是一个百度网盘链接(该链接在此无法打开验证),但我们可以围绕这些关键词进行详细的...

    hadoop-common-2.2.0-bin.zip

    标题 "hadoop-common-2.2.0-bin.zip" 暗示...安装和配置这些组件通常涉及设置环境变量、创建Hadoop目录结构、配置Hadoop配置文件,以及启动相关服务。了解如何正确使用这些文件对于在Windows上运行Hadoop是非常必要的。

    hadoop-common-2.2.0-bin-masters.zip

    在Hadoop的结构中,"bin"目录通常包含可执行脚本,这些脚本用于启动、停止Hadoop服务,或者执行其他管理任务。"master"可能指的是主节点相关的组件,如NameNode(HDFS的元数据管理节点)和ResourceManager(YARN的...

    winutils-2.2.0.rar

    首先,winutils-2.2.0是专门为Hbase设计的Windows版实用工具,它提供了与Linux环境下hadoop的bin目录下同名的winutils.exe程序,使得在Windows操作系统上可以执行Hadoop相关的命令,如设置HADOOP_HOME环境变量、启动...

    Eclipse连接hadoop开发.doc

    首先,将`hadoop-eclipse-plugin-2.2.0.jar`文件复制到Eclipse的`plugins`目录下,然后重启Eclipse,插件即生效。 2.2 设置Hadoop工作目录 推荐在特定目录下组织开发环境,例如在`/usr/eclipse`下解压Eclipse,然后...

    spark-2.0.0-bin-hadoop2.7.tgz.zip

    解压后,你会看到目录结构包括bin、conf、lib等,其中bin目录下有可执行的Spark命令,conf目录用于配置Spark参数,lib目录则包含了Spark的库文件和其他依赖。 总的来说,Spark 2.0.0提供了强大的大数据处理能力,...

    spark-1.6.0-bin-hadoop2.4.tgz

    1. **解压文件**:首先,你需要将"spark-1.6.0-bin-hadoop2.4.tgz"解压缩到本地目录,这会得到一个名为"spark-1.6.0-bin-hadoop2.4"的文件夹。 2. **配置环境变量**:在系统的环境变量设置中,添加SPARK_HOME指向...

    spark-2.2.2-bin-hadoop2.7.tgz

    在这个压缩包中,"spark-2.2.2-bin-hadoop2.7"目录下会包含以下关键组件: 1. `bin`:存放可执行脚本,如`spark-submit`用于提交Spark应用,`spark-shell`提供交互式Shell环境。 2. `conf`:配置文件夹,存放默认...

    Hadoop云计算平台搭建方案2.1.docx

    Hadoop-2.2.0作为主要的数据存储和分析工具,而HBase-0.96.2是一个分布式NoSQL数据库,用于存储非结构化数据。Zookeeper-3.4.5是分布式协调服务,确保集群中的节点能够正确通信。Sqoop-1.99.3则用于在Hadoop和传统...

    本地调试所需spark-x.x.x-bin-hadoop包

    在本地环境调试Spark应用时,你需要首先解压spark-x.x.x-bin-hadoop.rar,这将得到一个包含所有Spark可执行文件和配置文件的目录结构。然后,你可以设置SPARK_HOME环境变量指向这个目录,接着配置Spark的启动参数,...

    apache-hive-2.2.0-bin.tar.gz

    总之,Apache Hive 2.2.0是一个强大的大数据分析工具,与Hadoop、Spark等其他组件紧密配合,为大数据处理提供了灵活且易于使用的解决方案。其二进制发行版包含了运行Hive所需的所有组件,便于在各种环境中快速部署和...

    Win10的eclipse连接CentOS的Hadoop集群.doc

    下载`hadoop-common-2.2.0-bin.zip`,解压缩后将`hadoop.dll`和`winutils.exe`复制到Hadoop的`bin`目录,同时也要将这两个文件复制到`C:\Windows\System32`目录下。这是为了让Hadoop在Windows环境下模拟Linux的目录...

Global site tag (gtag.js) - Google Analytics