`
coderplay
  • 浏览: 577353 次
  • 性别: Icon_minigender_1
  • 来自: 广州杭州
社区版块
存档分类
最新评论

通过shell在linux上运行hadoop的真面目

阅读更多

<!-- @page { size: 21cm 29.7cm; margin: 2cm } P { margin-bottom: 0.21cm } -->


/usr/lib/jvm/java-6-sun/bin/java

-Xmx1000m

 

-Dhadoop.log.dir=/home/hadoop01/hadoop/hadoop-0.14.3/logs

-Dhadoop.log.file=hadoop.log

-Dhadoop.home.dir=/home/hadoop01/hadoop/hadoop-0.14.3

-Dhadoop.id.str=

-Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop01/hadoop/hadoop-0.14.3/lib/native/Linux-i386-32

 

-classpath

/home/hadoop01/hadoop/hadoop-0.14.3/bin/../conf:

/usr/lib/jvm/java-6-sun/lib/tools.jar:

/home/hadoop01/hadoop/hadoop-0.14.3:

/home/hadoop01/hadoop/hadoop-0.14.3/hadoop-0.14.3-core.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/commons-cli-2.0-SNAPSHOT.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/commons-codec-1.3.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/commons-httpclient-3.0.1.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/commons-logging-1.0.4.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/commons-logging-api-1.0.4.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jets3t-0.5.0.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-5.1.4.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/junit-3.8.1.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/log4j-1.2.13.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/servlet-api.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/xmlenc-0.52.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-ext/ant.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-ext/commons-el.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-ext/jasper-compiler.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-ext/jasper-runtime.jar:

/home/hadoop01/hadoop/hadoop-0.14.3/lib/jetty-ext/jsp-api.jar

 

org.apache.hadoop.util.RunJar hadoop-0.14.3-examples.jar grep input output dfs[a-z.]+

分享到:
评论

相关推荐

    数据科学导论实验报告 实验1:常用Linux操作和 Hadoop操作

    在Hadoop部分,实验介绍了如何在Linux环境下安装和配置Hadoop。首先,需要创建Hadoop用户并设置SSH登录权限,这通常通过添加用户的公钥到authorized_keys文件中实现。安装Java环境是运行Hadoop的前提,因为Hadoop...

    Hadoop shell常用命令

    该文档记录了在linux的shell环境下执行的hadoop的相关操作命令,包括多hafs文件的相关操作

    Linux环境下Hadoop搭建与Eclipse配置

    在Linux环境下搭建Hadoop并配置Eclipse开发环境是大数据处理工作中的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。而Eclipse是一款强大的集成开发环境(IDE),通过特定的插件可以...

    hadoop在Linux下运行eclipse

    首先寻找到hadoop下面的eclipse-plugin的jar,位置在/home/hadoop/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 将其赋值到刚才解压的eclipse目录下,目录在/home/hadoop/eclipse/plugins/,...

    windows远程连接linux下hadoop

    标题“Windows远程连接Linux下的Hadoop”涉及到的是在Windows操作系统中如何通过远程访问技术与运行在Linux环境下的Hadoop集群进行交互。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,主要用于处理和存储...

    基于Hadoop的ETL处理Shell架构

    例如,Bash Shell环境下的脚本可以使用grep、awk、sed等工具进行数据过滤、格式化和修改,或者调用Hadoop的命令行工具如hadoop fs、hadoop jar等进行数据的读写和MapReduce作业的提交。 具体来说,ETL流程可能包括...

    linux下的hadoop安装及配置详解

    ### Linux 下 Hadoop 安装及配置详解 #### 前言 ...通过以上步骤,您就可以在 Linux 环境下成功安装和配置 Hadoop,并且进行初步的数据处理测试了。这些配置对于搭建稳定高效的大数据处理平台至关重要。

    linux下安装hadoop

    linux下安装hadoop Linux版本:centos5 Hadoop版本:hadoop-0.20.2.tar.gz

    Linux下安装Hadoop完全分布式

    ### Linux下安装Hadoop完全分布式 #### 知识点概览 - **环境搭建**:包括操作系统选择、硬件配置需求、用户与权限管理等。 - **JDK安装与配置**:涉及JDK版本的选择、环境变量配置及版本切换方法。 - **主机名与...

    Linux下Hadoop集群安装指南

    这一步骤非常重要,因为 Hadoop 集群需要在 Linux 环境下运行。首先,我们需要安装 VMware,然后再安装 Ubuntu Linux。对于 64 位操作系统,我们需要安装 VMware-workstation-full-8.0.0-471780,序列号为 5F0Z1-...

    hadoop-2.7.7 linux安装包

    此文件为hadoop-2.7.7.tar.gz,可在linux下直接进行安装,如在windows上安装,则需要hadooponwindows-master.zip,用windows-master里的文件替换解压好后hadoop的bin和etc即可。Hadoop 2.7.7是一款开源的分布式计算...

    hadoop Windows 运行环境

    它最初设计时主要考虑的是在Linux集群上运行,但随着技术的发展,Hadoop也开始支持在Windows平台上运行,尽管这并不像在Linux上那样常见。这个"hadopp Windows 运行环境"就是为在Windows操作系统上搭建和运行Hadoop...

    hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    Hadoop是一款开源的大数据处理框架,最初由Apache软件基金会开发,主要用于分布式存储和计算。...总的来说,虽然在Windows上运行Hadoop比在Linux上复杂,但只要按照正确的步骤进行,还是可以实现的。

    linux下hadoop集群搭建

    总之,搭建Linux下的Hadoop集群需要对Hadoop的基本架构有深入理解,熟悉Linux网络配置,并能熟练进行系统级别的设置。这个过程虽然繁琐,但通过良好的规划和细致的实施,可以构建出稳定、高效的数据处理平台。在实践...

    redHat linux下安装hadoop 0.20.2

    redHat linux下安装hadoop 0.20.2

    大数据 hadoop-3.1.3 linux 安装包

    总之,Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程,涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理,也为实际的大数据处理任务...

    Linux下Hadoop配置

    Linux基本常用命令,ssh无密钥登录,Linux安装hadoop,hadoop集群搭建

    熟悉常用的Linux操作和Hadoop操作

    通过本次实验,可以掌握Linux环境下文件与目录的基本管理命令,以及如何在Hadoop分布式文件系统(HDFS)中进行文件的操作。 #### 实验平台 - **操作系统**:Linux - **Hadoop版本**:2.7.1 #### 实验内容和要求 ##...

    hadoop在windows上运行的工具

    标题中提到的“hadoop在windows上运行的工具”主要指的是在Windows环境下运行Hadoop所需的特定工具,这些工具确保了Hadoop能够在非Linux系统上正常工作。其中,“libwinutils.lib”是一个动态链接库文件,它包含了在...

    hadoop-shell.pdf

    Hadoop 是一款流行的开源分布式存储与计算框架,其核心是 Hadoop Distributed File System(HDFS),这是一个高度容错性的系统,适合在廉价硬件上运行。HDFS的设计宗旨是存储大文件,并且提供高吞吐量的数据访问,...

Global site tag (gtag.js) - Google Analytics