`
byx5185
  • 浏览: 113626 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

运行hadoop jar

阅读更多
1.
拷贝文件,注意端口号
hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar  ch03.FileCopyWithProgress Hello.class hdfs://localhost:9000/user/a.txt

hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar  ch03.FileCopyWithProgress Hello.class /user/a.txt


2.
运行jar里的Hello
hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar  hello.Hello


3.结果

12/04/12 23:59:12 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/04/12 23:59:12 INFO mapred.FileInputFormat: Total input paths to process : 1
12/04/12 23:59:12 INFO mapred.JobClient: Running job: job_201204122244_0006
12/04/12 23:59:13 INFO mapred.JobClient:  map 0% reduce 0%
12/04/12 23:59:28 INFO mapred.JobClient:  map 100% reduce 0%
12/04/12 23:59:40 INFO mapred.JobClient:  map 100% reduce 100%
12/04/12 23:59:45 INFO mapred.JobClient: Job complete: job_201204122244_0006
12/04/12 23:59:45 INFO mapred.JobClient: Counters: 30
12/04/12 23:59:45 INFO mapred.JobClient:   Job Counters
12/04/12 23:59:45 INFO mapred.JobClient:     Launched reduce tasks=1
12/04/12 23:59:45 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=18796
12/04/12 23:59:45 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/04/12 23:59:45 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/04/12 23:59:45 INFO mapred.JobClient:     Launched map tasks=2
12/04/12 23:59:45 INFO mapred.JobClient:     Data-local map tasks=2
12/04/12 23:59:45 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10227
12/04/12 23:59:45 INFO mapred.JobClient:   File Input Format Counters
12/04/12 23:59:45 INFO mapred.JobClient:     Bytes Read=1996
12/04/12 23:59:45 INFO mapred.JobClient:   File Output Format Counters
12/04/12 23:59:45 INFO mapred.JobClient:     Bytes Written=506
12/04/12 23:59:45 INFO mapred.JobClient:   FileSystemCounters
12/04/12 23:59:45 INFO mapred.JobClient:     FILE_BYTES_READ=696
12/04/12 23:59:45 INFO mapred.JobClient:     HDFS_BYTES_READ=2166
12/04/12 23:59:45 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=64709
12/04/12 23:59:45 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=506
12/04/12 23:59:45 INFO mapred.JobClient:   Map-Reduce Framework
12/04/12 23:59:45 INFO mapred.JobClient:     Map output materialized bytes=702
12/04/12 23:59:45 INFO mapred.JobClient:     Map input records=23
12/04/12 23:59:45 INFO mapred.JobClient:     Reduce shuffle bytes=702
12/04/12 23:59:45 INFO mapred.JobClient:     Spilled Records=92
12/04/12 23:59:45 INFO mapred.JobClient:     Map output bytes=598
12/04/12 23:59:45 INFO mapred.JobClient:     Total committed heap usage (bytes)=337780736
12/04/12 23:59:45 INFO mapred.JobClient:     CPU time spent (ms)=1480
12/04/12 23:59:45 INFO mapred.JobClient:     Map input bytes=1330
12/04/12 23:59:45 INFO mapred.JobClient:     SPLIT_RAW_BYTES=170
12/04/12 23:59:45 INFO mapred.JobClient:     Combine input records=0
12/04/12 23:59:45 INFO mapred.JobClient:     Reduce input records=46
12/04/12 23:59:45 INFO mapred.JobClient:     Reduce input groups=2
12/04/12 23:59:45 INFO mapred.JobClient:     Combine output records=0
12/04/12 23:59:45 INFO mapred.JobClient:     Physical memory (bytes) snapshot=324440064
12/04/12 23:59:45 INFO mapred.JobClient:     Reduce output records=46
12/04/12 23:59:45 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1121619968
12/04/12 23:59:45 INFO mapred.JobClient:     Map output records=46



4.获取结果文件
-getmerge <src> <localdst>

拷贝到本地
hadoop fs -getmerge hdfs://localhost:9000/user/c.txt  c.txt
hadoop fs -getmerge /user/c.txt  c.txt


直接查看
hadoop fs -cat /user/c.txt/part-00000


5.hadoop存储文件目录/tmp/hadoop-root/dfs/data/current
分享到:
评论

相关推荐

    hadoop jar包.rar

    这个"hadop jar包.rar"文件很显然是包含了运行Hadoop相关程序所需的jar包集合,用户解压后可以直接使用,省去了自行编译和配置的步骤。 Hadoop的核心组件主要包括两个:HDFS(Hadoop Distributed File System)和...

    hadoop jar合集

    这些JAR文件对于开发、部署和运行Hadoop应用是必不可少的。例如,如果你要编写一个程序来读取HDFS上的数据并使用MapReduce进行处理,你需要引入这些JAR文件到你的项目中,以便调用Hadoop的相关API。同时,对于运维...

    win10下编译过的hadoop jar包--hadoop-2.7.2.zip

    一旦Hadoop环境配置完成,你可以尝试运行Hadoop自带的示例程序,如WordCount,来验证安装是否成功。WordCount程序会统计文本文件中每个单词出现的次数,是MapReduce的经典示例。 总的来说,Hadoop 2.7.2在Win10上的...

    hadoop的各种jar包

    7. **打包与部署**:最后,将项目打包成可执行的JAR文件,部署到Hadoop集群上运行。 在实际开发中,你可能还需要关注Hadoop的版本兼容性,因为不同的Hadoop版本之间可能存在API的不兼容性。此外,了解Hadoop的其他...

    hadoop-jar.zip

    开发者通常会将编写好的Java程序与依赖的Hadoop库一起打包成jar文件,然后通过`hadoop jar`命令在Hadoop集群上运行这个jar文件,执行MapReduce任务。 例如,以下是一个简单的`hadoop jar`命令执行流程: ```bash ...

    基于Hadoop的分布式系统依赖的所有JAR包

    在分布式计算领域,Hadoop是一个不可或缺的关键框架,它主要用于...确保正确配置和管理这些JAR包,是成功运行Hadoop项目的关键步骤。在实际操作中,可能还需要根据具体需求添加额外的库或插件,以满足特定的应用场景。

    eclipse运行hadoop2.7.3程序依赖的jar包

    为了在Eclipse中运行Hadoop 2.7.3程序,你需要确保正确配置了项目依赖并包含了所有必需的JAR包。以下是你需要知道的关键知识点: 1. **Hadoop环境搭建**:首先,你需要在Linux服务器上安装Hadoop 2.7.3。这通常包括...

    win7下编译过的hadoop jar包--hadoop-2.7.2.zip

    在Windows 7环境下编译并运行Hadoop可能需要一些特别的步骤,因为Hadoop最初是为Linux设计的。这个“win7下编译过的hadoop-2.7.2.zip”文件是为了适应Windows操作系统,使用户能在本地环境中学习和测试Hadoop功能。 ...

    hadoop以jar形式运行代码 并运行时动态指定参数

    NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2108203

    hadoop-2.7.2-hbase-jar.tar.gz

    总的来说,"hadoop-2.7.2-hbase-jar.tar.gz"是Hadoop和HBase集成的关键,它包含了HBase在Hadoop环境中运行所需的全部类库。通过理解并正确使用这些JAR文件,开发者可以充分利用Hadoop的分布式计算能力,实现高效的...

    hadoop2 MR运行修改jar

    6. **JAR打包**:在Windows上运行Hadoop MapReduce程序,可能需要将所有依赖的JAR文件(包括上述两个JAR文件)一起打包成一个可执行的JAR,以便在集群上正确运行。 总之,Windows环境下使用Java调用Hadoop 2.x ...

    hadoop 所用的jar包

    总的来说,"hadoop 所用的jar包"是开发和运行Hadoop应用必不可少的组成部分,它们提供了Hadoop框架的核心功能和API,使得开发者能够充分利用分布式计算的优势处理大数据问题。理解和掌握这些JAR包的用途和使用方法,...

    flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包

    flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包

    Hadoop的jar包

    这个压缩包文件包含了运行和开发Hadoop应用程序所需的所有jar包。这些jar包是Hadoop生态系统的关键组成部分,它们提供了核心Hadoop的功能,包括分布式文件系统(HDFS)和MapReduce计算模型。 1. **Hadoop核心**:...

    win10下编译过的hadoop2.7.2 jar包

    这个压缩包文件“win10下编译过的hadoop2.7.2 jar包”是专门为在Windows 10操作系统上运行Hadoop 2.7.2版本而准备的。这个版本的Hadoop包含了所有必要的库文件和依赖,使得开发者能够在本地环境中配置和运行Hadoop...

    hadoop集群jar包大全

    这个“hadoop集群jar包大全”集合了在Hadoop环境中开发、运行项目所必需的各种库文件,这些库涵盖了Hadoop的核心组件,以及与之紧密相关的其他大数据技术如Hive、HBase、SFTP和JUnit。以下是对这些关键组件的详细...

    java运行所需jar包,hadoop-2.8.4

    在Windows下eclipse运行java程序,报错原因是没有添加正确的库,这是hadoop-2.8.4 所需的jar包。 在Windows的eclipse运行java程序,调试无报错,打包成jar,上传到linux虚拟机(CentOS 64位),Hadoop2.8.4上进行...

    hadoop 2.7.5 eclipse jar

    开发者可以将这些jar包导入到他们的项目中,以便在本地或远程Hadoop集群上运行和测试程序。这个特定的jar包是为Eclipse定制的,意味着它可能包含了Eclipse IDE所需的特定配置和适配器,使得在Eclipse内与Hadoop交互...

    hadoop+hbase jar包

    对于Hadoop和HBase,开发或运行应用程序通常需要依赖相应的jar包,这些jar包包含了运行时所需的类库和API。例如,`hadoop-common.jar`包含了Hadoop的基础功能,`hadoop-hdfs.jar`提供了对HDFS的操作,`hadoop-...

Global site tag (gtag.js) - Google Analytics