1.
拷贝文件,注意端口号
hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar ch03.FileCopyWithProgress Hello.class hdfs://localhost:9000/user/a.txt
或
hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar ch03.FileCopyWithProgress Hello.class /user/a.txt
2.
运行jar里的Hello
hadoop jar first-hadoop-0.0.1-SNAPSHOT.jar hello.Hello
3.结果
12/04/12 23:59:12 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/04/12 23:59:12 INFO mapred.FileInputFormat: Total input paths to process : 1
12/04/12 23:59:12 INFO mapred.JobClient: Running job: job_201204122244_0006
12/04/12 23:59:13 INFO mapred.JobClient: map 0% reduce 0%
12/04/12 23:59:28 INFO mapred.JobClient: map 100% reduce 0%
12/04/12 23:59:40 INFO mapred.JobClient: map 100% reduce 100%
12/04/12 23:59:45 INFO mapred.JobClient: Job complete: job_201204122244_0006
12/04/12 23:59:45 INFO mapred.JobClient: Counters: 30
12/04/12 23:59:45 INFO mapred.JobClient: Job Counters
12/04/12 23:59:45 INFO mapred.JobClient: Launched reduce tasks=1
12/04/12 23:59:45 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=18796
12/04/12 23:59:45 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
12/04/12 23:59:45 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
12/04/12 23:59:45 INFO mapred.JobClient: Launched map tasks=2
12/04/12 23:59:45 INFO mapred.JobClient: Data-local map tasks=2
12/04/12 23:59:45 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=10227
12/04/12 23:59:45 INFO mapred.JobClient: File Input Format Counters
12/04/12 23:59:45 INFO mapred.JobClient: Bytes Read=1996
12/04/12 23:59:45 INFO mapred.JobClient: File Output Format Counters
12/04/12 23:59:45 INFO mapred.JobClient: Bytes Written=506
12/04/12 23:59:45 INFO mapred.JobClient: FileSystemCounters
12/04/12 23:59:45 INFO mapred.JobClient: FILE_BYTES_READ=696
12/04/12 23:59:45 INFO mapred.JobClient: HDFS_BYTES_READ=2166
12/04/12 23:59:45 INFO mapred.JobClient: FILE_BYTES_WRITTEN=64709
12/04/12 23:59:45 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=506
12/04/12 23:59:45 INFO mapred.JobClient: Map-Reduce Framework
12/04/12 23:59:45 INFO mapred.JobClient: Map output materialized bytes=702
12/04/12 23:59:45 INFO mapred.JobClient: Map input records=23
12/04/12 23:59:45 INFO mapred.JobClient: Reduce shuffle bytes=702
12/04/12 23:59:45 INFO mapred.JobClient: Spilled Records=92
12/04/12 23:59:45 INFO mapred.JobClient: Map output bytes=598
12/04/12 23:59:45 INFO mapred.JobClient: Total committed heap usage (bytes)=337780736
12/04/12 23:59:45 INFO mapred.JobClient: CPU time spent (ms)=1480
12/04/12 23:59:45 INFO mapred.JobClient: Map input bytes=1330
12/04/12 23:59:45 INFO mapred.JobClient: SPLIT_RAW_BYTES=170
12/04/12 23:59:45 INFO mapred.JobClient: Combine input records=0
12/04/12 23:59:45 INFO mapred.JobClient: Reduce input records=46
12/04/12 23:59:45 INFO mapred.JobClient: Reduce input groups=2
12/04/12 23:59:45 INFO mapred.JobClient: Combine output records=0
12/04/12 23:59:45 INFO mapred.JobClient: Physical memory (bytes) snapshot=324440064
12/04/12 23:59:45 INFO mapred.JobClient: Reduce output records=46
12/04/12 23:59:45 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1121619968
12/04/12 23:59:45 INFO mapred.JobClient: Map output records=46
4.获取结果文件
-getmerge <src> <localdst>
拷贝到本地
hadoop fs -getmerge hdfs://localhost:9000/user/c.txt c.txt
hadoop fs -getmerge /user/c.txt c.txt
直接查看
hadoop fs -cat /user/c.txt/part-00000
5.hadoop存储文件目录/tmp/hadoop-root/dfs/data/current
分享到:
相关推荐
这个"hadop jar包.rar"文件很显然是包含了运行Hadoop相关程序所需的jar包集合,用户解压后可以直接使用,省去了自行编译和配置的步骤。 Hadoop的核心组件主要包括两个:HDFS(Hadoop Distributed File System)和...
这些JAR文件对于开发、部署和运行Hadoop应用是必不可少的。例如,如果你要编写一个程序来读取HDFS上的数据并使用MapReduce进行处理,你需要引入这些JAR文件到你的项目中,以便调用Hadoop的相关API。同时,对于运维...
一旦Hadoop环境配置完成,你可以尝试运行Hadoop自带的示例程序,如WordCount,来验证安装是否成功。WordCount程序会统计文本文件中每个单词出现的次数,是MapReduce的经典示例。 总的来说,Hadoop 2.7.2在Win10上的...
7. **打包与部署**:最后,将项目打包成可执行的JAR文件,部署到Hadoop集群上运行。 在实际开发中,你可能还需要关注Hadoop的版本兼容性,因为不同的Hadoop版本之间可能存在API的不兼容性。此外,了解Hadoop的其他...
开发者通常会将编写好的Java程序与依赖的Hadoop库一起打包成jar文件,然后通过`hadoop jar`命令在Hadoop集群上运行这个jar文件,执行MapReduce任务。 例如,以下是一个简单的`hadoop jar`命令执行流程: ```bash ...
在分布式计算领域,Hadoop是一个不可或缺的关键框架,它主要用于...确保正确配置和管理这些JAR包,是成功运行Hadoop项目的关键步骤。在实际操作中,可能还需要根据具体需求添加额外的库或插件,以满足特定的应用场景。
为了在Eclipse中运行Hadoop 2.7.3程序,你需要确保正确配置了项目依赖并包含了所有必需的JAR包。以下是你需要知道的关键知识点: 1. **Hadoop环境搭建**:首先,你需要在Linux服务器上安装Hadoop 2.7.3。这通常包括...
在Windows 7环境下编译并运行Hadoop可能需要一些特别的步骤,因为Hadoop最初是为Linux设计的。这个“win7下编译过的hadoop-2.7.2.zip”文件是为了适应Windows操作系统,使用户能在本地环境中学习和测试Hadoop功能。 ...
NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2108203
总的来说,"hadoop-2.7.2-hbase-jar.tar.gz"是Hadoop和HBase集成的关键,它包含了HBase在Hadoop环境中运行所需的全部类库。通过理解并正确使用这些JAR文件,开发者可以充分利用Hadoop的分布式计算能力,实现高效的...
6. **JAR打包**:在Windows上运行Hadoop MapReduce程序,可能需要将所有依赖的JAR文件(包括上述两个JAR文件)一起打包成一个可执行的JAR,以便在集群上正确运行。 总之,Windows环境下使用Java调用Hadoop 2.x ...
总的来说,"hadoop 所用的jar包"是开发和运行Hadoop应用必不可少的组成部分,它们提供了Hadoop框架的核心功能和API,使得开发者能够充分利用分布式计算的优势处理大数据问题。理解和掌握这些JAR包的用途和使用方法,...
flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包
这个压缩包文件包含了运行和开发Hadoop应用程序所需的所有jar包。这些jar包是Hadoop生态系统的关键组成部分,它们提供了核心Hadoop的功能,包括分布式文件系统(HDFS)和MapReduce计算模型。 1. **Hadoop核心**:...
这个压缩包文件“win10下编译过的hadoop2.7.2 jar包”是专门为在Windows 10操作系统上运行Hadoop 2.7.2版本而准备的。这个版本的Hadoop包含了所有必要的库文件和依赖,使得开发者能够在本地环境中配置和运行Hadoop...
这个“hadoop集群jar包大全”集合了在Hadoop环境中开发、运行项目所必需的各种库文件,这些库涵盖了Hadoop的核心组件,以及与之紧密相关的其他大数据技术如Hive、HBase、SFTP和JUnit。以下是对这些关键组件的详细...
在Windows下eclipse运行java程序,报错原因是没有添加正确的库,这是hadoop-2.8.4 所需的jar包。 在Windows的eclipse运行java程序,调试无报错,打包成jar,上传到linux虚拟机(CentOS 64位),Hadoop2.8.4上进行...
开发者可以将这些jar包导入到他们的项目中,以便在本地或远程Hadoop集群上运行和测试程序。这个特定的jar包是为Eclipse定制的,意味着它可能包含了Eclipse IDE所需的特定配置和适配器,使得在Eclipse内与Hadoop交互...
对于Hadoop和HBase,开发或运行应用程序通常需要依赖相应的jar包,这些jar包包含了运行时所需的类库和API。例如,`hadoop-common.jar`包含了Hadoop的基础功能,`hadoop-hdfs.jar`提供了对HDFS的操作,`hadoop-...