mapreduce java.lang.ClassNotFoundException: - 空中的鱼 - ITeye博客

`

lookqlp

浏览: 346210 次
性别:
来自: 上海

最近访客更多访客>>

jlbhdfsl

louShang123

ssydxa219

yc_zlj

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

tpxcer：不开启时可以的，而且开启以后各种坑。。。。
hue beeswax权限管理
yangze：博主请教一个问题，hue 控制hive表的权限怎么弄？怎么联 ...
cloudera新增用户权限配置
linux91：楼主你好，我用CM配置LDAP用户组映射，进入impala时， ...
sentry配置
linux91：版主：按你的步骤配置了，可是，执行 impala-shell ...
impala集成LDAP
lookqlp： super_a 写道你好！找不到表这个问题是如何解决的，可以描 ...
hcatalog读取hive数据并写入hive

mapreduce java.lang.ClassNotFoundException:

博客分类：

hadoop

hadoop mapreduce

阅读更多

好久没写mr了，今天写了个在eclipse上运行很顺畅，但是使用hadoop jar命令方式时一直报错：

13/03/07 14:44:34 INFO mapred.JobClient: Task Id : attempt_201303031058_0328_m_000007_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: com.test.HBaseToFile$TradeMap
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)
	at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at javax.security.auth.Subject.doAs(Subject.java:396)

后来发现原来是在0.20版本以后main方法中需要加：job.setJarByClass(HBaseToFile.class);才能找到自定义的map或reduce内部类。

坑爹吧!

分享到：

hello hbase | linux有用命令

2013-03-07 15:06
浏览 3019
评论(0)
分类:开源软件
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类: 【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记报错明细 IDEA SpringBoot集成hadoop运行环境，本地启动项目，GET请求接口触发远程提交...

Sqoop通过Phoenix导hbase数据到hive: at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378) at org.apache.sqoop.mapreduce.ImportJobBase....

java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0: 我在进行MapReduce本地测试的时候，遇见下面的报错： Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava...

大数据分析技术基础PPT课件(共9单元)4-MapReduce 编程.pdf: 大数据分析技术基础PPT课件(共9单元)4-MapReduce 编程.pdf大数据分析技术基础PPT课件(共9单元)4-MapReduce 编程.pdf大数据分析技术基础PPT课件(共9单元)4-MapReduce 编程.pdf大数据分析技术基础PPT课件(共9单元)4-...

第一个Mapreduce程序.pdf: 本文主要介绍了如何使用Java编写MapReduce程序，并运行第一个MapReduce作业，包括遇到的问题和解决方案。首先，环境搭建是使用Hadoop MapReduce的重要步骤。本文的环境基于CDH5（Cloudera's Distribution ...

【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster: 【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster报错明细问题解决后记报错明细 IDEA SpringBoot集成hadoop运行环境，，本地启动项目，GET请求接口触发...

基于Java实现的简易MapReduce框架.zip: 《基于Java实现的简易MapReduce框架》在大数据处理领域，Hadoop是一个不可或缺的重要工具，它为海量数据的存储和处理提供了分布式计算框架。而MapReduce是Hadoop的核心组件之一，用于处理和生成大规模数据集。这个...

avro-mapred-1.7.8-SNAPSHOT-hadoop2: org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected at org.apache...

《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf: 《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术.pdf《Hadoop系统搭建及项目实践》课件04MapReduce技术...

hadoop-2.6.0-hadoop.dll-winutils.exe: at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:437) at org.apache....

mapreduce.tar.gz: 这个“mapreduce.tar.gz”文件可能包含了关于MapReduce的基本概念、工作原理、编程模型以及相关的实践案例，供学习和参考。以下是对MapReduce的详细介绍： MapReduce的核心思想是将复杂的并行计算过程分为两个主要...

Hadoop源代码分析（包org.apache.hadoop.mapreduce）: 包org.apache.hadoop.mapreduce的Hadoop源代码分析

Hadoop-Yarn.docx: YARN的这种设计使得系统能够更好地支持不同类型的计算框架，如MapReduce、Spark、Hive等，它们都可以在YARN上运行，共享集群资源。此外，YARN的资源调度机制可以根据应用程序的需求动态调整，提高了集群的整体效率。...

MapReduce基础.pdf: ### MapReduce基础知识详解 #### 一、MapReduce概述 **MapReduce** 是一种编程模型，最初由Google提出并在Hadoop中实现，用于处理大规模数据集的分布式计算问题。该模型的核心思想是将复杂的大型计算任务分解成较...

大数据技术基础实验报告-MapReduce编程.doc: MapReduce 是一种分布式计算模型，由Google提出，主要用于处理和分析海量数据。在这个实验报告中，我们将探讨如何在Eclipse环境中设置和使用MapReduce编程。首先，为了在Eclipse上编写和运行MapReduce程序，我们...

大数据平台构建：YARN中运行Mapreduce程序.pptx: 每个任务由`YarnChild`类的Java应用程序执行，先进行资源本地化，再运行map和reduce任务。 10. **进度与状态更新**：任务定期向Application Master汇报进度和状态，客户端可以通过查询Application Master或直接调用...

java__Hadoop_MapReduce教程.rar: 【描述】：本教程深入浅出地介绍了Java编程在Hadoop MapReduce框架中的应用，旨在帮助开发者理解和掌握如何使用MapReduce处理大规模数据。【标签】：教育【正文】： Hadoop MapReduce是Apache Hadoop项目的重要...

深入探究如何使用Java编写MapReduce程序.rar: 1. **Mapper类**：这是实现Map函数的类，通常继承自`org.apache.hadoop.mapreduce.Mapper`。Mapper接收键值对作为输入，经过处理后产生新的中间键值对。 2. **Reducer类**：Reducer类实现了Reduce函数，继承自`org....

论文：MapReduce: Simplified Data Processing on Large Clusters: ### MapReduce: 简化的大型集群数据处理 #### 一、引言《MapReduce: Simplified Data Processing on Large Clusters》这篇论文由Google的研究员Jeffrey Dean和Sanjay Ghemawat撰写，旨在介绍一种名为MapReduce的...

大数据实验四-MapReduce编程实践: - **编写Mapper处理逻辑**：定义一个Mapper类，继承自`org.apache.hadoop.mapreduce.Mapper`，重写`map()`方法，用于处理输入的文本数据并输出键值对, v>（k表示单词，v表示计数值）。 - **编写Reducer处理逻辑**：...

Global site tag (gtag.js) - Google Analytics