`
mxsfengg
  • 浏览: 207828 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

如何向hadoo集群提交job

阅读更多

首先,你当然得有hadoop-site.xml文件

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hostname:9900</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hostname:9901</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

然后,你要提交你的jar包。

      有两种方法,1

                              使用这样的代码,job.setJar("file:///E:\\hadoopcount\\hadoopCount.jar");

                        2

                               也可以这样,job.set("tmpjars", file:///E:\\hadoopcount\\hadoopCount.jar);

 

至此,你就可以提交你的job了。

 

分享到:
评论

相关推荐

    Java访问Hadoop集群源码

    在Java编程环境中,访问Hadoop集群是一项常见的任务,特别是在大数据处理和分析的场景下。Hadoop是一个开源框架,主要用于存储和处理大规模数据集。本文将深入探讨如何利用Java API来与Hadoop集群进行交互,包括读取...

    Hadoop集群搭建详细简明教程

    本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界,了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目,其核心包括两个主要组件:Hadoop Distributed File ...

    hadoop集群环境的搭建

    "hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要...

    hadoop集群一键启动、关闭

    本文将深入探讨如何通过自定义脚本来实现Hadoop集群的一键启动、关闭功能,以及涉及的相关技术。 Hadoop是Apache软件基金会开发的一个开源框架,主要用于存储和处理大规模数据。其核心组件包括HDFS(Hadoop ...

    hadoop集群

    本篇文章将详细介绍如何搭建一个Hadoop集群环境,为初学者提供指导。 首先,我们需要了解Hadoop的核心组件。Hadoop主要由两个核心部分组成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是分布式文件...

    hadoop集群搭建详细步骤

    这些文件包含了 Hadoop 的配置信息,例如 Hadoop 的临时目录、MapReduce 的 job tracker 等。 四、Hadoop 集群搭建 在配置好集群环境后,我们可以开始搭建 Hadoop 集群了。我们需要将三台伪分布式环境改装成集群...

    Hadoop集群-WordCount运行详解.pdf

    在Hadoop集群中,每个MapReduce作业(Job)都会经历Map和Reduce两个阶段。首先,输入数据被分割成若干个分割(split),每个分割由一个Map任务处理。Map任务处理输入数据生成键值对输出,然后通过Shuffle过程将相同...

    Hadoop集群命令

    根据提供的文件标题、描述、标签以及部分内容,我们可以总结出与Hadoop集群命令相关的知识点: ### Hadoop集群命令 #### 概述 Hadoop是一个能够处理大量数据的分布式系统基础架构,它通过提供高可靠性、高效性和可...

    web平台调用hadoop集群2.0

    在现代大数据处理场景中,Web平台与Hadoop集群的集成是常见的需求,特别是在数据分析和机器学习项目中。本文将深入探讨“web平台调用Hadoop集群2.0”这一主题,旨在提供一个全面的视角来理解如何在Web应用中有效地...

    Hadoop提交Job执行MR程序代码.zip

    3. `Driver` 类:设置job配置,包括输入输出路径、Mapper和Reducer类等,然后提交job到Hadoop集群。 关于job提交流程,一般包括以下几个步骤: 1. **创建Job Configuration**:首先,我们需要创建一个Job ...

    大数据技术分享 Hadoop集群监控与Hive高可用方案 共17页.pdf

    phpHiveAdmin是一个基于Web的Hive管理工具,能够实时监控Hive集群的运行状态,提供了详细的监控数据,包括Job提交、Map/Reduce过程、Hive日志等。phpHiveAdmin的优点是界面清晰,安装简单,运行方便,节省Hive操作...

    阿里Hadoop集群架构及服务体系.

    在深入探讨阿里Hadoop集群架构及服务体系的知识点前,首先需要明确Hadoop本身是大数据处理框架的核心技术,由Apache基金会开发,广泛应用于海量数据的存储和分析。其设计目的是从数以千计的服务器中处理PB级别的数据...

    安装hadoop集群三台虚拟机

    ### Hadoop集群三台虚拟机安装配置详解 #### 一、环境准备与概述 本教程主要介绍如何在三台Linux虚拟机上安装配置Hadoop集群。三台虚拟机的IP地址分别为192.168.116.10(作为NameNode)、192.168.116.11(作为...

    hadoop集群eclipse安装配置共30页.pdf.z

    6. **调试与运行**: 在Eclipse中可以直接运行和调试MapReduce程序,插件会将程序提交到Hadoop集群上执行,同时提供调试选项,如设置断点,查看变量值等。 7. **监控与日志查看**: 通过Eclipse可以监控Job的执行状态...

    Job提交流程源码解析.xmind

    Hadoop集群的job提交源码解析思维导图

Global site tag (gtag.js) - Google Analytics