`
yjsmask
  • 浏览: 16876 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

在window7中使用Intellij IDEA 提交job到Spark Yarn (模式)

阅读更多
使用window提交到Spark cluster中出现下面错误:
Exit code: 1
Exception message: /bin/bash: line 0: fg: no job control
Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 1

困扰了一个星期, 各种百度, google, 始终不能解决问题

最后通过EClipse开了个小程序测试中发现,mvn引用的
<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.11</artifactId>
            <version>2.1.0</version>
            <scope>compile</scope>
        </dependency>
此jar包与spark下jars的jar包发送冲突, 删除掉此引用,问题解决!

在此记录一下

在运行程序的时候,发现程序总会将依赖的jar全部打包成zip ,并上传到hdfs , 耽误时间

自己在 hdfs下 将spark的jars打包成zip , 并上传到hdfs
在程序中使用
conf.set("spark.yarn.archive", "hdfs:////input/spark/spark-jars.zip")
设置即可
分享到:
评论

相关推荐

    IntelliJ IDEA使用教程从入门到上瘾(2019图文版)

    IntelliJ IDEA 使用教程从入门到上瘾(2019 图文版) 本资源主要介绍了 IntelliJ IDEA 的使用教程,从基础到高级,涵盖了从设置工作空间到配置 Maven 等多个方面的知识点。 1. IDEA VS Eclipse 核心术语比较 在...

    Intellij IDEA 入门教程.pdf (高清文字版)

    GIT专题和SVN专题分别介绍了如何在IDEA中使用Git和SVN进行版本控制。 此外,教程还提到了SSM(Spring、Spring MVC、MyBatis)的搭建,如何添加Spring支持,以及数据库和MyBatis的配置。对于初学者而言,了解项目的...

    IntelliJ IDEA 中文指南.pdf

    在Java开发方面,文档提供了创建Hello World Java项目、项目配置文件的示例,以及如何在IntelliJ IDEA中使用版本控制工具,比如SVN和Git。同时,它还介绍了如何使用实时代码模板、文件代码模板和前端代码模板Emmet来...

    IntellijIdea开发工具详细使用文档.pdf

    IntelliJ Idea开发工具详细使用文档 IntelliJ IDEA是一款功能强大且灵活的集成开发环境(IDE),由 JetBrains 公司开发。它支持多种编程语言,包括 Java、Groovy、Kotlin、Scala 等。下面是 IntelliJ IDEA 的详细...

    Intellij Idea开发工具详细使用文档.pdf

    无论是初学者还是经验丰富的开发者,都能在IntelliJ IDEA的智能提示和辅助功能中受益,享受到流畅的开发体验。通过不断学习和实践,开发者可以更深入地利用IntelliJ IDEA,解决开发过程中遇到的各种问题,实现高质量...

    IntelliJ IDEA使用教程

    Tomcat专题介绍了如何在IntelliJ IDEA中配置和使用Tomcat服务器,包括Tomcat的安装和配置、启动以及面板说明。 5. 常见问题与技巧 IntelliJ IDEA提供了许多技巧和解决方案来处理开发中可能遇到的常见问题。这包括...

    IntelliJ IDEA 2019汉化文件.rar

    在默认情况下,IntelliJ IDEA可能使用英文界面,对于不熟悉英文的开发者来说,这可能会增加理解和操作的难度。因此,这个汉化文件的目的是将软件的界面、提示信息、菜单等元素翻译成中文,使得中国用户可以更加方便...

    使用IntelliJ IDEA 13搭建Android集成开发环境(图文教程)

    安装过程中,需要设置JAVA_HOME环境变量,并且将SDK的bin目录添加到系统的PATH环境变量中,以便可以在命令行中使用Java工具。 2. AndroidSDK(Software Development Kit):Android SDK包含了API库、开发工具、调试...

    IntelliJIDEA汉化包

    在安装和使用IntelliJ IDEA汉化包时,你需要了解以下知识点: 1. **下载与获取**:首先,你需要从可靠的来源下载IntelliJ IDEA的汉化插件,这通常可以在插件市场或官方社区找到。确保下载的版本与你当前使用的...

    IntelliJ IDEA 使用教程

    在 IntelliJ IDEA 中,工作空间这一概念不再单独存在,而是融入到了每一个 Project(项目)之中。这意味着每个项目都有自己的工作空间。这样的设计赋予了开发者更大的灵活性,因为每个 Module(模块)都可以拥有独立...

    Intellij IDEA连接Spark集群

    本文主要介绍如何在 IntelliJ IDEA 中配置并连接到 Apache Spark 集群,以便进行 Spark 应用程序的开发。 #### 二、准备工作 在开始配置之前,请确保你已经安装了以下软件: - **Java**:Spark 应用基于 Java 平台...

    intellij idea 中文语言包resources_zh_CN_IntelliJIDEA_2019.3_r1.jar

    IntelliJ IDEA是java编程语言开发的集成环境,不过官方是英文版的,这是一个汉化包,下载后放至IntelliJ IDEA安装目录的lib目录下就行,重新启动程序就是中文了。

    IntelliJ IDEA 主题皮肤包

    Sublime Text以其简洁、高效的界面和丰富的自定义选项著称,因此,将这种主题引入到IntelliJ IDEA中,可以让习惯于Sublime Text的开发者在使用更加强大的IDE时,仍然能保持熟悉的界面风格。 主题皮肤包的使用方法...

    尚硅谷_宋红康_IntelliJIDEA的安装、配置与使用(带目录)

    通过上述介绍,我们可以了解到 IntelliJ IDEA 的基本功能和优势所在,以及如何在 Windows 系统下顺利完成其安装过程。对于希望深入学习 Java 开发的学员来说,掌握 IntelliJ IDEA 的使用将是提升工作效率的关键之一...

    Intellij IDEA教程

    IntelliJ IDEA是一款深受开发者喜爱的Java集成开发环境(IDE),尤其在Java Web开发领域有着广泛的应用。本教程将深入探讨IntelliJ IDEA的各项功能,帮助你从新手快速成长为熟练的使用者。 首先,IntelliJ IDEA的...

    IntelliJ IDEA主题、.zip

    在描述中提到,这些主题适用于IntelliJ IDEA的流行版本,这意味着大多数用户应该都能顺利使用。 除了预设的主题,IntelliJ IDEA还允许用户自定义颜色方案,包括字体大小、颜色、背景等,以满足个性化需求。此外,还...

    在IntelliJ IDEA 中使用 Gradle JavaFx

    【标题】: "在IntelliJ IDEA 中使用 Gradle JavaFx" 【正文】: JavaFX是一种用于构建桌面、Web和移动应用的富客户端GUI平台,它提供了丰富的图形和媒体功能。IntelliJ IDEA是一款强大的Java集成开发环境,支持多种...

Global site tag (gtag.js) - Google Analytics