spark是一个实时的分布式计算引擎,在大叔据领域属于后起之秀,表现非凡,但是spark在使用的过程中也存在不少问题,这里主要说一下spark-sumbit的问题。
spark-sumbit是spark提交任务的一个脚本,这个脚本提交的任务可能失败也可能成功,但是spark-sumbit这个脚本总是执行成功的,也就是说我们不能根据spark-sumbit 来判断我们提交的任务是否成功了,这是个比较大的问题,官方描述如下:
https://issues.apache.org/jira/browse/SPARK-2167
spark-submit script and Java class should exit with 0 for success and non-zero with failure so that other command line tools and workflow managers (like oozie) can properly tell if the spark app succeeded or failed.
目前这个问题在新发布的spark1.1.1中已经解决具体解决的代码参考一下链接:
https://github.com/apache/spark/pull/1788/files
但是根据目前测试的情况来看,spark-sumbit还是不能准确捕获退出状态,在经过spark上下文环境之后中间异常推出返回状态依然是0,所以这个bug虽然有修复但是还没有彻底修复!
其实这个需要在我们自己的代码中抛出异常才可以,使用exit退出程序spark捕获不到推出状态。
相关推荐
在这个名为"cmpp-sumbit.rar_cmpp_cmpp_java_发短信_Java"的压缩包中,我们可以推测其内容可能包含了关于使用Java语言实现CMPP协议来发送短信的相关资料。 CMPP协议是基于TCP/IP的,它定义了SP(Service Provider,...
6. **工作区(Session)**:Sublime Text可以保存当前的工作状态,包括打开的文件、窗口布局等,当再次启动时,可以直接恢复到之前的状态。 7. **自动完成**:Sublime Text的自动完成功能能够根据上下文提供代码...
* enterTOSubmit(name) //在填写表单时按回车键提交表单,name为sumbit控件名 * isFloat(float,index) //判断是否为浮点数,并且小数点后面为index位,正确返回true * trimFullSpace(strIn) //返回去前后全角半角空格...
提交文本2(submit text2)是一款专为编程者设计的实用工具,它的中文版更是方便了国内用户使用。此软件的核心功能在于辅助编程工作,提高程序员的效率。下面将详细介绍这个工具及其相关组件。 首先,我们看到...
边距:0; } .navbar {溢出:隐藏; 背景颜色:黑色; } .navbar a {float:left; 显示:块; 红色; 文本对齐:居中; 填充:10px 50.6px; 文字修饰:无; 背景色:黑色} .navbar a.right {float:left; } ....
button class='btn' bindtap='sumbit' >确定</button> wxss代码 .btn { width: 90%; margin-top: 30rpx; background-color: #FFCC00; color: #FFF; } background-color属性是修改背景颜色的,color是...
这是一个ABAP子程序SUBMIT调用的方法,要根据实际灵活使用。
在React开发中,属性(props)和状态(state)是两个关键的概念,它们共同决定了组件的行为和呈现。本文将深入探讨这两个概念,并提供一个简单的示例来加深理解。 首先,让我们了解一下属性(props)。属性是父组件...
ServletRequest.getParameterMap()方法可以将表单数据转换为Map对象,我们可以根据需要将Map对象转换为JavaBean对象。这种方法适用于处理复杂的表单数据。 方式五:使用@MultipartConfig注解 如果表单中包含文件...
- `resetForm`: 如果设置为true,表单提交成功后会重置表单到初始状态。 - `timeout`: 设置请求超时时间,超过设定值会中断请求。 3. **beforeSubmit回调函数** `beforeSubmit`回调函数通常用于验证表单数据,如果...
最近国外有开发者发现Firefox和Opera的一个BUG:无法改变按钮里文字的行高(包括input type=”sumbit”和HTML的button标签)...按照常理,这个样式将为按钮设置50px的行高,并使文本垂直居中。因为这个样式在Chrome、S
Sublime Text是一款备受开发者喜爱的文本编辑器,尤其在编程社区中享有高度赞誉。它的强大之处在于其丰富的插件功能,这些插件极大地提升了开发人员的工作效率,使得代码编写、调试和项目管理变得更加轻松。...
在取复选框checkbox的属性checked属性值时,发现一个问题,就是当用attr取值时,真的为”checked”,假的为”undefined”;当用prop取值时,真的为”true”,假的为”false”。经过网上参考一些资料,及根据官方的建议...
最后,在联系页面上填写电子邮件联系表单,然后单击sumbit将电子邮件发送给Vector Electrical。 链接到已部署的应用程序 执照 ISC 贡献者 迈克尔·韦加 测验 未执行测试。 问题 迈克尔·韦加 审查 这是我为实际业务...
1,sumbit表单提交 WebForm1.aspx源码: 代码如下: <%@ Page Language=”C#” AutoEventWireup=”true” CodeBehind=”WebForm1.aspx.cs” Inherits=”NETFormDemo.ashx.WebForm1″ %> <!DOCTYPE ...
第一个任务是一个 Callable 任务,它返回一个字符串“Hello, World!”;第二个任务是一个 Runnable 任务,它打印输出“Hello, World!”,并返回一个字符串“Hello, World!”;第三个任务也是一个 Runnable 任务,它...
在Web应用开发中,EasyUI是一个非常流行的JavaScript库,它为开发者提供了丰富的组件,如表格、下拉框、按钮等,极大地简化了前端界面的构建。然而,当涉及到文件上传时,EasyUI的标准实现并不支持在上传文件的同时...
前前后后sumbit了19次,为WA提供了大量分母啊。。。。 多写点为自己备份吧。 2 有用的资料: 3 定理:一个图是弦图当且仅当它有一个完美消除序列。所以要先搞到完美消除序列: 4 如何判断搞到的是不是完美消除...
在示例代码中,定义了一个名为`window`的函数,用于创建主窗口: ```python def window(): root = tk.Tk() root.geometry('650x450+150+100') root.title('test') root.resizable(False, False) ``` 这里,`...
这里涉及的是如何接收用户输入,执行SQL查询,并返回搜索结果。 5. **nav.php**:导航栏文件,用于构建网站的顶部导航菜单,包含各个页面的链接。这部分通常需要HTML和CSS来创建布局,同时可能使用PHP进行动态生成...