这两天在执行hadoop streaming (用的脚本是python),一直出现subprocess failed with code 这个错误,看了streaming 源码,上面写的是系统抛出的异常,但是怎么也搞不明白为什么系统会抛出异常呢?百思不得其解啊!看了http://taoo.iteye.com/blog/1486650这个博客给我了一点提醒,原来是python问题,集群中环境不一致导致的。
把这个问题记下来吧,以备以后查阅。
hadoop streaming pyhton 时候出现:subprocess failed with code 127,code 后面错误码不管是什么,都是 脚本环境的问题
在python脚本里面声明的:#!/usr/bin/env python,这里声明了位置,所以必须要放到 /usr/bin 下面,才能有效。
python 执行程序必须放到 /usr/bin 下面,在环境变量的其他位置不管用。
/usr/bin/env: python: No such file or directory
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
这个主要是环境存在的问题,code后面的错误不管是几。都是streaming中执行某个脚本导致的。
分享到:
相关推荐
Building Data Streaming Applications with Apache Kafka_Code 源码 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
Building Data Streaming Applications with Apache Kafka 英文azw3 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
Apache Kafka is a popular distributed streaming platform that acts as a messaging queue or an enterprise messaging system...using Apache Kafka and to design efficient streaming data applications with it.
Structured Streaming中同样包含了Receiver和ReceiverSupervisor等组件,它们处理接收到的数据块,并与ReceiverTracker交互,后者负责管理Receiver的跟踪。 对于想要深入理解Spark Streaming和Structured Streaming...
### Streaming XML with XMPP #### 引言 随着互联网技术的发展与应用的多样化,XML(可扩展标记语言)作为一种开放且灵活的数据交换格式,在多种场景下展现出了强大的潜力。特别是结合XMPP(Extensible Messaging ...
Hadoop Streaming是Hadoop生态系统中的一个组件,它允许用户使用自定义的编程语言(如Python、Perl或Ruby)编写MapReduce程序,而不仅仅是Java。这一特性极大地扩展了Hadoop的适用范围,使得不同背景的开发者都能够...
然而,在使用 SVN 过程中,可能会遇到各种错误提示,影响工作效率。本文将对 SVN 中常见的错误提示进行分析,并提供相应的解决方法。 1. svn: Server sent unexpected return value (500 Internal Server Error) in...
### Structured Spark Streaming as a Service with Hopsworks Structured Spark Streaming as a Service with Hopsworks is a powerful and flexible solution designed to simplify the process of building real...
### Spark 2018 欧洲峰会中关于Structured Streaming中的Stateful Stream Processing 在Spark 2018欧洲峰会中,有一场引人注目的演讲深入探讨了Structured Streaming框架下的状态流处理(stateful stream processing...
在将Kafka和Spark Streaming集成时,需要将Kafka的主题创建在Spark Streaming中,并且需要配置Spark Streaming的输入流,以便从Kafka中消费数据。 四、主题创建和消息发送 在Kafka中,需要创建主题,并且需要使用...
描述中的 "AutoInputFormat.classDumpTypedBytes.classEnvironment.classHadoopSteaming.class" 提到了几个关键类,这些类在 Hadoop Streaming 的实现中起着重要作用: 1. **AutoInputFormat**: 这是一个抽象类,它...
保证完整,目前网上找个完整的不容易(2019-06-...Stream Processing with Apache Flink(Flink布道者)完整书签高清pdf以及epub; 以及评价超高的Streaming Systems(谷歌大脑Tyler Akidau) ; 以及18年10月Flink技术沙
With this practical guide, data engineers, data scientists, and developers will learn how to work with streaming data in a conceptual and platform-agnostic way. Expanded from Tyler Akidau’s popular ...
In the same way, streaming data applications can accomplish amazing tasks like reading live location data to recommend nearby services, tracking faults with machinery in real time, and sending ...
标题和描述中提到的知识点为:Real-Time Analytics with Spark Streaming,这是一种实时的分析技术,使用了Apache Spark这个开源的海量数据处理框架。Spark Streaming是Spark的一部分,它可以将实时数据流作为输入,...
在Aurora协议中,streaming接口可能包括数据流的起始和结束标志,以及用于错误检测的校验和。 在压缩包内的"aurora_8b10b_streaming_ex"文件,很可能是Aurora协议8b/10b编码的streaming示例代码或者设计文件。这些...
赠送jar包:flink-streaming-java_2.11-1.13.2.jar; 赠送原API文档:flink-streaming-java_2.11-1.13.2-javadoc.jar; 赠送源代码:flink-streaming-java_2.11-1.13.2-sources.jar; 赠送Maven依赖信息文件:flink-...
Pro Spark Streaming walks you through end-to-end real-time application development using real-world applications, data, and code. Taking an application-first approach, each chapter introduces use ...
Structured Streaming 中的容错是指系统的错误处理机制。容错机制可以确保系统在遇到错误时能够继续运行。 DataFrame 和 DataSet 的 API Structured Streaming 提供了 DataFrame 和 DataSet 两种 API,用于处理...
Auto Scaling Systems With Elastic Spark Streaming 本资源摘要信息主要介绍 Auto Scaling Systems With Elastic Spark Streaming 的知识点,涉及到流处理、Spark Streaming、Elastic Spark Streaming 和 Auto ...