`
andylue2008
  • 浏览: 34953 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Streaming中subprocess failed with code 错误

阅读更多


这两天在执行hadoop streaming (用的脚本是python),一直出现subprocess failed with code 这个错误,看了streaming 源码,上面写的是系统抛出的异常,但是怎么也搞不明白为什么系统会抛出异常呢?百思不得其解啊!看了http://taoo.iteye.com/blog/1486650这个博客给我了一点提醒,原来是python问题,集群中环境不一致导致的。
把这个问题记下来吧,以备以后查阅。
hadoop streaming pyhton 时候出现:subprocess failed with code 127,code 后面错误码不管是什么,都是 脚本环境的问题
        在python脚本里面声明的:#!/usr/bin/env python,这里声明了位置,所以必须要放到 /usr/bin 下面,才能有效。
         python 执行程序必须放到 /usr/bin 下面,在环境变量的其他位置不管用
/usr/bin/env: python: No such file or directory
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127
        at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
        at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
        at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
        at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)
这个主要是环境存在的问题,code后面的错误不管是几。都是streaming中执行某个脚本导致的。
分享到:
评论

相关推荐

    Building Data Streaming Applications with Apache Kafka_Code 源码

    Building Data Streaming Applications with Apache Kafka_Code 源码 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除

    Building Data Streaming Applications with Apache Kafka azw3

    Building Data Streaming Applications with Apache Kafka 英文azw3 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除

    Building Data Streaming Applications with Apache Kafka

    Apache Kafka is a popular distributed streaming platform that acts as a messaging queue or an enterprise messaging system...using Apache Kafka and to design efficient streaming data applications with it.

    spark Streaming和structed streaming分析

    Structured Streaming中同样包含了Receiver和ReceiverSupervisor等组件,它们处理接收到的数据块,并与ReceiverTracker交互,后者负责管理Receiver的跟踪。 对于想要深入理解Spark Streaming和Structured Streaming...

    Streaming XML with xmpp.pdf

    ### Streaming XML with XMPP #### 引言 随着互联网技术的发展与应用的多样化,XML(可扩展标记语言)作为一种开放且灵活的数据交换格式,在多种场景下展现出了强大的潜力。特别是结合XMPP(Extensible Messaging ...

    Hadoop Streaming 官方中文文档

    Hadoop Streaming是Hadoop生态系统中的一个组件,它允许用户使用自定义的编程语言(如Python、Perl或Ruby)编写MapReduce程序,而不仅仅是Java。这一特性极大地扩展了Hadoop的适用范围,使得不同背景的开发者都能够...

    SVN各种错误提示产生原因及处理方法大全

    然而,在使用 SVN 过程中,可能会遇到各种错误提示,影响工作效率。本文将对 SVN 中常见的错误提示进行分析,并提供相应的解决方法。 1. svn: Server sent unexpected return value (500 Internal Server Error) in...

    Structured Spark Streaming-as-a-Service with Hopsworks

    ### Structured Spark Streaming as a Service with Hopsworks Structured Spark Streaming as a Service with Hopsworks is a powerful and flexible solution designed to simplify the process of building real...

    spark2018欧洲峰会中关于StructuredStreaming中stateful stream processing的ppt

    ### Spark 2018 欧洲峰会中关于Structured Streaming中的Stateful Stream Processing 在Spark 2018欧洲峰会中,有一场引人注目的演讲深入探讨了Structured Streaming框架下的状态流处理(stateful stream processing...

    kafka+spark streaming开发文档

    在将Kafka和Spark Streaming集成时,需要将Kafka的主题创建在Spark Streaming中,并且需要配置Spark Streaming的输入流,以便从Kafka中消费数据。 四、主题创建和消息发送 在Kafka中,需要创建主题,并且需要使用...

    hadoop-streaming-2.8.0_jar_2.8.0_hadoop_streaming_

    描述中的 "AutoInputFormat.classDumpTypedBytes.classEnvironment.classHadoopSteaming.class" 提到了几个关键类,这些类在 Hadoop Streaming 的实现中起着重要作用: 1. **AutoInputFormat**: 这是一个抽象类,它...

    Stream Processing with Apache Flink完整书签高清pdf和epub版,以及评价超高的Streaming Systems

    保证完整,目前网上找个完整的不容易(2019-06-...Stream Processing with Apache Flink(Flink布道者)完整书签高清pdf以及epub; 以及评价超高的Streaming Systems(谷歌大脑Tyler Akidau) ; 以及18年10月Flink技术沙

    streaming systems

    With this practical guide, data engineers, data scientists, and developers will learn how to work with streaming data in a conceptual and platform-agnostic way. Expanded from Tyler Akidau’s popular ...

    Streaming Data

    In the same way, streaming data applications can accomplish amazing tasks like reading live location data to recommend nearby services, tracking faults with machinery in real time, and sending ...

    Real-Time Analytics with Spark Streaming

    标题和描述中提到的知识点为:Real-Time Analytics with Spark Streaming,这是一种实时的分析技术,使用了Apache Spark这个开源的海量数据处理框架。Spark Streaming是Spark的一部分,它可以将实时数据流作为输入,...

    aurora streaming工程例子程序.zip

    在Aurora协议中,streaming接口可能包括数据流的起始和结束标志,以及用于错误检测的校验和。 在压缩包内的"aurora_8b10b_streaming_ex"文件,很可能是Aurora协议8b/10b编码的streaming示例代码或者设计文件。这些...

    flink-streaming-java_2.11-1.13.2-API文档-中文版.zip

    赠送jar包:flink-streaming-java_2.11-1.13.2.jar; 赠送原API文档:flink-streaming-java_2.11-1.13.2-javadoc.jar; 赠送源代码:flink-streaming-java_2.11-1.13.2-sources.jar; 赠送Maven依赖信息文件:flink-...

    Pro Spark Streaming(Apress,2016)

    Pro Spark Streaming walks you through end-to-end real-time application development using real-world applications, data, and code. Taking an application-first approach, each chapter introduces use ...

    structure-streaming原理与教程

    Structured Streaming 中的容错是指系统的错误处理机制。容错机制可以确保系统在遇到错误时能够继续运行。 DataFrame 和 DataSet 的 API Structured Streaming 提供了 DataFrame 和 DataSet 两种 API,用于处理...

    藏经阁-Auto Scaling Systems With Elastic Spark Streaming.pdf

    Auto Scaling Systems With Elastic Spark Streaming 本资源摘要信息主要介绍 Auto Scaling Systems With Elastic Spark Streaming 的知识点,涉及到流处理、Spark Streaming、Elastic Spark Streaming 和 Auto ...

Global site tag (gtag.js) - Google Analytics