`
lookqlp
  • 浏览: 346084 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

如何提示mapreduce,查看systemout信息

 
阅读更多
又折腾了大半天,只解决了一半的问题吧。
已经解决部分:
可以通过web查看运行job的systemout及其他信息
访问地址http://ip:50030,找到相应job往下查即可。
最后有
stdout logs hello world!
信息。即为systemout输出信息。


通过查询hadoop官方文档,集群搭建部分可以看到logging部分,有关hadoop的日志配置信息。


未解决部分:在map或者reduce函数上写io将一些必要信息进行落地成文本,可执行成功,但文件未能参见也未能写入信息,io具体写法如下:
File dir = new File("/root/bin/qiulp");
			if (!dir.exists()) {
				dir.mkdir();
			}
			File file = new File("/root/bin/qiulp/log.txt");
			BufferedWriter writer = new BufferedWriter(new FileWriter(file));
			writer.write(valuses);
			writer.close();

在windows eclipse远程连linux hadoop运行环境下没能写入文件。经过其他人其他测试环境下成功。不知道本环境为何不成功(本环境所有东西都装在root用户下,包括java环境)。求高手帮我看看。



终于解决了。io写的目录与运行的mapreduce有关,在哪个node上运行的,输出将会在哪个目录。所以没有在name节点上

同样了job日志也此。若配置一下hadoop.job.history.location 或者hadoop.log.dir可否将日志调整到name节点上,还没测试过
分享到:
评论

相关推荐

    大数据、大数据处理模型及MapReduce

    后来,Apache Hadoop开源项目实现了这一框架,包含HDFS(Hadoop Distributed File System)和MapReduce两个核心组件,成为处理大数据的重要工具。 MapReduce是一种编程模型,用于处理大规模数据集的分布式计算。它...

    Hadoop中的HDFS和Mapreduce

    Hadoop的核心组件包括**HDFS(Hadoop Distributed File System)** 和 **MapReduce**。 ##### Hadoop Distributed File System (HDFS) - **技术背景**:随着互联网数据量的爆炸性增长,传统的文件存储系统已难以...

    数据存储实验5-编写MapReduce程序实现词频统计.doc(实验报告)

    System.err.println("Usage: wordcount <in> [<in>...] <out>"); System.exit(2); } Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(WordCount....

    基于MapReduce的Apriori算法代码及其使用

    System.out.println(values[1] + "," + dd.length); int[] result; String output = ""; for (int j = 1; j ; j++) { Combination c = new Combination(j + 1, dd.length); while ((result = c.next()) != ...

    mapreduce与drools整合代码

    System.out.println($customer.getName() + " is not allowed to purchase alcohol."); end ``` 在这个例子中,如果Customer对象的age属性小于18,规则引擎就会触发相应的动作,输出一条消息。 在MapReduce中集成...

    Hadoop大数据处理技术-java操作MapReduce(实验报告完整版).doc

    - 使用`System.out.println()`进行调试,确保数据正确读取。 - 考虑温度的正负情况,避免误处理。 - 排除异常值“+9999”,确保数据质量。 - 经过Map阶段处理后,将数据按月份分组,形成键值对形式`<月份, 温度...

    第9节、MapReduce练习1

    System.out.println("Congratulations!"); } } } ``` 通过这种方式,MapReduce能够高效地处理大量网络流量数据,计算每个用户的总流量。这种实践有助于在大数据场景下实现复杂的数据分析任务,例如流量监控、...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第9期_MapReduce初级案例 共43页.pdf

    System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf, "data deduplication"); job.setJarByClass(Dedup.class); job.setMapperClass(TokenizerMapper....

    Hadoop的MapReduce中多文件输出.pdf

    Hadoop 的 MapReduce 框架中,默认的输出格式是 TextOutputFormat,这种格式的输出文件名不可定制。在 Hadoop 0.19.X 版本中,提供了一个 org.apache.hadoop.mapred.lib.MultipleOutputFormat 类,可以输出多份文件...

    第二章 分布式文件系统HDFS+MapReduce(代码实现检查文件是否存在&WordCount统计).docx

    System.out.println("文件不存在"); } } catch (Exception e) { e.printStackTrace(); } } } ``` 这个程序会检查指定的HDFS路径下是否存在名为`README.txt`的文件,并根据结果打印相应的消息。 【WordCount...

    阿里云E-MapReduce-SDK手册-D.docx

    System.out.println("Cluster creation result: " + response.toString()); } catch (Exception e) { e.printStackTrace(); } } ``` 在`CreateClusterRequest`中,你可以设置集群的区域ID、名称、安全组ID等...

    大数据知识、面试题 HDFS、Mapreduce、hive

    System.out.println("删除成功.."); ``` **1.4 NameNode 删除文件** NameNode删除文件的过程涉及几个关键步骤: 1. **客户端发起删除请求**:客户端通过`ClientProtocol.delete(String, boolean)`方法请求删除...

    hadoop 2.9.0 mapred-default.xml 属性集

    5. mapreduce.jobtracker.system.dir 作业追踪器(JobTracker)用于存储内部信息的目录,通常是HDFS上的一个路径。 6. mapreduce.jobtracker.staging.root.dir 用于存储作业提交目录的根目录。 7. mapreduce....

    java大数据作业_4Zookeeper

    System.out.println("客户端信息: " + clientInfo); ``` 其中,"localhost:2181"是Zookeeper服务器地址,3000是超时时间,Watcher用于监听Zookeeper事件。 3. **Zookeeper实现FIFO队列**: Zookeeper可以使用...

    hadoop1.2.1修改WordCount并编译

    在 map 函数中,我们还使用 System.out.print 语句来输出调试信息,以便在控制台上查看程序的执行过程。 在 IntSumReducer 中,我们使用一个可变的整数值来累加每个单词的出现次数,并将最终结果输出到控制台上。在...

    Hadoop源码分析 完整版 共55章

    - **Google核心技术**:Hadoop的设计理念很大程度上受到了Google一系列核心技术的影响,包括Google File System (GFS)、BigTable以及MapReduce等。这些技术为Google构建了强大的数据中心基础设施。 - **Hadoop的诞生...

    apache日志hadoop大数据分析项目:清洗数据核心功能解说及代码实现

    System.out.println("Access Time: " + dateField); System.out.println("URL: " + urlField); System.out.println("Browser: " + browserField); } public static void main(String[] args) { try { ...

    Pro Apache Hadoop(Apress,2ed,2014)

    All the old content has been revised too, giving the latest on the ins and outs of MapReduce, cluster design, the Hadoop Distributed File System, and more. This book covers everything you need to ...

    hadoop-2.2.0-src.tar

    YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services High Availability for HDFS HDFS Federation HDFS Snapshots NFSv...

Global site tag (gtag.js) - Google Analytics