eclipse下hadoop开发
java project
eclipse设置run configuration
1.java Application
2.右键new一个新的application
3.main-project:picjava main class:选择当前java文件
4.program argument:/usr/local/***.** hdfs://liuying005:9000/***.**
5.在hdfs服务器上建个目录。给这个目录授权。
选择javaproject右键选中export 选择runnable jar file
launch configuration 选择要编译的那个java文件
export destination 选择需要保存的路径和名称
需要给jar建一个目录,给它授权。
测试一下:
java -jar uploadfile.jar ./uploadfile.jar hdfs://liuing005:9000/uploadfile.jar
cp *.jar /var/www/picdemo/webpage
接入php程序执行后,无法加载服务器,查询hadoop-root-namenode-liuying005.log
2013-09-06 14:13:42,531 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user webuser
2013-09-06 14:13:42,545 WARN org.apache.hadoop.security.ShellBasedUnixGroupsMapping: got exception trying to get groups for user webuser
org.apache.hadoop.util.Shell$ExitCodeException: id: webuser:无此用户
修改hadoop下文件夹的所有者 hadoop fs -chown www-data /upload/
上述错误是因为java编译问题,把路径改为java的全路径就好了。
分享到:
相关推荐
在Ubuntu操作系统中,Hadoop是Apache软件基金会开发的一个开源分布式计算框架,用于处理和存储大量数据。Hadoop的运行效率和性能与它的本机库(Native Libraries)紧密相关,这些库提供了与操作系统的直接交互,比如...
Hadoop是由Apache软件基金会开发的,它基于Java语言,实现了MapReduce编程模型和分布式文件系统HDFS(Hadoop Distributed File System)。Hadoop的核心组件包括HDFS、MapReduce和YARN(Yet Another Resource ...
在Ubuntu 12.04系统中,如果你需要将32位的Hadoop 2.2.0编译成64位,以下是一份详细的步骤指南。首先,确保你的系统支持64位编译,并且你已经具备了必要的权限。 1. **安装GCC**: 在编译任何软件之前,你需要安装...
- **编译错误**:阅读错误信息,定位问题所在,可能需要修改源代码或调整编译参数。 - **硬件资源不足**:增加内存或CPU资源,或者调整Maven的JVM参数。 解决这些问题后,你就能成功编译并运行Hadoop2.7.3。对于...
在Linux环境下编译Hadoop 2.7.4是一个涉及多步骤的过程,它不仅需要对Hadoop本身有深入的理解,还要求对Linux操作系统和相关工具如Ant、Maven以及Protobuf有一定的熟悉。以下是对这个过程的详细阐述: 首先,我们...
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务,它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础...
本文将深入探讨关于“hadoop2.8.1 64bit native 编译”的相关知识点,帮助你理解如何在64位环境下编译Hadoop的本地库。 1. **Hadoop Native Libraries**: Hadoop的Native Libraries是一组C/C++编写的库,它们提供...
- **集成开发环境(IDE)**: Eclipse是Java开发的主流工具,通过Eclipse Hadoop Plugin,开发者可以在熟悉的环境中进行Hadoop项目开发。 - **项目构建**: 插件支持创建MapReduce项目,自动配置必要的构建路径和...
要进行Hadoop开发,至少需要掌握Java的基础知识。Java基础知识包括: - 面向对象编程(OOP):理解Java语言中的类、对象、继承、多态等概念。 - Java集合框架:熟悉Java标准库中的集合类,如List、Set、Map等。 - ...
总的来说,这篇文章详细介绍了如何在不使用MATLAB官方支持的Hadoop集成工具的情况下,通过MCR和Java在Hadoop集群上执行MATLAB程序。这种方法对于那些已经拥有MATLAB编译器运行时但没有MATLAB完整版本的用户来说,是...
- 使用Maven或Ant等工具编译Java程序。 - **运行** - 在Hadoop集群环境中运行Java程序。 #### 八、在Linux下安装ZooKeeper - **目的**:为Hadoop提供分布式协调服务。 - **步骤**: - **下载并解压**:从官方...
然后,在 `spark-1.5.0` 目录下可以看到 `spark-1.5.0-bin-custom-spark.tgz`,这是我们编译好的 Spark,相当于我们直接在官网下载的预编译版本。 五、设置 SSH 无密码登录 `#sudo apt-get install openssh-server...
总的来说,"jdk-8u25-linux-x64.tar.gz"是Oracle针对Linux 64位系统提供的一个JDK版本,对于任何需要在Linux环境下开发Java应用的开发者来说,它是必不可少的工具。通过安装和配置这个包,开发者能够享受到Java的跨...
同时,需要检查 glibc 的版本问题,如果在高版本 gcc(glibc)的机器上编译的 native 库, 放到低版本的机器上使用,会由于 glibc 版本不一致导致该错误。 三、maps 到 localhost maps 到 localhost 是 Hadoop ...
2. Java:Java运行环境(JRE)和Java开发工具包(JDK)是必备的,因为大多数大数据框架如Hadoop、Spark等依赖Java。 3. Hadoop:Hadoop是大数据处理的基础框架,包括HDFS(分布式文件系统)和MapReduce(分布式计算...
如果在高版本 GCC(GLIBC)的机器上编译的 native 库,放到低版本的机器上使用,会由于 GLIBC 版本不一致导致该错误。 Maps to localhost 问题 Maps to localhost 问题的原因是 DNS 服务器把 192.168.x.x 的地址都...
Spark支持多种编程语言(如Scala、Java、Python等),并且能够与Hadoop生态系统的其他组件无缝集成。 #### 二、Spark入门学习目标 本教程旨在帮助初学者快速掌握Spark的基本概念和操作方法,并通过实践项目加深...