`
xiang37
  • 浏览: 428300 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Hadoop简单示例之创建文件夹

 
阅读更多

其中一段简单的编码;

 

其中搭建Hadoop环境要比现在这段代码要复杂得多了。

 

/*
 * To change this template, choose Tools | Templates
 * and open the template in the editor.
 */
package com.xiva.baseKnowledge;

import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 *
 * @author Xiva
 */
public class HadoopMain {

    public static void createFloder(){
        String uri = "hdfs://localhost:8889/xiva";//args[0];
        Configuration conf = new Configuration();
        //
        //conf.set("hadoop.job.ugi", "xiva, 123");
        //
        
        FileSystem fs = null;
        try {
            Path path = new Path(uri);
            fs = FileSystem.get(URI.create(uri), conf);
            //fs.delete(path, true);
            fs.mkdirs(path);
        } catch (IOException e) {
            // TODO Auto-generated catch block
        } finally {
            IOUtils.closeStream(fs);
        }
    }
    
    
    public static void main(String[] args) {
        
//        String queryString = " WHERE e.value.\"passtime\" <= $1";
//        String q = queryString.replaceFirst("\\$1","2012-04-25");
//        System.out.println(q);
        
    }
}
 放下好久了,希望以后还有研究的机会。
分享到:
评论

相关推荐

    使用hadoop实现WordCount实验报告.docx

    - **添加tmp文件夹**:在Hadoop根目录下创建tmp文件夹。 - **拷贝hadoop.dll**:将hadoop.dll复制到系统目录C:\Windows\System32。 - **格式化Namenode**:以管理员身份运行命令行,执行`hdfs namenode -format`...

    hadoop-mapreduce-examples-python:python中的所有Hadoop Mapreduce示例!

    Python 中的 Hadoop Mapreduce 示例 python 中的几个 Mapreduce 示例以及有关运行它们的文档! 运行代码的步骤 文件夹结构 假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。 ...

    Ubuntu下创建hadoop组和hadoop用户.docx

    在Hadoop目录下创建`input`文件夹,放入文本文件,然后运行WordCount示例: ```bash mkdir input cp README.txt input bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources....

    Hadoop集群服务器与本地连接

    - 解压缩下载的eclipse.rar和hadoop.rar,生成eclipse和hadoop两个文件夹。 - 在eclipse目录下启动Eclipse,点击`Window -&gt; Preferences`,选择`Hadoop Map/Reduce`。 - 点击`Browse`,选择解压后的hadoop目录,...

    Hadoop2.2.0环境测试详细傻瓜说明

    标题中的“Hadoop2.2.0环境测试详细傻瓜说明”表明了本文将要讨论的是关于Hadoop 2.2.0版本的环境配置和简单的应用测试,特别是针对新手的指南。描述中的“配置以后的一些测试,wordcount啥的,有信心的就不用下了”...

    win7 hadoop

    解压`hadoop-common-2.2.0-bin-master.zip`文件到一个合适的目录,比如`C:\hadoop`,并创建一个名为`hadoop`的文件夹作为Hadoop的工作目录,如`C:\hadoop\hadoopdata`。 配置Hadoop环境变量至关重要。在系统环境...

    hadoop-2.8.5.tar.gz

    8. **运行WordCount示例**:Hadoop提供了一个简单的WordCount程序,可以用来测试集群是否正常工作。编译并运行这个示例,查看结果以确认Hadoop的MapReduce部分是否工作正常。 Hadoop标签还提到了“大数据”,这意味...

    hadoop 安装部署手册

    通过运行简单的WordCount示例,验证Hadoop集群是否正确配置和运行。 8. **维护与优化** 学习监控Hadoop集群的性能,调整参数以适应不同的工作负载,如增加DataNode的内存分配,优化网络通信等。 总之,Hadoop的...

    ubuntu运行hadoop的wordcount

    WordCount是Hadoop中最经典的示例程序之一,用于统计文本文件中每个单词出现的次数。 1. **执行WordCount任务**: - 使用Hadoop提供的`bin/hadoop jar`命令运行WordCount任务,将`input`目录作为输入源,`output`...

    基于eclipse的hadoop应用开发

    接着使用Hadoop的命令行工具在HDFS上创建目录`/tmp/wordcount`,并通过`copyFromLocal`命令将本地的`word1.txt`文件复制到HDFS上。 3. **配置运行参数** 在新建的项目`WordCount`中找到`WordCount.java`,右键...

    Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61

    为了验证Hadoop安装成功,可以运行一个简单的MapReduce示例: ```bash hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output ``` 这里,`input`是输入目录,`output`是...

    CentOS下单机配置hadoop

    创建文件夹(如果不存在)并执行 `tar -zxvf hadoop-0.21.0.tar.gz -C /usr/hadoop` 来完成解压。 进入 Hadoop 的配置阶段,你需要修改 `/usr/hadoop/hadoop-0.21.0/conf` 目录下的配置文件。首先,编辑 `hadoop-...

    windows下安装云计算环境hadoop的完整步骤

    解压完成后,进入 Hadoop 的配置文件夹 `conf`,修改 `hadoop-env.sh` 文件,设置正确的 JDK 路径。例如,将原本的 `#export JAVA_HOME=/usr/lib/j2sdk1.5-sun` 修改为: ```sh export JAVA_HOME=/cygdrive/D/...

    hadoop 单机安装

    最后,可以通过执行Hadoop自带的WordCount示例程序来验证Hadoop是否安装成功。 1. **创建输入目录**: ```bash mkdir input ``` 2. **复制测试文件**: ```bash cp README.txt input ``` 3. **执行...

    hadoop分布式平台搭建手册

    通过上述步骤,您应该能够在Windows环境下成功搭建起一个基本的Hadoop分布式集群,并具备运行简单示例的能力。这不仅有助于理解Hadoop的工作原理,还能够为进一步深入学习和应用Hadoop打下坚实的基础。

    hadoop-2.6.0.tar

    解压后,将文件夹移动到一个合适的位置,如/usr/local/,并创建一个名为“hadoop”的软链接: ``` sudo mv hadoop-2.6.0 /usr/local/hadoop sudo ln -s /usr/local/hadoop /usr/local/hadoop-current ``` 五、配置...

    hadoop2.6.5伪分布式搭建

    在虚拟机中安装 VMware Tools 可以创建一个共享文件夹,方便在主机和虚拟机之间传输文件。 3. **配置 Java 环境**: - 下载并解压 JDK 至共享文件夹。 - 更新 `profile` 文件,添加 JDK 的路径,并保存(例如:`...

Global site tag (gtag.js) - Google Analytics