其中一段简单的编码;
其中搭建Hadoop环境要比现在这段代码要复杂得多了。
/*
* To change this template, choose Tools | Templates
* and open the template in the editor.
*/
package com.xiva.baseKnowledge;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
*
* @author Xiva
*/
public class HadoopMain {
public static void createFloder(){
String uri = "hdfs://localhost:8889/xiva";//args[0];
Configuration conf = new Configuration();
//
//conf.set("hadoop.job.ugi", "xiva, 123");
//
FileSystem fs = null;
try {
Path path = new Path(uri);
fs = FileSystem.get(URI.create(uri), conf);
//fs.delete(path, true);
fs.mkdirs(path);
} catch (IOException e) {
// TODO Auto-generated catch block
} finally {
IOUtils.closeStream(fs);
}
}
public static void main(String[] args) {
// String queryString = " WHERE e.value.\"passtime\" <= $1";
// String q = queryString.replaceFirst("\\$1","2012-04-25");
// System.out.println(q);
}
}
放下好久了,希望以后还有研究的机会。
分享到:
相关推荐
- **添加tmp文件夹**:在Hadoop根目录下创建tmp文件夹。 - **拷贝hadoop.dll**:将hadoop.dll复制到系统目录C:\Windows\System32。 - **格式化Namenode**:以管理员身份运行命令行,执行`hdfs namenode -format`...
Python 中的 Hadoop Mapreduce 示例 python 中的几个 Mapreduce 示例以及有关运行它们的文档! 运行代码的步骤 文件夹结构 假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。 ...
在Hadoop目录下创建`input`文件夹,放入文本文件,然后运行WordCount示例: ```bash mkdir input cp README.txt input bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources....
- 解压缩下载的eclipse.rar和hadoop.rar,生成eclipse和hadoop两个文件夹。 - 在eclipse目录下启动Eclipse,点击`Window -> Preferences`,选择`Hadoop Map/Reduce`。 - 点击`Browse`,选择解压后的hadoop目录,...
标题中的“Hadoop2.2.0环境测试详细傻瓜说明”表明了本文将要讨论的是关于Hadoop 2.2.0版本的环境配置和简单的应用测试,特别是针对新手的指南。描述中的“配置以后的一些测试,wordcount啥的,有信心的就不用下了”...
解压`hadoop-common-2.2.0-bin-master.zip`文件到一个合适的目录,比如`C:\hadoop`,并创建一个名为`hadoop`的文件夹作为Hadoop的工作目录,如`C:\hadoop\hadoopdata`。 配置Hadoop环境变量至关重要。在系统环境...
8. **运行WordCount示例**:Hadoop提供了一个简单的WordCount程序,可以用来测试集群是否正常工作。编译并运行这个示例,查看结果以确认Hadoop的MapReduce部分是否工作正常。 Hadoop标签还提到了“大数据”,这意味...
通过运行简单的WordCount示例,验证Hadoop集群是否正确配置和运行。 8. **维护与优化** 学习监控Hadoop集群的性能,调整参数以适应不同的工作负载,如增加DataNode的内存分配,优化网络通信等。 总之,Hadoop的...
WordCount是Hadoop中最经典的示例程序之一,用于统计文本文件中每个单词出现的次数。 1. **执行WordCount任务**: - 使用Hadoop提供的`bin/hadoop jar`命令运行WordCount任务,将`input`目录作为输入源,`output`...
接着使用Hadoop的命令行工具在HDFS上创建目录`/tmp/wordcount`,并通过`copyFromLocal`命令将本地的`word1.txt`文件复制到HDFS上。 3. **配置运行参数** 在新建的项目`WordCount`中找到`WordCount.java`,右键...
为了验证Hadoop安装成功,可以运行一个简单的MapReduce示例: ```bash hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output ``` 这里,`input`是输入目录,`output`是...
创建文件夹(如果不存在)并执行 `tar -zxvf hadoop-0.21.0.tar.gz -C /usr/hadoop` 来完成解压。 进入 Hadoop 的配置阶段,你需要修改 `/usr/hadoop/hadoop-0.21.0/conf` 目录下的配置文件。首先,编辑 `hadoop-...
解压完成后,进入 Hadoop 的配置文件夹 `conf`,修改 `hadoop-env.sh` 文件,设置正确的 JDK 路径。例如,将原本的 `#export JAVA_HOME=/usr/lib/j2sdk1.5-sun` 修改为: ```sh export JAVA_HOME=/cygdrive/D/...
最后,可以通过执行Hadoop自带的WordCount示例程序来验证Hadoop是否安装成功。 1. **创建输入目录**: ```bash mkdir input ``` 2. **复制测试文件**: ```bash cp README.txt input ``` 3. **执行...
通过上述步骤,您应该能够在Windows环境下成功搭建起一个基本的Hadoop分布式集群,并具备运行简单示例的能力。这不仅有助于理解Hadoop的工作原理,还能够为进一步深入学习和应用Hadoop打下坚实的基础。
解压后,将文件夹移动到一个合适的位置,如/usr/local/,并创建一个名为“hadoop”的软链接: ``` sudo mv hadoop-2.6.0 /usr/local/hadoop sudo ln -s /usr/local/hadoop /usr/local/hadoop-current ``` 五、配置...
在虚拟机中安装 VMware Tools 可以创建一个共享文件夹,方便在主机和虚拟机之间传输文件。 3. **配置 Java 环境**: - 下载并解压 JDK 至共享文件夹。 - 更新 `profile` 文件,添加 JDK 的路径,并保存(例如:`...