hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境
如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop
cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、ssh等。安装时需要在默认基础上多选一个ssh,hadoop运行需要这个命令
装完cygwin,配置并启动好sshd,然后,不要再用cygwin那个破界面了,用scrt之类的工具ssh到localhost吧,cygwin的控制台都不能复制粘贴。。。
有了shell环境,再来简单设置一下hadoop,最简单的单机运行,只要在默认解压出来的hadoop/conf/hadoop-site/xml 里加上3个属性:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
还有一个JAVA_HOME 这个环境变量要改改,改成cygwin 环境能访问到的路径,即:D:\jdk 改成 /cygdrivers/d/jdk
不用在你的系统环境变量里改,在 hadoop/conf/hadoop-env.sh 里指定一下就可以了
然后
hadoop/bin/hadoop namenode -format 格式化一个dfs
hadoop/bin/start-all.sh 启动服务,ok了
分享到:
相关推荐
这些配置文件定义了Hadoop的运行环境参数,如名称节点(NameNode)和数据节点(DataNode)的地址、块大小、复制因子等。 #### 结论 Hadoop作为一套成熟的分布式计算框架,不仅解决了大数据处理中的可扩展性和容错...
Eclipse使用指导是Hadoop大数据处理中重要的一部分,Eclipse是一个集成开发环境,读者需要熟练掌握Eclipse的使用以便更好地进行Hadoop大数据处理。 1. 启动Eclipse:用于启动Eclipse 2. 选择工作空间:用于选择...
例如,亚马逊AWS利用Hadoop开发了Amazon S3,提供了一个简单、快速且可扩展的网络存储服务,让用户能够存储和检索任意数量的数据,随时随地,无需担心容量限制。同时,雅虎开发的Pig项目,也是基于Hadoop,用于简化...
Hadoop作为一个开源的分布式计算框架,通常部署在Linux操作系统上,因为Linux提供了稳定且可定制化的底层支持。本实验主要目的是让学生熟悉Linux基本操作和Hadoop的基本使用,为后续的大数据处理实验打下坚实的基础...
6. **多线程**:Java支持并发执行,允许在一个程序中同时运行多个独立的任务或线程,这对于开发复杂的应用程序至关重要,特别是在需要处理大量用户请求的网络服务中。 7. **动态性**:Java的动态链接特性允许代码在...
DEEP learning System的逆序)是一个为通用硬件设计的并行深度学习系统。SpeeDO不需要特殊的I/O硬件,支持CPU/GPU集群,因此可以很方便地在各种云端环境上部署,如AWS、Google GCE、Microsoft Azure等等。SpeeDO采用...