文章列表
hadoop 的suse linux 安装及配置:
1.首先你需要从阿帕奇官网给出的链接下载到资源包:
http://www.apache.org/dyn/closer.cgi/hadoop/common/
2.根据官网的安装指导可以对下载包进行解压,安装和配置:
运行Hadoop集群的准备工作
解压所下载的Hadoop发行版。编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。
尝试如下命令:
$ bin/hadoop
将会显示hadoop 脚本的使用文档。
现在你可以用以下三种支持的模式中的一种启动Hadoop集群:
•单机模式 ...
优点:
1.可以充分利用pc资源,这是我个人了解之后觉得最大的优点了。现在的状况是PC属于个人,我们用的时候拿出来,不用的时候收起来。难么一天的大多数时候你的CPU,你的硬盘都是闲置的,世界上可是有千千万万甚至千千万万的千千万万的这样的pc呢,这个岂不是对资源的最大浪费吗?当云计算将很多闲置的pc整合到一起的时候,不让cpu这个计算机中最宝贵的资源闲置的时候,那么资源就得到了充分的利用,这个和以前学习的资源最大化利用的思想如出一辙。当大量的pc组成集群的时候,其实力也是不可小觑啊,站在这个角度看来服务器只不过是等价于几个或者是十几个pc的集合,我们这里确实有n多个pc.其威力较服务器而言就 ...
因为即将毕业设计的原因,刚好选的老师的毕设是“云计算”老师给出的课题是hadoop 中关于map-reduse 的实现源码和用例的探究;
云计算现在比较热的,或者说做的比较好的一些框架主要有:googl(不言而喻,最早提出云计算的boss),其次是亚马逊,微软,IBM,都有自己的一套框架。
初识“云计算”感到云计算缺点有,优点还是主流。这里自己把阅读相关的文献后自己的想法说明下:
缺点:
1.数据安全性,个人觉得这是最要命的缺点了,及时你是一家小公司,你会放心的将自己的数据上传到云端服务器保存吗?你最担心的其实不是数据丢失问题,而是数据在服务提供商的云端数据存储的服 ...
hadoop 则是apache下面的一个分布式计算模型(目前只是在linux实现,没有win实现),涉及主要内容:
1. Hadoop Distributed File System(HDFS) hadoop 文件系统;
2.MapReduce 引擎;进行key-value的匹配和过滤;(大型文件切割,分布,获取结果)
3. ZooKeeper:高性能协调服务,管理核心;
4.HBase:hadoop 数据库-nsql(not only sql)。
点击打开链接:http://hadoop.apache.org/
安装包下载点:
http://hadoop.apache.org/common/releases.html
hadoop 快速入门:
http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html#PreReqs