博客首页 → hadoop入门

最新文章列表

hadoop分布式配置（服务器系统为centos5,配置时使用的用户是root）

        目前我们使用的是hadoop的核心功能，在hadoop的网站上就是hadoop-core，里面包括两个部分，一个是HDFS，也就是hadoop distributed filesysem.一个是mapred，一个map/reduce的框架。 在hadoop的架构中，对于hdfs，存在一个namenode，多个datanode，namenode存储的是各个datanode的元数据，比 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有682人浏览 2012-04-15 22:58

hadoop主节点（NameNode）备份策略以及恢复方法

from: http://jiajun.javaeye.com/blog/809125 一、dits和fsimage   首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。 那么问题来了，只有在名称 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有816人浏览 2012-04-14 21:19

Hadoop之安装配置及测试案例

关于hadoop的一些介绍和原理，在此不做任何描述，只讲实际应用。对于Hadoop来说，在HDFS看来，节点分为Namenode 和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和 Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。在此，所有的节点我都部署在一台机器上的。1 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1042人浏览 2012-04-14 21:19

配置hadoop和nutch

              这个东西在linux下面配置，写文件权限是最开始可能会遇到的问题，主要应该把默认的tmp目录配置到可写目录里面；之后可能就会遇到socket访问类似的错误，这主要是因为fs.default.name配置参数的问题，使用hdfs://localhost类似的串代替就好了；再有的问题就是网络访问授权的问题，使用ssh-keygen使得可以不用密码就可以正常运行#sshloca ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有954人浏览 2012-04-14 21:19

Windows下使用ant编译hadoop的各种小问题

      之前有同学已经写过非常详细的windows下如何编译hadoop的文档（参见《Hadoop开发者入门专刊》）。           1、关于hadoop的SVN下载。用给匿名用户（Anonymous Access (read-only)）使用的SVN库的URL（ ht tp://svn.apache.org/repos/asf/hadoop/common/
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有2229人浏览 2012-04-12 22:00

hadoop dfs的小技巧

在测试hadoop的dfs的各种命令的时候，突然发现dfs -rmr支持通配符操作（前提是要在hadoop的bin目录下执行） 补充点：ls cat也支持通配符的   例如执行ls后有如下文件  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有942人浏览 2012-04-12 22:00

Hadoop安装问题处理备忘

前几天在Window和Linux主机安装了Hadoop，版本是hadoop-0.21.0，出现了一些环境的问题，记录一下，做下备忘   1. cygwin启动Hadoop时候，总是报以下异常： java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName 问题分析：出现该错误通常是找不到Main函数，而Hadoo ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有942人浏览 2012-04-12 22:00

运行Hadoop遇到的问题

运行Hadoop遇到的问题 1, 伪分布式模式不能用root??        以root执行start-all.sh出现        localhost: Unrecognized option: -jvm        localhost: Could not create the Java virtual machine.        下面是别人的解决方案：（可以 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有943人浏览 2012-04-12 22:00

分布式计算开源框架Hadoop入门实践（二）

其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实 也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里 主要重点说一下集群配置运行的过程。
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有723人浏览 2012-04-08 09:50

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics