- 浏览: 1184160 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (350)
- Ajax研究 (2)
- javascript (22)
- struts (15)
- hibernate (12)
- spring (8)
- 我的生活 (28)
- jsp (2)
- 我的随笔 (84)
- 脑筋急转弯 (1)
- struts2 (2)
- ibatis (1)
- groovy (1)
- json (4)
- flex (20)
- Html Css (5)
- lucene (11)
- solr研究 (2)
- nutch (25)
- ExtJs (3)
- linux (6)
- 正则表达式 (2)
- xml (1)
- jetty (0)
- 多线程 (1)
- hadoop (40)
- mapreduce (5)
- webservice (2)
- 云计算 (8)
- 创业计划 (1)
- android (8)
- jvm内存研究 (1)
- 新闻 (2)
- JPA (1)
- 搜索技术研究 (2)
- perl (1)
- awk (1)
- hive (7)
- jvm (1)
最新评论
-
pandaball:
支持一下,心如大海
做有气质的男人 -
recall992:
山东分公司的风格[color=brown]岁的法国电视[/co ...
solr是如何存储索引的 -
zhangsasa:
-services "services-config ...
flex中endpoint的作用是什么? -
来利强:
非常感谢
java使用json所需要的几个包 -
zhanglian520:
有参考价值。
hadoop部署错误之一:java.lang.IllegalArgumentException: Wrong FS
一、环境
Hadoop 0.20.2、JDK 1.6、Linux操作系统
二、背景
上周五的时候,由于操作系统的原因,导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是,出问题的机器就是Master。当时心里就凉了半截,因为secondarynamenode配置也是在这个机器上(默认的,没改过)。不过万幸的是这个集群是测试环境,所以问题不大。借这个缘由,我将secondarynamenode重新配置到其他机器上,并做namenode挂掉并恢复的测试。
三、操作
1、关于secondarynamenode网上有写不错的文章做说明,这里我只是想说关键一点,它不是namenode的备份进程,说白了,namenode挂了,如果secondarynamenode没挂,很不幸,集群一样无法正常工作。这里有个文档翻译的很好,我链接一下:http://blog.csdn.net/AE86_FC/archive/2010/02/03/5284181.aspx
2、secondarynamenode一般来说不应该和namenode在一起,所以,我把它配置到了datanode上。配置到datanode上,一般来说需要改以下配置文件。conf/master、conf/hdfs-site.xml和conf/core-site.xml这3个配置文件,修改部分如下:
master:一般的安装手册都是说写上namenode机器的IP或是名称。这里要说明一下,这个master不决定哪个是namenode,而决定的是secondarynamenode(决定谁是namenode的关键配置是core-site.xml中的fs.default.name这个参数)。所以,这里直接写上你的datanode的IP或机器名称就可以了。一行一个。
hdfs-site.xml:这个配置文件要改1个参数:
0.0.0.0改为你的namenode的IP地址。
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
core-site.xml:这里有2个参数可配置,但一般来说我们不做修改。fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。fs.checkpoint.size表示一次记录多大的size,默认64M。
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers
a periodic checkpoint even if the fs.checkpoint.period hasn't expired.
</description>
</property>
3、配置检查。配置完成之后,我们需要检查一下是否成功。我们可以通过查看运行secondarynamenode的机器上文件目录来确定是否成功配置。首先输入jps查看是否存在secondarynamenode进程。如果存在,在查看对应的目录下是否有备份记录。如下图:
该目录一般存在于hadoop.tmp.dir/dfs/namesecondary/下面。
四、恢复
1、配置完成了,如何恢复。首先我们kill掉namenode进程,然后将hadoop.tmp.dir目录下的数据删除掉。制造master挂掉情况。
2、在配置参数dfs.name.dir指定的位置建立一个空文件夹; 把检查点目录的位置赋值给配置参数fs.checkpoint.dir; 启动NameNode,并加上-importCheckpoint。(这句话抄袭的是hadoop-0.20.2/hadoop-0.20.2/docs/cn/hdfs_user_guide.html#Secondary+NameNode,看看文档,有说明)
3、启动namenode的时候采用hadoop namenode –importCheckpoint
五、总结
1、secondarynamenode可以配置多个,master文件里面多写几个就可以。
2、千万记得如果要恢复数据是需要手动拷贝到namenode机器上的。不是自动的(参看上面写的恢复操作)。
3、镜像备份的周期时间是可以修改的,如果不想一个小时备份一次,可以改的时间短点。core-site.xml中的fs.checkpoint.period值
发表评论
-
Java并发编程总结---Hadoop核心源码实例解读
2012-04-01 15:46 2193程序设计需要同步(synchronization),原因:1) ... -
使用hadoop的lzo问题!
2011-08-24 17:12 2638使用lzo压缩替换hadoop原始的Gzip压缩。相比之下有如 ... -
Map/Reduce中的Combiner的使用
2011-07-07 08:36 4763一、作用 1、combiner最基本是实现本地key的聚合, ... -
Map/Reduce中的Partiotioner使用
2011-07-07 08:35 1870一、环境 1、hadoop 0.20.2 2、操作系统Li ... -
hadoop如何添加节点
2011-07-06 12:43 14901.部署hadoop 和普通的datanode一样。安装 ... -
hadoop如何恢复namenode
2011-07-06 12:36 8535Namenode恢复 1.修改conf/core-site.x ... -
Hadoop删除节点(Decommissioning Nodes)
2011-07-06 11:52 25721.集群配置 修改conf/hdfs-site.xml ... -
hadoop知识点整理
2011-07-06 11:51 26771. Hadoop 是什么? Hadoop 是一种使用 Ja ... -
喜欢hadoop的同学们值得一看
2011-07-03 15:50 2016海量数据正在不断生成,对于急需改变自己传统IT架构的企业而 ... -
hadoop优化
2011-07-03 15:43 1337一. conf/hadoop-site.xml配置, 略过. ... -
hadoop分配任务的问题
2011-05-16 23:09 5请教大家一个关于hadoop分配任务的问题: 1、根据机器 ... -
hadoop-FAQ
2011-05-15 11:38 725hadoop基础,挺详细的。希望对大家有用! -
Apache Hadoop 0.21版本新功能ChangeNode
2011-04-21 22:04 2000Apache Hadoop 0.21.0 在2010年8月23 ... -
Hadoop关于处理大量小文件的问题和解决方法
2011-04-21 11:07 2517小文件指的是那些size比 ... -
hadoop常见错误及解决办法!
2011-04-07 12:18 96470转: 1:Shuffle Error: Exceede ... -
Hadoop节点热拔插
2011-04-07 12:16 1634转 : 一、 Hadoop节点热 ... -
hadoop动态添加节点
2011-04-07 12:14 2012转: 有的时候, datanode或者tasktrac ... -
欢迎大家讨论hadoop性能优化
2011-04-06 15:42 1301大家知道hadoop这家伙是非常吃内存的。除了加内存哦! 如 ... -
hadoop错误之二:could only be replicated to 0 nodes, instead of 1
2011-02-22 08:23 2360WARN hdfs.DFSClient: NotReplic ... -
hadoop部署错误之一:java.lang.IllegalArgumentException: Wrong FS
2011-02-21 16:02 8749特别注意:hadoop的相关配置文件尽量使用主机名而不是ip地 ...
相关推荐
总结来说,Hadoop 3.0.0的安装和配置涉及到多个步骤,包括环境准备、安装依赖、配置文件修改和启动验证。每个环节都至关重要,需要仔细操作,确保所有步骤都正确无误,才能成功构建和运行Hadoop集群。
例如,使用`jps`命令查看各个节点上的进程,确认NameNode、SecondaryNameNode、JobTracker、TaskTracker和DataNode等关键服务是否正常运行。还可以通过`hadoop dfsadmin -report`命令查看HDFS的详细状态,包括总容量...
| ubuntu01 | 192.168.1.131 | SecondaryNameNode | | ubuntu02 | 192.168.1.132 | DataNode | | ubuntu03 | 192.168.1.133 | DataNode | | ubuntu04 | 192.168.1.134 | DataNode | #### 四、配置主机名 为了确保...
"Hadoop期末考试题总结" 本资源摘要信息主要介绍了Hadoop的相关知识点,涵盖了Hadoop的版本、4V特征、大数据存储、HDFS、MapReduce、SecondaryNameNode、Hadoop shell命令、集群管理工具等方面。 1. Hadoop的最高...
完成上述配置后,可以使用`sbin/start-dfs.sh`或`sbin/start-all.sh`命令启动Hadoop集群,并在每台虚拟机上执行`jps`命令来检查进程是否正常启动。在主节点上应能看到三个进程启动:Namenode、SecondaryNamenode和...
Hadoop 2.0.0版本之前,HDFS集群中只有一个NameNode,如果NameNode出现故障,集群将无法使用。这种单点故障的问题严重影响了Hadoop集群的可用性和稳定性。为了解决这个问题,Hadoop引入了HA配置。 二、HA架构原理 ...
然而,随着其功能的不断扩展和复杂性的增加,用户在使用过程中难免会遇到各种各样的问题。本文旨在通过对Hadoop运行痕迹的深入分析,帮助用户更有效地诊断和解决问题。 #### 二、Hadoop运行环境搭建 为了能够跟踪...
配置 Hadoop 的 Java 环境,包括设置 JAVA_HOME、HDFS_NAMENODE_USER、HDFS_DATANODE_USER、HDFS_SECONDARYNAMENODE_USER 等环境变量。 2.4 配置 core-site.xml 配置 core-site.xml 文件,包括设置 fs.defaultFS ...
#### 八、总结 通过以上步骤,我们可以成功地在一个由三台主机组成的集群上部署了一个Hadoop伪分布式环境。这种模式虽然不是完全意义上的分布式,但它提供了足够的灵活性来测试和验证Hadoop的各种功能,同时也能够...
如果你使用的是Ubuntu系统,可以参考专门针对Ubuntu的Hadoop安装教程。此外,需要创建一个名为"hadoop"的用户,以便后续的配置和操作。通过以下命令创建用户: ```bash su useradd -m hadoop -s /bin/bash passwd ...
- **配置环境变量**:通过编辑`~/.bashrc`文件,设置JAVA_HOME等环境变量,并使用`source ~/.bashrc`命令使更改立即生效。 3. **Hadoop的安装与配置**: - **Hadoop安装**:从官方网站下载Hadoop压缩包,并将其...
接着,配置MySQL并创建Hive使用的元数据数据库。最后,修改Hive配置文件并开启Hive服务。 9. Spark安装: - Spark是一个快速的分布式计算系统,提供了一个高层次的API来操作分布式数据集。在安装Spark时,需要修改...
首先,Hadoop环境的搭建是使用Hadoop的基础。在描述中提到了一个基于CDH5.14.0的伪分布式环境搭建步骤,这通常包括解压Hadoop安装包、安装依赖库(如openssl-devel)、修改配置文件、创建数据存储目录、分发安装包和...
#### 六、总结 通过上述内容的学习,我们可以了解到Hadoop不仅仅是一个简单的分布式文件系统,而是一个包含了复杂配置与管理机制的综合解决方案。掌握这些配置知识对于有效地部署和维护Hadoop集群至关重要。随着...
包括环境配置、Hadoop安装、配置文件修改、启动服务等步骤,确保所有节点能正常通信并协同工作。 3.2 HDFS命令及pyhdfs API HDFS提供了一套命令行工具用于文件操作,pyhdfs是Python的HDFS API,方便在Python程序中...
总结来说,Spark on Yarn的安装部署涉及到多个环节,包括环境配置、资源管理器的设置、集群启动以及应用的提交和监控。每个步骤都需要仔细操作,以确保Spark能够有效地在Hadoop集群上运行。通过这个实验,不仅可以...