- 浏览: 46481 次
- 性别:
- 来自: 重庆
最新评论
-
LinApex:
你好,朋友,有没有考虑过? 前端控制器,就是 Apache 挂 ...
Apache+Tomcat集群 -
developerinit:
very good
java内存机制 -
developerinit:
very good
使用sqoop将MySQL数据库中的数据导入Hbase -
everist:
3.如果在新增了节点或者删除节点的时候出现了问题,首先就去删除 ...
hadoop集群配置--成功运行
文章列表
目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。存储根据服务器类型可以分为:封闭系统的存储和开放系统的存储:
(1)封闭系统主要指大型机.
(2)开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;
Builder - 创建者模式
- 博客分类:
- java设计模式
对于Builder模式很简单,但是一直想不明白为什么要这么设计,为什么要向builder要Product而不是向知道建造过程的Director要。刚才google到一篇文章,总算清楚了。在这里转贴一下这位richardluo的比喻。简单地说,就好象我要一座房子住,可是我不知道怎么盖(简单的砌墙,层次较低),也不知道怎么样设计(建几个房间,几个门好看,层次较 高),于是我需要找一帮民工,他们会砌墙,还得找个设计师,他知道怎么设计,我还要确保民工听设计师的领导,而设计师本身也不干活,光是下命令,这里砌一 堵墙,这里砌一扇门,这样民工开始建设,最后,我可以向民工要房子了。在这个过程中,设计师是什么也 ...
安装依赖
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/zlib-devel-1.2.3-3.x86_64.rpm
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/freetype-devel-2.2.1-28.el5_5.1.x86_64.rpm
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/libart_lgpl-devel-2.3.17-4.x86_64. ...
1.修改conf/core-site.xml
增加
<
property
>
<
name
>
fs.checkpoint.period</
name
>
<
value
>
3600</
value
>
<
description
>
The number of seconds between two periodic checkpoints. </
description
>
</
property
...
听讲XEN很快就要从LINUX内核中去掉,redhat和Ubuntu也大力的在推广KVM,所以在Ubuntu下整了一下KVM,相当容易使用,基本比Vmware还要容易,但性能好上很多倍,因为他是半虚拟的,很大程序上可以直接使用真实的硬件.
RedHat 红帽CTO Brian Steven在一次记者招待会说:“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过渡.我们将在Red Hat 6中全面使用KVM,但KVM目前已经准备就绪,完全可以正式投入到数据中心和云中,不用再等待了!”
KVM要使用2.6.20以上的内核才行.Ubuntu到是不用担心 ...
本文Apache+Tomcat集群配置 基于最新的Apache和Tomcat,具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。
准备环境
Apache
Apache
是
http
服务器,我们利用其对
Tomcat
进行负载均衡。目前最新版本为
2.2.17
,下载地址为
http://httpd.apache.org/download.cgi#apache22
。如下图:
目前已经出现
Apache2.3.11
,但是为
beta
版本,所以没有使用。
...
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器
上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟
datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式
化,启动时自动创建
同一个datanode上的每个磁盘上的块不会重复,不同datanode之间的块才可能重复
一些文件的说明:
1、dfs.hosts 记录即将作为datanode加入 ...
四、安全模式属性说明
1、dfs.replication.min 类型:int 默认值:1 说明:设置最小副本级别,成功执行写操作所需要创建的最少副本数目(也就是最小复本级别)
2、
dfs.safemode.threshold.pct 类型:float 默认值:0.999
说明:在 ...
1,hive首先要起动远程服务接口,命令:
nohup hive –service hiveserver &
2,java工程中导入相应的需求jar包,列表如下:
antlr-runtime-3.0.1.jar
hive-exec-0.7.1.jar
hive-jdbc-0.7.1.jar
hive-metastore-0.7.1.jar
hive-service-0.7.1.jar
jdo2-api-2.3-ec.jar
libfb303.jar
3,简单测试代码,已经测试成功操作
package com.javabloger.hive ...
一 机器
192.168.0.203 hd203: hadoop namenode & hbase HMaster
192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper
192.168.0.205 hd205: hadoop datanode & hbase HRegionServer & zookeeper
192.168.0.206 hd206: hadoop datanode & hbase HRegionServer & zook ...
sqoop安装及数据迁移
- 博客分类:
- 云计算--hadoop
下载sqoop
[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz
wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubating__hadoop-0.20.tar.gz
同步各个节点时间
详见 http://zhengzhuangjie.iteye.com/blog/1409336
...
前提:安装好 sqoop、hbase。
下载jbdc驱动:mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令:
sqoop import --connect jdbc:mysql://10.10.97.116:3306/rsearch --table
researchers --hbase-table A --column-family person --hbase-row-key id
--hbase-crea ...
hadoop 集群升级失败记录
- 博客分类:
- 云计算--hadoop
一.错误概述
因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop
0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version
=>
-32version(这个是dfs/name/current/VERSION).但我们发现0.20.205跟hive不兼容,所以又安装
facebook的hadoop版本(-30版本)。
整个升级流程简单来说就是: dfs/name/current/VERSION - ...
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议,
结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.
1.Webdav协议介绍:
WebDAV(Web-based Distributed Authoring and Versioning)是基于 HTTP 1.1
的一个通信协议。它为 HTTP 1.1 添加了一些扩展(就是在 GET、POST ...
hadoop集群崩溃恢复记录
- 博客分类:
- 云计算--hadoop
一.崩溃原因
搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据
就会失去。但不幸的是,刚好就有一台机器由于负载过高,导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如
下错误:
Java代码
FSNamesystem initialization failed saveLeases found path /tmp/xxx/aaa.txt but no matching entry in namespace.
...