hmilyzhangl
- 浏览: 46459 次
- 性别:
- 来自: 重庆
-
最新评论
-
LinApex：
你好，朋友，有没有考虑过？ 前端控制器，就是 Apache 挂 ...
Apache+Tomcat集群 -
developerinit：
very good
java内存机制 -
developerinit：
very good
使用sqoop将MySQL数据库中的数据导入Hbase -
everist：
3.如果在新增了节点或者删除节点的时候出现了问题，首先就去删除 ...
hadoop集群配置--成功运行
文章列表
目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。存储根据服务器类型可以分为：封闭系统的存储和开放系统的存储：
（1）封闭系统主要指大型机.
（2）开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；
Builder - 创建者模式
- 博客分类：
- java设计模式
对于Builder模式很简单，但是一直想不明白为什么要这么设计，为什么要向builder要Product而不是向知道建造过程的Director要。刚才google到一篇文章，总算清楚了。在这里转贴一下这位richardluo的比喻。简单地说，就好象我要一座房子住，可是我不知道怎么盖（简单的砌墙，层次较低），也不知道怎么样设计（建几个房间，几个门好看，层次较 高），于是我需要找一帮民工，他们会砌墙，还得找个设计师，他知道怎么设计，我还要确保民工听设计师的领导，而设计师本身也不干活，光是下命令，这里砌一 堵墙，这里砌一扇门，这样民工开始建设，最后，我可以向民工要房子了。在这个过程中，设计师是什么也 ...
安装依赖
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/zlib-devel-1.2.3-3.x86_64.rpm
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/freetype-devel-2.2.1-28.el5_5.1.x86_64.rpm
rpm -ivh http://mirrors.sohu.com/centos/5/os/x86_64/CentOS/libart_lgpl-devel-2.3.17-4.x86_64. ...
1.修改conf/core-site.xml
增加
<
property
>
<
name
>
fs.checkpoint.period</
name
>
<
value
>
3600</
value
>
<
description
>
The number of seconds between two periodic checkpoints. </
description
>
</
property
...
听讲XEN很快就要从LINUX内核中去掉,redhat和Ubuntu也大力的在推广KVM,所以在Ubuntu下整了一下KVM,相当容易使用,基本比Vmware还要容易,但性能好上很多倍,因为他是半虚拟的,很大程序上可以直接使用真实的硬件.
RedHat 红帽CTO Brian Steven在一次记者招待会说：“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过渡.我们将在Red Hat 6中全面使用KVM,但KVM目前已经准备就绪,完全可以正式投入到数据中心和云中,不用再等待了！”
KVM要使用2.6.20以上的内核才行.Ubuntu到是不用担心 ...
本文Apache+Tomcat集群配置 基于最新的Apache和Tomcat，具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。
准备环境
Apache
Apache
是
http
服务器，我们利用其对
Tomcat
进行负载均衡。目前最新版本为
2.2.17
，下载地址为
http://httpd.apache.org/download.cgi#apache22
。如下图：
目前已经出现
Apache2.3.11
，但是为
beta
版本，所以没有使用。
...
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器
上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟
datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式
化，启动时自动创建
同一个datanode上的每个磁盘上的块不会重复，不同datanode之间的块才可能重复
一些文件的说明：
1、dfs.hosts 记录即将作为datanode加入 ...
四、安全模式属性说明
1、dfs.replication.min 类型：int 默认值：1 说明：设置最小副本级别，成功执行写操作所需要创建的最少副本数目（也就是最小复本级别）
2、
dfs.safemode.threshold.pct 类型：float 默认值：0.999
说明：在 ...
1，hive首先要起动远程服务接口，命令：
nohup hive –service hiveserver &
2，java工程中导入相应的需求jar包，列表如下:
antlr-runtime-3.0.1.jar
hive-exec-0.7.1.jar
hive-jdbc-0.7.1.jar
hive-metastore-0.7.1.jar
hive-service-0.7.1.jar
jdo2-api-2.3-ec.jar
libfb303.jar
3，简单测试代码，已经测试成功操作
package com.javabloger.hive ...
一 机器
192.168.0.203 hd203： hadoop namenode & hbase HMaster
192.168.0.204 hd204： hadoop datanode & hbase HRegionServer & zookeeper
192.168.0.205 hd205： hadoop datanode & hbase HRegionServer & zookeeper
192.168.0.206 hd206： hadoop datanode & hbase HRegionServer & zook ...
sqoop安装及数据迁移
- 博客分类：
- 云计算--hadoop
下载sqoop
[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz
wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubating__hadoop-0.20.tar.gz
同步各个节点时间
详见 http://zhengzhuangjie.iteye.com/blog/1409336
...
前提：安装好 sqoop、hbase。
下载jbdc驱动：mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令：
sqoop import --connect jdbc:mysql://10.10.97.116:3306/rsearch --table
researchers --hbase-table A --column-family person --hbase-row-key id
--hbase-crea ...
hadoop 集群升级失败记录
- 博客分类：
- 云计算--hadoop
一.错误概述
因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop
0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version
=>
-32version(这个是dfs/name/current/VERSION).但我们发现0.20.205跟hive不兼容，所以又安装
facebook的hadoop版本(-30版本)。
整个升级流程简单来说就是: dfs/name/current/VERSION - ...
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议,
结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.
1.Webdav协议介绍:
WebDAV（Web-based Distributed Authoring and Versioning）是基于 HTTP 1.1
的一个通信协议。它为 HTTP 1.1 添加了一些扩展（就是在 GET、POST ...
hadoop集群崩溃恢复记录
- 博客分类：
- 云计算--hadoop
一.崩溃原因
搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据
就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如
下错误:
Java代码
FSNamesystem initialization failed saveLeases found path /tmp/xxx/aaa.txt but no matching entry in namespace.
...