- 浏览: 187181 次
最新评论
文章列表
本文地址:http://blog.csdn.net/kongxx/article/details/6896230
假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点fkongnix1和fkongnix2,这里需要动态添加一个新的节点fkongnix3.
对于hadoop分布式模式环境的搭建可以参考hadoop学习之分布式模式
1. 修改${HADOOP_HOME}/conf/slaves文件,在其中添加一个新的slave节点,比如
fkongnix1
fkongnix2
fkongnix3 (新节点)2. 登录到新添加的slave节点上,进入${HADO ...
- 2011-10-22 13:38
- 浏览 610
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6896214
1. 首先为hadoop的集群准备几台机器,这里机器名如下:
fkongnix0 (master)
fkongnix1 (slave1)
fkongnix2 (slave2)2. 修改每个机器的/etc/hosts文件,确保每个机器都可以通过机器m名互相访问;
3. 在上面每个机器上的相同位置分别安装hadoop,这里安装的都是hadoop-0.20.203.0rc1.tar.gz包,并且假定安装路径都是/data/fkong/hadoop-0.20.203.0;
4 ...
- 2011-10-22 13:33
- 浏览 429
- 评论(0)
hadoop "File /user/<user>/input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办
本文地址:http://blog.csdn.net/kongxx/article/details/6892675
安装hadoop的官方文档安装后,在伪分布式模式下运行
bin/hadoop fs -put conf input
出现以下异常
11/10/20 08:18:22 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/fkong/input/conf/slaves could only be r ...
- 2011-10-21 08:20
- 浏览 708
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6891761
Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下:
关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式
这里仍假定${HADOOP_HOME}为位置是/data/fkong/hadoop-0.20.203.0
1. 修改hadoop配置
1.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
<config ...
- 2011-10-20 19:46
- 浏览 700
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6891591
1. 下载最新的hadoop安装包,下载地址http://hadoop.apache.org/,这里我使用的是hadoop-0.20.203.0rc1.tar.gz版本;
2. 解压压缩包到自己的目录,比如解压到/data/fkong目录下,为了后面说明方法,这里把/data/fkong/hadoop-0.20.203.0定义为$HADOOP_HOME;
3. 修改$HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME指定到正确的jdk路径上; ...
- 2011-10-20 18:15
- 浏览 285
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6860732
前面写了几个文章是关于spring中集成作业调度功能的东西,可以参考
Spring任务调度实战之Timer
Spring任务调度实战之Quartz Simple Trigger
Spring任务调度实战之Quartz Cron Trigger
但那些例子都是对静态作业做调度的例子,这里所谓静态作业都是指作业信息和调度信息是写死在spring的配置文件中的,但是真实很多应用的情况都是需要动态的对作业进行调度,比如动态添加或者删除作业,动态的设置作业的trigger等。下面 ...
- 2011-10-10 21:48
- 浏览 605
- 评论(0)
今天在Linux上编译通过mount来访问的windows共享目录下的C代码的时候,总是出现
Value too large for defined data type错误,但是检查了一下代码,没有用的到什么特殊的函数,并且同样的代码在别的机器上就可以编译通过,或者把代码从共享目录下拷贝到本地也可以编译,就是在共享目录目录下不能编译。后来就想到可能是mount命令导致的这个问题。查了一些资料,发现在mount的时候加上“nounix,noserverino”选项后,就不再出现这个问题了,因此完整的mount命令可能如下:
$ sudo mount -o "username=< ...
- 2011-09-21 20:02
- 浏览 990
- 评论(0)
今天在按照书上的例子学习Yii的时候发现在创建一个有外键的MySQL表的时候总是报以下错误
ERROR 1005 (HY000): Can't create table '<schema>.<table>' (errno: 150)但是仅仅从这个错误消息根本得不到任何对排查错误有意义的信息,找了一些文章大多数是说外键表和原表里声明的字段类型不一致,但是都没有给出怎么查出是这个错误的,后来发现原来可以通过运行"SHOW ENGINE INNODB STATUS;"命令,然后在命令结果中的“LATEST FOREIGN KEY ERROR”部分得到具 ...
- 2011-09-20 23:47
- 浏览 535
- 评论(0)
新装了Komodo Edit软件,每次编辑文件都不能像其它有些软件那样使用右键菜单项来打开文件,查了一些原来Windows下添加右键菜单项也挺简单的。1. 首先使用Windows自带的regedit来打开注册表;
2. 在“HKEY_CLASSES_ROOT\*\shell\” 下添加新项“Komodo Edit 6”;
3. 在“HKEY_CLASSES_ROOT\*\shell\Komodo Edit 6\” 下添加新项“Command”;
4. 编辑“HKEY_CLASSES_ROOT\*\shell\Komodo Edit 6\Command”项,将其值改为"C:\Pro ...
- 2011-09-19 21:29
- 浏览 602
- 评论(0)
今天在学习Yii Framework中单元测试时,总是在运行“phpunit unit/DBTest.php”命令的时候出现以下错误,
PHP Notice: Please no longer include "PHPUnit/Framework.php". in /usr/share/php/PHPUnit/Framework.php on line 50
但自己是按照文档上说的安装了PHPUnit包了呀,后来发现想起来安装过程中由于家里网络问题其中一个依赖包出错了,但是别的包都提示安装成功了,然后自己是把那个失败的包PHP_CodeCoverage重新安装的,然后运行 ...
- 2011-09-15 09:16
- 浏览 340
- 评论(0)
1. 首先在VirtualBox的Ubuntu虚拟机设置 -> 共享空间 -> 添加一个数据共享目录,比如位置D:\workspace,空间名workspace,这里注意如果想让虚拟机自动mount,不要勾选Auto-mount选项;
2. 启动虚拟机,在虚拟机的/etc/fstab文件最后添加以下行
workspace /home/kongxx/workspace vboxsf defaults 0 0 3. 重新启动虚拟机,查看/home/kongxx/workspace目录,应该可以目录已经mount成功;
注意:这里如果第一步中勾选了Auto-mou ...
- 2011-09-12 21:41
- 浏览 575
- 评论(0)
在按照Yii文档做自己的第一个例子的时候,在创建Model的页面出现“CDbConnection failed to open the DB connection: could not find driver"错误,其中数据库自己使用的sqlite数据库。
出现这个问题后突然想起在安装完Yii时,文档里给了一个测试页面(http://localhost/yii/requirements/index.php),可以查看Yii的依赖检查,再次查看这个页面发现“PDO SQLite extension”的检查结果是Warning,于是想是不是自己没有按照php的sqlite pdo包,于是 ...
- 2011-09-11 22:01
- 浏览 559
- 评论(0)
1. 安装测试apache包
1.1 安装apache包
sudo apt-get install apache21.2. 启动并测试apache环境
sudo /etc/init.d/apache2 start访问http://localhost,可以看到页面有“It works!”的提示。
2. 安装测试php相关包
2.1 安装php相关包
sudo apt-get install php5-cli php5-dev libapache2-mod-php52.2. 测试apache+php环境,在/var/www/目录下创建一个test.php文件,内容如下:
...
- 2011-09-08 21:57
- 浏览 456
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6751326
在Quartz中除了使用最简单的Simple Trigger以外,也可以使用类似Linux上Cron作业的CronTrigger的方式来运行Job,下面是一个小例子:
1. 首先是一个任务类,这个类没有实现任何接口,其中包含一个run方法用来运行这个task,代码如下:
package org.garbagecan.springstudy.schedule.quartz;
public class MyTask {
private String name;
pub ...
- 2011-09-05 21:56
- 浏览 426
- 评论(0)
本文地址:http://blog.csdn.net/kongxx/article/details/6751300
在spring中对任务调度的集成除了使用JDK自带的Timer和TimerTask类来实现简单任务调度以外,也可以使用企业级的开源作业调度框架Quartz来实现,下面是一个小例子:
1. 首先是一个任务类,这个类没有实现任何接口,其中包含一个run方法用来运行这个task,代码如下:
package org.garbagecan.springstudy.schedule.quartz;
public class MyTask {
private String name; ...
- 2011-09-05 21:48
- 浏览 540
- 评论(0)