bobboy007
- 浏览: 31520 次
- 性别:
- 来自: 淄博
-
最新评论
文章列表
若表中有数据，不会被覆盖。
若提示class not found,找到对应包，放到hadoop/share/hadoop/common/下
这是我做hadoop和hbase各种测试时复制过来的包列表
hadoop-common-2.5.2.jar
hadoop-nfs-2.5.2.jar
hbase-common-1.1.4.jar
hbase-protocol-1.1.4.jar
htrace-core-3.1.0-incubating.jar
mysql-connector-java-5.1.38-bin.jar
hadoop-c ...
Hadoop2.5.2导出数据到Hbase
- 博客分类：
- hadoop
留作备份用，本分类下所有例子都是自己亲自测试过的。
package jyw.test;
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache. ...
mos可以和content一起用
package jyw.test;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.ap ...
hadoop和hbase配置好正常运行时的进程情况，jps后查看
60559 HRegionServer
7329 Main
20653 Jps
29355 HQuorumPeer
16221 ResourceManager
29417 HMaster
16538 NodeManager
15750 NameNode
15880 DataNode
16046 SecondaryNameNode
网上很多例子都是基于hadoop 0.9x 的，新版hadoop函数有变。
例子是从 hadoop hdfs上读取文件，map reduce后写入多个hbase 表
故 ...
Hbase 1.1.4版本表操作例子
- 博客分类：
- hadoop
最近测试Hbase相关操作，发现网上例子都是到处复制，而且是旧版本的，在hbase1.x后很多函数，已经废弃或删除。下边是用新版hbase 测试的例子，供大家参考.
环境：
Hadoop2.5
hbase 1.1.4
package jyw.test;
import java.io.IOException;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.ArrayList;
im ...
执行如下命令后
#/usr/local/php/sbin/php-fpm start
Starting php_fpm ....
之后出现n多点，然后fail的。
日志如下:
Jul 23 19:32:35.231547 [NOTICE] fpm_children_make(), line 352: child 22524 (pool default) startedJul 23 19:32:35.237438 [NOTICE] fpm_children_make(), line 352: child 22525 (pool default) startedJul 23 19: ...
下载了最新版的lighttpd，然后配置，发现和原来的不一样了。
1.lighttpd.conf更加简洁。模块配置跑到/etc/lighttpd/modules.conf下，fastcgi的配置在conf.d/下2.若开启了urlrewrite,注意修改/etc/lighttpd/modules.conf中的模块配置。
3. conf.d/下的配置文件不会自动加载，注意手动包含下
编译后目录结构：
进入 /etc/lighttpd/
#tree
|-- conf.d| |-- access_log.conf| |-- auth.conf| |-- cgi.conf| ...
今天配置lighttpd自定义日志，发现lighttpd只会把所有域名日志都写到一起即/var/log/lighttpd/access_log
看了下文档发现没方法自定义，只能自定义日志里的格式，故google之，方法如下
#wget http://cronolog.org/download/cronolog-1.6.2.tar.gz#tar zxvf cronolog-1.6.2.tar.gz#cd cronolog-1.6.2#./configure#make#make install#which cronolog/usr/local/sbin/cronolog
最终文件如下样子
$ ...
php5.3.3 编译安装到lighttpd中注意事项系统环境：
# cat /etc/redhat-release
CentOS release 5.4 (Final)
# ./lighttpd -v
lighttpd/1.4.28 - a light and fast webserver
Build-Date: Nov 1 2010 07:57:36
要安装的php版本
#./php-cgi -v
PHP 5.3.3 (cgi-fcgi) (built: Nov 3 2010 00:57:24)
Copyright (c) 1997-2010 The PHP G ...
这几天研究lighttpd编译安装，碰到无数问题， 其中最头大的即
编译啥都通过了，但启动时提示
(network.c.261) getaddrinfo failed: Name or service not known ' localhost '
1.搜索了下发现有网友说问题原因是/etc/hosts 中的localhost和/etc/sysconfig/network 中不一致导致的
于是修改了下都改成localhost，但还是这错误。
google之看到lighttpd 官网有人提http://forum.lighttpd.net/topic/64647 但没解决方 ...
对大家推荐很好使用的Linux mysql系统，像让大家对Linux mysql系统有所了解，然后对Linux mysql系统全面讲解介绍，希望对大家有用今天特意配置了mysql apache php ，虽然网上很多这方面的例子，但是很多是作者再回忆写的，所以难免有笔误的地方。而这些东西，正是新手很困惑的地方。一下是我的安装笔记，在Centos虚拟机上安装成功。中文的参考：http://xieyu.blog.51cto.com/213338/59749英文的参考 How to Install MySQL 5.0 on Linux，How to Install PHP 5 on Linux ，Ho ...
如何让MySql允许远程连接的图文设置教程，和大家分享一下，保存以后备用。为了资源的合理利用，你可能想要把web服务器与数据库服务器独立开来，这时候就会用到mysql的远程连接设置，使网站得以正常运行。首先关闭服务器上的防火墙。然后进行以下操作。（这里介绍了3种设置方法，你可以选择任意一种）1. 改表法。可能是你的帐号不允许从远程登陆访问，只能在localhost。只要在localhost的那台服务器上，登入mysql后，更改 “mysql” 数据库里的 “user” 表里的 “host” 项，从”localhost”改称”%”mysql -u root -pvmwaremysql>us ...
1.如何安装rpm软件包rmp软件包的安装可以使用程序rpm来完成。执行下面的命令rpm -i your-package.rpm其中your-package.rpm是你要安装的rpm包的文件名，一般置于当前目录下。安装过程中可能出现下面的警告或者提示：... conflict with ... 可能是要安装的包里有一些文件可能会覆盖现有的文件，缺省时这样的情况下是无法正确安装的可以用rpm --force -i 强制安装即可... is needed by ...... is not installed ... 此包需要的一些软件你没有安装可以用rpm --nodeps -i 来忽略此信息也就是 ...
函数是进行模块化程序设计的基础，编写复杂的Ajax应用程序，必须对函数有更深入的了解。 javascript中的函数不同于其他的语言，每个函数都是作为一个对象被维护和运行的。通过函数对象的性质，可以很方便的将一个函数 ...
此文章不错。留着自己参看用。。
服务器有很大一部分使用的centos，以前一直使用be10.com的源更新，速度还可以，be10.com关闭源服务以后，开始痛苦的yum。虽然有yum-fastestmirror，但是找到一个速度很快的源还是很不容易的，于是决定自己搞个源，参考了centos官方的源设置文档下边是脚本rsync_mirror.sh
#!/bin/sh
. /etc/profile
＃调试使用
#rsync="/usr/bin/rsync -aqzH --delete --delay-updates" ...