centos tokyo tyrant 安装使用

项目网站：http://1978th.net/


一、install:
1.到http://tokyocabinet.sourceforge.net上下载最新版本。
    wget http://tokyocabinet.sourceforge.net/misc/tokyocabinet-1.4.19-rc1.tar.gz
    wget http://tokyocabinet.sourceforge.net/misc/tokyotyrant-1.1.24-rc1.tar.gz

2.tar xvzf tokyocabinet-1.4.19.tar.gz
cd tokyocabinet-1.4.19
./configure
make
make install(查看最终按装路径)

tar xvzf tokyotyrant-1.1.24-rc1.tar.gz
cd tokyotyrant-1.1.24-rc1
./configure
make
make install(查看最终按装路径)

二、启动
在/tmp/下面创建ttserver目录，保存ttserver启动后的一些日志文件等文件

默认的的安装路径是：/usr/local/bin里面
cd /usr/local/bin

(1)、单机模式 用hash数据库
./ttserver -host 10.0.9.100 -port 11211 -thnum 8 -dmn -pid /tmp/ttserver/ttserver.pid -log /tmp/ttserver/ttserver.log -le -ulog /tmp/ttserver/ -ulim 128m -sid 1 -rts /tmp/ttserver/ttserver.rts /tmp/ttserver/database.tch
----------------------------
用hash模式启动：
ttserver -host 10.0.8.9 -port 11211 -thnum 8 -dmn -pid /data3/ttserver/ttserver.pid -log /data3/ttserver/ttserver.log -le -ulog /data3/ttserver/ -ulim 128m -sid 1 -rts /data3/ttserver/ttserver.rts /data3/ttserver/database.tch#bnum=100000000#xmsiz=434217728#rcnum=200000

使用hash数据库，最大会缓存20000个记录，最大使用内存434217728bytes(414M),bucket存储桶的数量10000000。


(2)、双机互为主辅模式

服务器192.168.1.91：
ulimit -SHn 51200
./ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tch

服务器192.168.1.92：
ulimit -SHn 51200
./ttserver -host 192.168.1.92 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tch

=============================================
一个运行中的tt启动配置
./ttserver -host 10.0.9.100 -port 22222 -thnum 8 -dmn -pid /tmp/ttserver/ttserver.pid -log /tmp/ttserver/ttserver.log -le -ulog /tmp/ttserver/ -ulim 128m -sid 100 -mhost 10.0.8.9 -mport 22222 -rts /tmp/ttserver/ttserver.rts /tmp/ttserver/database.tch#bnum=100000000#xmsiz=104857600#rcnum=1000000

./ttserver -host 10.0.8.9 -port 22222 -thnum 8 -dmn -pid /data2/ttserver/ttserver.pid -log /data2/ttserver/ttserver.log -le -ulog /data2/ttserver/ -ulim 128m -sid 9 -mhost 10.0.9.100 -mport 22222 -rts /data2/ttserver/ttserver.rts /data2/ttserver/database.tch#bnum=100000000#xmsiz=104857600#rcnum=1000000
================================================

(3)、参数说明

ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。

-port num : 指定需要绑定的端口号。默认端口号为1978

-thnum num : 指定线程数。默认为8个线程。

-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。

-dmn : 以守护进程方式运行。

-pid path : 输出进程ID到指定文件（这里指定文件名）。

-log path : 输出日志信息到指定文件（这里指定文件名）。

-ld : 在日志文件中还记录DEBUG调试信息。

-le : 在日志文件中仅记录错误信息。

-ulog path : 指定同步日志文件存放路径（这里指定目录名）。

-ulim num : 指定每个同步日志文件的大小（例如128m）。

-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。

-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）

-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。

-mport num : 指定主辅同步模式下，主服务器的端口号。

-rts path : 指定用来存放同步时间戳的文件名。

如果使用的是哈希数据库，可以指定参数“#bnum=xxx”来提高性能。它可以指定bucket存储桶的数量。例如指定“#bnum=1000000”，就可以将最新最热的100万条记录缓存在内存中：

./ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

如果大量的客户端访问ttserver，请确保文件描述符够用。许多服务器的默认文件描述符为1024，可以在启动ttserver前使用ulimit命令提高这项值。例如：
ulimit -SHn 51200

3、停止tokyotyrant（ttserver）

ps -ef | grep ttserver
找到ttserver的进程号并kill，例如：

kill -TERM 2159


--------------------------
三、java api使用(编译老是通不过，不能产生jar文件，只好直接copy解压后里面的.java源文件到eclipse里面直接使用)
编译java api

http://tokyocabinet.sourceforge.net/javapkg/tokyocabinet-java-1.18.tar.gz

tar zxvf tokyocabinet-java-1.18.tar.gz

cd tokyocabinet-java-1.18

编译时一定要设置JAVA_HOME环境变量，不然会报找不到jni.h错误

export JAVA_HOME=.....

./configure

make

make install

编辑当前用户的环境变量，增加一下这些参数

CLASSPATH=$CLASSPATH:/usr/local/lib/tokyocabinet.jar

LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

export CLASSPATH LD_LIBRARY_PATH

重新登陆让环境变量生效，或者执行source ~/.bashrc (ubuntu下是这个文件)

=================================================
四、linux下的一些使用命令：
1.telnet 10.0.8.9 11211
2.stats 查看tt的状态
3.get 13400126409（key） 通过key查看value


五、调用
　　1、任何Memcached客户端均可直接调用tokyotyrant。

　　2、还可以通过HTTP方式调用，下面以Linux的curl命令为例，介绍如何操作tokyotyrant：
　　(1)、写数据，将数据“value”写入到“key”中：

curl -X PUT http://127.0.0.1:11211/key -d "value"


　　(2)、读数据，读取“key”中数据：

curl http://127.0.0.1:11211/key


　　(3)、删数据，删除“key”：

curl -X DELETE http://127.0.0.1:11211/key

=================================================

3.数据库支持类型说明
A.如果数据库名为”*”,表示内存hash数据库.内存hash数据库支持”bnum”,”capnum”和”capsiz”
B.如果数据库名为”+”表示内存tree数据库.内存tree数据库支持”capnum”和”capsiz”.
“capnum”指定记录的最大容量,”capsiz”指定最大的内存使用量(在内存数据库中),记录通过存储的顺序移除.
C.如果数据库名为”.tch”,则数据库为hash数据库.
hash数据库支持”mode”, “bnum”, “apow”, “fpow”, “opts”, “rcnum”, 和 “xmsiz”.
“rcnum” 指定最大的缓存记录数。如果它不大于零，那么缓存记录不可用。默认不可用
“xmsiz” 指定外部内存的大小。如果不大于0，内存不可用。默认是67108864，即64M。
“bnum”指定bucket存储桶的数量.如果指定的数目不大于0,将会使用默认的数值131071.推荐数量应该在所有需要存储的记录总数的0.4-4倍
“apow” 跟一个key关联的记录数,2的N次方表示.如果不指定，默认2^4=16.
“fpow” specifies the maximum number of elements of the free block pool by power of 2.默认2^10=1024.
“opts” 指定选项,位或:”HDBTLARGE” 指定数据库的大小通过使用64位数组桶能够超过2G.
“HDBTDEFLATE” 指定每个记录被 Deflate encoding压缩.
“HDBTBZIP” 指定每个记录被 BZIP2 encoding压缩
“HDBTTCBS” 指定每个记录被 TCBS encoding压缩.
D.如果数据库名的后缀为”.tcb”,数据库将为B+ tree数据库。
B+ tree数据库支持”mode”, “lmemb”, “nmemb”, “bnum”, “apow”, “fpow”, “opts”, “lcnum”, “ncnum”, 和 “xmsiz”.
通过指定”#lcnum=xxx#bnum=yyy” 来提高性能.
第一个参数指定被缓存的最大叶子节点数，受内存容量限制，第二个参数指定桶的数量，它应该大于总记录数的1/128
E.如果数据库名的后缀为”.tcf”.则数据库将为fixed-length数据库。
Fixed-length 数据库 支持 “mode”, “width”, and “limsiz”.

F.如果数据库名的后缀为”.tct”,则数据将为一个table数据库(有表的概念).
Table 数据库支持 “mode”, “bnum”, “apow”, “fpow”, “opts”, “rcnum”, “lcnum”, “ncnum”, “xmsiz”, 和 “idx”
“idx”指定表的索引。
“mode”可以包含 “w” 写, “r” 读, “c” 创建, “t” 截断，”e” 无锁,和”f” 非阻塞锁.默认的的mod为”wc”。

三、测试：
写入数据

    curl -X PUT http://127.0.0.1:11211/my_key -d "this is value 100"


取数据

    curl http://127.0.0.1:11211/my_key


删除数据

    curl -X DELETE http://127.0.0.1:11211/my_key 

================================================
安装好ttserve之后，在/usr/local/bin里面会有个tcrmttest命令，可以用它测试一下ttserver的性能
1.写测试
./tcrmttest write -port 11211 10.0.8.3 1000000
2.读测试
./tcrmttest read -port 11211 10.0.8.3

================================================

实时查看ttserver的并发连接数：
watch "netstat -ant |grep 10.0.8.3:11211 |wc -l"
实时查看ttserver的状态
watch "echo stats | nc 10.0.8.3 11211"

====================================================

我们在实际使用的时候 Tokyo Tyrant服务端的端口有时候会telnet 不上去 应该是和连击数过大有关
一般Tokyo Tyrant服务端在双核2.6 4G内存的服务器上能撑到1000并发连击数，过了1000有时候会telnet 不上去，这时候无法同步新数据，但是还是可以的查询原有的数据。

让处于TIME_WAIT状态的连接重用，可以提高 Tokyo Tyrant并发数

在/etc/sysctl.conf中加上：
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000

然后
/sbin/sysctl -p