转自:http://bbs.linuxtone.org/home.php?mod=space&uid=17551&do=blog&id=3163
用ttserver,存放的数据量太大了,使用的是hash的存储模式,启动参数中对数据文件做过压缩,做过分片,但是目前的database.tch目录下的文件差不多140G了,最近一段时间一直想将该数据文件的大小给减小一些,但一直未能成功。
原本我以为通过删除ttserver中的记录,把对应的key和value删掉就可以把对应的database.tch的大小给降下来,于是我使用的是Tokyo tyrant中的管理命令 tcrmgr ,使用tcrmgr out -port xxxxx localhost key 这条命令,里边的key是筛选出来的一批key,执行完这个命令以后,通过tcrmgr inform -port xxxxx localhost 发现里边的record number确实减少了,但file size的值却没有任何变化,database.tch的大小也没减小,通过晚上搜寻资料发现tcrmgr out这个命令只是完成了一次逻辑上的删除,并没有实际对硬盘上的database.tch内的记录进行物理删除。
我本以为可能是由于在tcrmgr out的操作在内存中完成,没有写回到硬盘中,于是又执行了一次tcrmgr sync -port xxxxx localhost 但是完成以后,数据文件的大小依然没改变,
发现还是需要用tcrmgr optimize -port xxxx localhost来进行操作。
由于out参数是一种标记删除,当你在使用inform进行查询的时候,确实发现数据记录数变小了,但并没有同步清除掉硬盘中database.tch中的数据记录,这就导致了数据文件的大小不发生改变。
由于最开始删除的记录数比较少,当时测试optimize的时候,没有明显的效果,后来删除了将近1000万条记录,再次执行optimize的时候,发现数据文件相比原来减少了40G。
需要注意的是,在执行optimize优化数据文件时,ttserver的库是处于锁定状态的,即无法读写,因此如果你需要执行这条命令时,需要做好准备工作,特别是对线上服务器进行操作时,我在这次优化的过程中使用的方法是,在六台ttserver(从服务器)前加一个代理,然后逐台进行优化,这样不会影响服务。在ttserver(主服务器)方面,做双机互备,然后单台进行优化,此过程的缺点就是耗时过长。
./tcrmgr inform -port 5100 -st 10.10.10.14
starttime=`date "+%s"`;for((i=1;i<1001;i++)); do curl -X PUT http://10.10.10.14:5100/key_$i -d $i; done;endtime=`date "+%s"`;echo $(($endtime-$starttime));
starttime=`date "+%s"`;for((i=1;i<1001;i++)); do curl http://10.10.10.14:5100/key_$i; done;endtime=`date "+%s"`;echo $(($endtime-$starttime));
分享到:
相关推荐
Redis将数据存储在内存中,以此来保证快速的存取性能,同时它还能够周期性地将数据写入磁盘或者更新操作记录文件,确保数据安全性。此外,Redis还支持主从同步,即master-slave同步。 在使用Redis时,我们可以针对...
如果遇到异常关闭,需先删除pid文件,再通过 `ttservctl` 启动服务。 ### 二、常用命令 #### 1. 热备份与切换 - **备份**:编写一个名为 `ttbackup.sh` 的shell脚本,放置于 TT 数据库文件目录下,并设置执行权限...
使用第三方监控工具(如Nagios、Zabbix)可以实时监控TokyoTyrant服务器的状态,包括连接状态、内存使用情况、磁盘I/O等,及时发现并处理问题。 8. **扩展与集群**:虽然TokyoTyrant不支持自动的分布式存储,但可以...
轴类零件加工工艺设计.zip
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
seaborn基本绘图人力资源数据集
移动机器人(sw三维)
自制html网页源代码查看器
3吨叉车的液压系统设计().zip
1_实验三 扰码、卷积编码及交织.ppt
北京交通大学软件学院自命题科目考试大纲.pdf
雅鲁藏布江流域 shp矢量数据 (范围+DEM).zip
基于RUST的数据结构代码示例,栈、队列、图等
NIFD:2024Q1房地产金融报告
详细介绍及样例数据:https://blog.csdn.net/li514006030/article/details/146916652
【工业机器视觉定位软件Vision-Detect】基于C#的WPF与Halcon开发的工业机器视觉定位软件(整套源码),开箱即用 有用户登录,图片加载,模板创建,通讯工具,抓边抓圆,良率统计,LOG日志,异常管理,九点标定和流程加载保存等模块,功能不是很完善,适合初学者参考学习。 资源介绍请查阅:https://blog.csdn.net/m0_37302966/article/details/146912206 更多视觉框架资源:https://blog.csdn.net/m0_37302966/article/details/146583453
内容概要:本文档详细介绍了Java虚拟机(JVM)的相关知识点,涵盖Java内存模型、垃圾回收机制及算法、垃圾收集器、内存分配策略、虚拟机类加载机制和JVM调优等内容。首先阐述了Java代码的编译和运行过程,以及JVM的基本组成部分及其运行流程。接着深入探讨了JVM的各个运行时数据区,如程序计数器、Java虚拟机栈、本地方法栈、Java堆、方法区等的作用和特点。随后,文档详细解析了垃圾回收机制,包括GC的概念、工作原理、优点和缺点,并介绍了几种常见的垃圾回收算法。此外,文档还讲解了JVM的分代收集策略,新生代和老年代的区别,以及不同垃圾收集器的工作方式。最后,文档介绍了类加载机制、JVM调优的方法和工具,以及常用的JVM调优参数。 适合人群:具备一定Java编程基础的研发人员,尤其是希望深入了解JVM内部机制、优化程序性能的技术人员。 使用场景及目标:①帮助开发人员理解Java代码的编译和执行过程;②掌握JVM内存管理机制,包括内存分配、垃圾回收等;③熟悉类加载机制,了解类加载器的工作原理;④学会使用JVM调优工具,掌握常用调优参数,提升应用程序性能。 其他说明:本文档内容详尽,适合用作面试准备材料和技术学习资料,有助于提高开发人员对JVM的理解和应用能力。
Android项目原生java语言课程设计,包含LW+ppt
戴德梁行&中国房地产协会:2021亚洲房地产投资信托基金研究报告
Android项目原生java语言课程设计,包含LW+ppt