以下是清除三个zookeeper节点的shell脚本(将其做成一个定时任务即可):
#zookeeper home
zkdir=/server/app/zookeeper-3.4.6
#snapshot file dir
snapDir=/mnt/data/zookeeper/n_1
snapDir2=/mnt/data/zookeeper/n_2
snapDir3=/mnt/data/zookeeper/n_3
#tran log dir
dataDir=/mnt/data/zookeeper/n_1
dataDir2=/mnt/data/zookeeper/n_2
dataDir3=/mnt/data/zookeeper/n_3
#Leave 30 files
count=15
cd /server/app/zookeeper-3.4.6
java -cp ${zkdir}/zookeeper-3.4.6.jar:${zkdir}/lib/slf4j-api-1.6.1.jar:${zkdir}/lib/slf4j-log4j12-1.6.1.jar:${zkdir}/lib/log4j-1.2.16.jar:${zkdir}/conf org.apache.zookeeper.server.PurgeTxnLog ${dataDir} ${snapDir} -n ${count}
java -cp ${zkdir}/zookeeper-3.4.6.jar:${zkdir}/lib/slf4j-api-1.6.1.jar:${zkdir}/lib/slf4j-log4j12-1.6.1.jar:${zkdir}/lib/log4j-1.2.16.jar:${zkdir}/conf org.apache.zookeeper.server.PurgeTxnLog ${dataDir2} ${snapDir2} -n ${count}
java -cp ${zkdir}/zookeeper-3.4.6.jar:${zkdir}/lib/slf4j-api-1.6.1.jar:${zkdir}/lib/slf4j-log4j12-1.6.1.jar:${zkdir}/lib/log4j-1.2.16.jar:${zkdir}/conf org.apache.zookeeper.server.PurgeTxnLog ${dataDir3} ${snapDir3} -n ${count}
由于zookeeper日志文件不能随意删除,因为一个长时间不更新的节点完全有可能存在于几天前的一个日志文件中。那么如何安全地删除它们呢?可以自己编写程序处理,但是zookeeper也提供给了我们一个方便的小工具:PurgeTxnLog 用法:
java -Djava.ext.dirs=lib org.apache.zookeeper.server.PurgeTxnLog log_path snap_path -n 10
其中-n 表示要保留多少个文件,不能低于3 log_path 和 snap_path 一定要是zookeeper的log的根路径,就是version-x那一层路径。代码里会到输入路径里去找version-x目录,然后再去找下面的log文件
详情:http://it.5yun.com.cn/html/y2015/m10/427.html
相关推荐
- zkCleanup.sh:用于清除ZooKeeper的事务日志和快照。 - zkCli.sh:提供了ZooKeeper的一个命令行界面,用于与ZooKeeper服务交互。 对于conf目录,文档中提到了几个关键的配置文件: - configuration.xsl:通常可以...
在IT行业中,HBase和ZooKeeper是两...此外,可以考虑优化磁盘空间管理策略,例如设置自动清理旧日志的脚本,或者增加监控告警,当磁盘空间低于一定阈值时发出警告。这样,可以及时发现和解决问题,避免对业务造成影响。
随后,还需要修改`bin/zkEnv.sh`脚本中的日志目录以及日志级别: ```bash ZOO_LOG_DIR="/usr/local/zookeeper/data" ZOO_LOG4J_PROP="INFO,ROLLINGFILE" ``` 对`bin/zkServer.sh`和`bin/zkCli.sh`脚本进行修改,...
1. **启动Zookeeper**:可以使用脚本的方式批量启动Zookeeper服务。 2. **启动Hadoop服务**:使用`start-all.sh`启动Hadoop服务。 #### 六、配置核心文件 - **core-site.xml**:主要配置默认的文件系统以及...
在数据传输过程中,Flume首先将数据暂存在Channel,确保数据安全送达Sink后再清除缓存。 1.1 Flume运行机制 - Source:数据采集器,连接数据源,如服务器日志文件,将数据导入Flume。 - Sink:数据接收器,负责将...
- **创建清除脚本**:编写脚本自动清理过期的日志文件。 - **添加定时任务**:利用Cron等工具设置定期执行的计划任务。 5. **启动苍穹服务** - **服务启动**:通过MC管理中心或命令行启动所需的服务。 - **服务...
- XSS(Cross-Site Scripting,跨站脚本攻击)是一种注入攻击,攻击者在网页中插入恶意脚本。 - 实现方式包括存储型XSS、反射型XSS和DOM-based XSS。 - **如何保障系统安全**: - 输入验证和过滤。 - 使用HTTPS...