`

zookeeper配置信息和工具类学习

阅读更多

 

 

 

1.  删除日志方法和快照文件方法

 

1》自动删除日子功能

 

java -Djava.ext.dirs=lib org.apache.zookeeper.server.PurgeTxnLog log_path snap_path -n 10

 

log_path: 日志的路径

 

snap_path:数据快照路径

 

其中-n 表示要保留多少个文件,不能低于3本例表示10条数据

 

Lib :表示 jar包库路径

 

实例:

 

java -Djava.ext.dirs=lib org.apache.zookeeper.server.PurgeTxnLog /usr/zookeeper-3.4.6_2/data /usr/zookeeper-3.4.6_2/logs -n

 

2》己编写脚本删除 日志和快照数据

 

Vi deleteLogAndSnapshot.sh

 

#!/bin/bash
#snapshot file dir
dataDir=/usr/zookeeper/data/snapshot/version-2
#tran log dir
dataLogDir=/usr/zookeeper/log/snapshot/version-2
#zk log dir
#Leave 10 files
count=10
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
加入定时任务:

 

crontab –e

 

2 2 * * * /usr/zookeeper/bin/deleteLogAndSnapshot.sh > /dev/null 2>&1

 

cron文件语法:

 

分 小时 日 月 星期 命令

 

0-59 0-23 1-31 1-12 0-6 command

 

cron服务提供crontab命令来设定cron服务的,以下是这个命令的一些参数与说明:

 

crontab -u //设定某个用户的cron服务,一般root用户在执行这个命令的时候需要此参数
  crontab -l //列出某个用户cron服务的详细内容
  crontab -r //删除没个用户的cron服务
  crontab -e //编辑某个用户的cron服务
  比如说root查看自己的cron设置:crontab -u root -l
  再例如,root想删除fred的cron设置:crontab -u fred -r
  在编辑cron服务时,编辑的内容有一些格式和约定,输入:crontab -u root -e

 

3》从3.4.0开始,zookeeper在zoo.cfg中提供了自动清理snapshot和事务日志的功能,通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的:
autopurge.purgeInterval  这个参数指定了清理频率,单位是小时,需要填写一个1或更大的整数,默认是0,表示不开启自己清理功能。
autopurge.snapRetainCount 这个参数和上面的参数搭配使用,这个参数指定了需要保留的文件数目。默认是保留3个。

 

2.  设置zookeeper 内存

 

zookeeper/bin/zkEnv.sh

 

安装的时候这个路径下没有有java.env文件,需要自己新建一个:

vi java.env

java.env文件内容如下:

 

#!/bin/sh

export JAVA_HOME=/usr/java/jdk

# heap size MUST be modified according to cluster environment

export JVMFLAGS="-Xms512m -Xmx1024m $JVMFLAGS"

对于内存的分配,还是根据项目和机器情况而定。如果内存够用,适当的大点可以提升zk性能

 

3. zookeeper 命令

 

Usage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

 

 

 

4. zookeeper 查看日志命令

 

java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.9.jar  org.apache.zookeeper.server.LogFormatter   ../Data/datalog/version-2/log.1

 

进入lib

 

java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.6.jar  org.apache.zookeeper.server.LogFormatter   ../logs/version-2/log.dc81

 

5. zoo.cfg 参数说明:

 

 

 

# The number of milliseconds of each tick

 

tickTime=2000

 

# The number of ticks that the initial

 

# synchronization phase can take

 

initLimit=10

 

# The number of ticks that can pass between

 

# sending a request and getting an acknowledgement

 

syncLimit=5

 

# the directory where the snapshot is stored.

 

# do not use /tmp for storage, /tmp here is just

 

# example sakes.

 

#保存快照文件

 

dataDir=/usr/zookeeper-3.4.6_2/data

 

### log file 保存日志文件

 

dataLogDir=/usr/zookeeper-3.4.6_2/logs

 

# the port at which the clients will connect

 

clientPort=2181

 

# the maximum number of client connections.

 

# increase this if you need to handle more clients

 

#maxClientCnxns=60

 

#

 

# Be sure to read the maintenance section of the

 

# administrator guide before turning on autopurge.

 

#

 

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

 

#

 

# The number of snapshots to retain in dataDir  保留快照文件个数 默认3

 

autopurge.snapRetainCount=3

 

# Purge task interval in hours

 

# Set to "0" to disable auto purge feature 1小时清理一下日志

 

autopurge.purgeInterval=1

 

 

 

#2888,3888 are election port 设置集群通讯

 

 

 

#server.1=192.168.90.107:2889:3881

 

#server.2=192.168.6.24:2890:3882

 

 

 

#其中,

 

#2888 端口号是 zookeeper 服务之间通信的端口。

 

分享到:
评论

相关推荐

    JAVA实现zookeeper节点批量删除工具类.rar

    本资源提供了一个JAVA实现的Zookeeper节点批量删除工具类,这对于管理和维护Zookeeper集群中的数据结构非常有用。 首先,我们需要了解Zookeeper的基础知识。Zookeeper是一个高可用的分布式服务框架,它主要用于解决...

    Zookeeper工具

    Zookeeper提供了集中式的配置存储,所有节点可以从Zookeeper获取最新的配置信息。 3. **集群同步**:通过Zookeeper,可以实现多个节点之间的状态同步,确保数据的一致性。 4. **分布式锁**:Zookeeper支持分布式锁...

    springboot整合dubbo和zookeeper所需工具

    3. **创建服务提供者**:定义服务接口,并在接口实现类上使用@ DubboService注解,指定接口、版本和Group等信息。 4. **创建服务消费者**:在需要调用服务的地方,使用@DubboReference注解注入服务接口,同样指定...

    zookeeper配置中心,配置自动发现和更新-zookeeper-demo.zip

    为了更好地管理和监控ZooKeeper配置中心,可以结合Prometheus和Grafana等工具收集和展示ZooKeeper的运行指标,及时发现并解决问题。 总结来说,`zookeeper-demo`项目提供了一个使用ZooKeeper作为配置中心的示例,...

    ZooInspector zookeeper连接工具

    4. `README.txt` 和 `NOTICE.txt`:这些文件通常包含了软件的使用说明、许可证信息和版权声明。 5. `icons` 文件夹:包含了ZooInspector界面上使用的图标资源。 6. `classes` 文件夹:包含了编译后的Java类文件。 7....

    zookeeper可视化图形工具

    Zookeeper是一款分布式协调服务,广泛应用于分布式系统中,如大数据Hadoop、Kafka消息队列等。它提供了命名服务、配置管理、集群同步等多种功能。...通过学习和熟练掌握这类工具,可以在日常运维工作中更加得心应手。

    ZooInspector 用于查看zookeeper的节点信息

    - `src` 文件夹通常是源代码目录,包含 ZooInspector 的 Java 源代码,用户可以查看和学习其内部实现。 5. **ZooKeeper 应用场景**: - **配置管理**:在分布式环境中,ZooKeeper 可用于集中管理应用的配置信息,...

    Spring PropertyPlaceholderConfigurer配置文件加载器集成ZooKeeper来实现远程配置读取

    ZooKeeper是一款广泛使用的分布式协调服务,它可以存储和管理配置信息,提供分布式锁、服务发现等功能。将ZooKeeper与`PropertyPlaceholderConfigurer`结合,可以实现远程配置读取,使得系统能在运行时动态获取和...

    zookeeper查看工具12

    这样的工具通常能够帮助管理员更直观地查看和管理ZooKeeper集群的状态,包括节点信息、会话、数据树以及各种配置。 描述中的"zookeeper查看工具12"进一步强调了这个工具是专门针对ZooKeeper的查看和监控功能。这...

    zookeeper工具

    2. **配置管理**:Zookeeper可以作为一个集中式的配置服务中心,各个服务节点可以从Zookeeper获取最新的配置信息,当配置发生变化时,所有节点能够实时感知并更新。 3. **集群管理**:Zookeeper可以用来管理分布式...

    zookeeper集群.rar

    Zookeeper集群是一个分布式协调服务,由Apache开发,广泛应用于分布式计算环境,如Hadoop、HBase、Kafka等。在Windows环境下搭建...记得在部署过程中,始终关注官方文档和社区更新,以便获取最新的信息和最佳实践。

    Zookeeper管理工具

    Zookeeper管理工具是一款专为Apache ZooKeeper设计的可视化界面应用,它使得Zookeeper的管理和监控变得更加直观和便捷。Zookeeper是分布式协调服务的核心组件,广泛应用于分布式系统中,如Hadoop、HBase、Kafka等,...

    利用zookeeper统计管理配置文件

    代码中创建了一个Zookeeper配置文件工具的实例,指定了Zookeeper服务端地址、配置文件路径、版本和组信息,然后通过获取配置文件组实例并调用get方法来获取具体的配置项。 总结而言,利用Zookeeper进行配置文件的...

    zookeeper+dubbo分布式demo可直接运行

    含所有jar,工具类,可直接运行",这表明压缩包中包含了完整的开发环境,包括必要的库文件(jar包)和辅助工具类,用户可以直接下载解压后进行运行,无需额外配置,极大地简化了学习和测试的过程。 Zookeeper是一个...

    Zookeeper学习资源和笔记(附代码)

    例如,`ZooKeeper`类的`exists()`方法用于检查节点是否存在,`getData()`和`setData()`分别用于读取和更新节点数据,`create()`用于创建节点,`delete()`用于删除节点,`getChildren()`用于获取子节点列表,`exists...

    zookeeper-3.4.12版本

    1. **配置管理**:集中存储和管理分布式系统的配置信息,确保所有节点同步更新。 2. **命名服务**:为分布式组件提供全局唯一ID,如分布式服务注册与发现。 3. **分布式锁**:实现分布式环境下的互斥锁,确保同一...

    springboot-zookeeper-client.rar

    - SpringBoot应用可以通过`ZookeeperTemplate`等工具类方便地实现分布式锁。 7. **监控与调试** - SpringBoot Actuator提供了健康检查接口,可以结合Zookeeper的监控信息,了解应用在Zookeeper中的状态。 - 使用...

    linux中zookeeper安装包zookeeper-3.4.8.tar

    然后,需要配置`conf/zoo.cfg`文件,这是Zookeeper的主要配置文件,包含节点的配置信息,如数据目录、端口号、集群配置等。数据目录(dataDir)用于存储Zookeeper的状态信息,包括事务日志和快照。而端口号(client...

    基于zookeeper动态扩展处理分类数据

    ZooKeeper在这方面扮演了关键角色,因为它可以作为分布式环境中服务发现和配置管理的核心。 三、ZooKeeper与分类数据处理 分类数据通常涉及到不同的类别或类型,例如用户信息、商品信息等。在分布式系统中,处理...

    zookeeper 配置中心——利用ZkConfig实现分布式配置文件实时同步

    Zookeeper配置中心利用ZkConfig实现分布式配置文件实时同步 1. ZkConfig简介 ZkConfig是一个专为zookeeper开发的配置服务工具包,能够与Java系统良好集成,同时也能为非Java系统以独立进程的形式运行。它支持与...

Global site tag (gtag.js) - Google Analytics