yuqingshui
- 浏览: 27817 次
- 性别:
- 来自: 太原
-
最新评论
文章列表
前言
Java执行GC判断对象是否存活有两种方式其中一种是引用计数。
引用计数：Java堆中每一个对象都有一个引用计数属性，引用每新增1次计数加1，引用每释放1次计数减1。
在JDK 1.2以前的版本中，若一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于(reachable)可达状态，程序才能使用它。
从JDK 1.2版本开始，对象的引用被划分为4种级别，从而使程序能更加灵活地控制对象的生命周期。这4种级别由高到低依次为：强引用、软引用、弱引用和虚引用。
正文
1. 强引用(StrongReference)
强引用是使用 ...
ReentrantLock简介
ReentrantLock是一种可重入的独占锁。ReentrantLock构造方法：
//默认构建非公平锁
public ReentrantLock() {
sync = new NonfairSync();
}
//传入公平参数，构建公平锁/非公平锁
public ReentrantLock(boolean fair) {
sync = fair ? new FairSync() : new NonfairSync();
}
ByteBuf功能原理
ByteBuf是一个byte数组的缓冲区，通过两个位置指针完成缓冲区的读写操作，读操作使用readerIndex，写操作使用writeIndex。
readerIndex和writeIndex初始取值均为0，写入数据，writeIndex增加；读取数据则readerIndex增加。0~readerIndex之间的数据是已经读取的，调用discardReadBytes()可释放这部分空间，其作用类似于JDK ByteBuffer的compact()方法；readerIndex~writeIndex之间的数据是可读取的，等价于ByteBuffer position和l ...
在Java虚拟机的参数中，有3种表示方法
标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；
非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；
非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会随时取消，需要慎重使用（但是，这些参数往往是非常有用的）；
（额外的，-DpropertyName=“value”的形式定义了一些全局属性值，下面有介绍。）
标准参数
其实标准参数是用过Java的人都最熟悉的，就是你在运行java命令时后面加上的参数，如java -version, ...
使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用，但默认配置通常都不匹配你的生产环境，因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的，因此详细地去调研这些参数的含义以及针对不同参数值进行测试是非常重要的。所有这些工作都应该在Kafka正式上生产环境前就做好，并且各种参数的配置要考虑未来集群规模的扩展。
执行优化的流程如下图所示：
明确调优目标
有针对性地配置Kafka ...
在开始分析算法原理之前，简单说明下rsync的增量传输功能。
假设待传输文件为A，如果目标路径下没有文件A，则rsync会直接传输文件A，如果目标路径下已存在文件A，则发送端视情况决定是否要传输文件A。rsync默认使用"quick check"算法，它会比较源文件和目标文件(如果存在)的文件大小和修改时间mtime，如果两端文件的大小或mtime不同，则发送端会传输该文件，否则将忽略该文件。
如果"quick check"算法决定了要传输文件A，它不会传输整个文件A，而是只传源文件A和目标文件A所不同的部分，这才是真正的增量传输。
也就是说，r ...
1.1 说在前面的话
rsync官方网站: https://www.samba.org/ftp/rsync/rsync.html
rsync是可以实现增量备份的工具。配合任务计划，rsync能实现定时或间隔同步，配合inotify或sersync，可以实现触发式的实时同步。
rsync可以实现scp的远程拷贝(rsync不支持远程到远程的拷贝，但scp支持)、cp的本地拷贝、rm删除和"ls -l"显示文件列表等功能。但需要注意的是，rsync的最终目的或者说其原始目的是实现两端主机的文件同步，因此实现的scp/cp/rm等功能仅仅只是同步的辅助手段，且rsync实现 ...
Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。
那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。
页缓存技术 + 磁盘顺序写
首先 Kafka 每次接收到数据都会往磁盘上去写，如下图所示：
那么在这里我们不禁有一个疑问了，如果把数据基于磁盘来存储，频繁的往磁盘文件里写数据，这个性能会不会很差?大家肯定都觉得磁盘写性能是极差的。
近日在使用ssh命令ssh user@remote ~/myscript.sh登陆到远程机器remote上执行脚本时，遇到一个奇怪的问题：
~/myscript.sh: line n: app: command not found
1. 介绍
原文来自linkedin的一篇PPTproducer-performance-tuning-for-apache-kafka。
2. 本文的一些前提
讨论的kafka版本为0.10.0
没有broker端的再压缩
消息都有8字节的时间戳介绍信息
3. 优化目标
给定一个要发送的数据集，在满足持久性、有序性的前提下优化以下两点：
吞吐量
延迟
Kafka的Producer新客户端API实现(JAVA)
导读
本节从新的Producer API示例开始，
Producer
生产者线程：异步发送消息，提供一个Callback；同步发送消息，则调用Future.get()会Block住直到结果返回。
1
2
3
Redis入门简介与主从搭建
前言
Redis 是一种基于 键值对 的 NoSQL 数据库。与很多键值对数据库不同，Redis 提供了丰富的 值数据存储结构，包括 string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、bitmap(位图)等等。
正文
Redis 是一个使用 ANSI C 编写的开源、支持 网络、基于 内存、单线程模型、可选持久性 的 键值对存储数据库。
1. Redis的特性
速度快，最快可达到 10w QPS（基于 内存，C 语言，单线程 架构）；
基于 键值对 (key/va ...
ZooKeeper安全认证机制：ZNode ACL
ZooKeeper的Client-Server互认证机制是从3.4.0版本开始引入的，本文主要介绍znodes的ACL的定义，任务服务接口定义与几种已有的认证服务实现，以及ACL与多种认证服务是如何建立联系的。本文内容基于ZooKeeper 3.5.1版本。
ACL
ZooKeeper的ACL可针对znodes设置相应的权限信息。ACL数据的表示格式为：schema:id:permissions
schema 支持的几种schema为：
world
只有一个名为anyone的