`

分布式自增ID生成策略-Twitter-Snowflake实现

阅读更多
JAVA 实现:
package io.github.id;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * 第一位为未使用(实际上也可作为long的符号位),接下来的41位为毫秒级时间,然后5位datacenter标识位,</br>
 * 5位机器ID(并不算标识符,实际是为线程标识),然后12位该毫秒内的当前毫秒内的计数,加起来刚好64位,为一个Long型。
 * 0---0000000000 0000000000 0000000000 0000000000 0 --- 00000 ---00000 ---000000000000
 * @author cailin
 *
 */
public class IdWorker {
     
    protected static final Logger LOG = LoggerFactory.getLogger(IdWorker.class);
     
    //机器id
    private long workerId;
    
    //数据中心id
    private long datacenterId;
    private long sequence = 0L;
 
    private long twepoch = 1288834974657L;
 
    //机器标识位数
    private long workerIdBits = 5L;
    //数据中心标识位数
    private long datacenterIdBits = 5L;
    //机器ID最大值
    private long maxWorkerId = -1L ^ (-1L << workerIdBits);
    //数据中心ID最大值
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
    //毫秒内自增位
    private long sequenceBits = 12L;
    //机器ID偏左移12位
    private long workerIdShift = sequenceBits;
    //数据中心ID左移17位
    private long datacenterIdShift = sequenceBits + workerIdBits;
    //时间毫秒左移22位
    private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);
 
    private long lastTimestamp = -1L;
 
    /**
     * @param workerId 机器id
     * @param datacenterId 数据中心id
     */
    public IdWorker(long workerId, long datacenterId) {
        // sanity check for workerId
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
        }
        this.workerId = workerId;
        this.datacenterId = datacenterId;
        LOG.info(String.format("worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d", timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId));
    }
 
    public synchronized long nextId() {
        long timestamp = timeGen();
 
        if (timestamp < lastTimestamp) {
            LOG.error(String.format("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp));
            throw new RuntimeException(String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }
 
        if (lastTimestamp == timestamp) {
        	//当前毫秒内,则+1
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) {
            //当前毫秒内计数满了,则等待下一秒
                timestamp = tilNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0L;
        }
 
        lastTimestamp = timestamp;
        
        //ID偏移组合生成最终的ID,并返回ID   
 
        return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence;
    }
 
    protected long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }
 
    protected long timeGen() {
        return System.currentTimeMillis();
    }
    
    public static void main(String[] args) {
    	IdWorker  worker  = new IdWorker(1, 1);
    	worker.nextId();
    	
	}
}


PHP实现:
<?php
/* vim: set expandtab tabstop=4 shiftwidth=4: */
// +----------------------------------------------------------------------+
// | PHP version 5                                                        |
// +----------------------------------------------------------------------+
// | Copyright (c) 1997-2004 The PHP Group                                |
// +----------------------------------------------------------------------+
// | This source file is subject to version 3.0 of the PHP license,       |
// | that is bundled with this package in the file LICENSE, and is        |
// | available through the world-wide-web at the following url:           |
// | http://www.php.net/license/3_0.txt.                                  |
// | If you did not receive a copy of the PHP license and are unable to   |
// | obtain it through the world-wide-web, please send a note to          |
// | license@php.net so we can mail you a copy immediately.               |
// +----------------------------------------------------------------------+
// | Authors: Original Author <author@example.com>                        |
// |          Your Name <you@example.com>                                 |
// +----------------------------------------------------------------------+
//
// $Id:$

class Idwork {
    const debug = 1;
    static $workerId;
    static $twepoch = 1361775855078;
    static $sequence = 0;
    const workerIdBits = 4;
    static $maxWorkerId = 15;
    const sequenceBits = 10;
    static $workerIdShift = 10;
    static $timestampLeftShift = 14;
    static $sequenceMask = 1023;
    private static $lastTimestamp = - 1;
    function __construct($workId) {
        if ($workId > self::$maxWorkerId || $workId < 0) {
            throw new Exception("worker Id can't be greater than 15 or less than 0");
        }
        self::$workerId = $workId;
        echo 'logdebug->__construct()->self::$workerId:' . self::$workerId;
        echo '</br>';
    }
    function timeGen() {
        //获得当前时间戳
        $time = explode(' ', microtime());
        $time2 = substr($time[0], 2, 3);
        $timestramp = $time[1] . $time2;
        echo 'logdebug->timeGen()->$timestramp:' . $time[1] . $time2;
        echo '</br>';
        return $time[1] . $time2;
    }
    function tilNextMillis($lastTimestamp) {
        $timestamp = $this->timeGen();
        while ($timestamp <= $lastTimestamp) {
            $timestamp = $this->timeGen();
        }
        echo 'logdebug->tilNextMillis()->$timestamp:' . $timestamp;
        echo '</br>';
        return $timestamp;
    }
    function nextId() {
        $timestamp = $this->timeGen();
        echo 'logdebug->nextId()->self::$lastTimestamp1:' . self::$lastTimestamp;
        echo '</br>';
        if (self::$lastTimestamp == $timestamp) {
            self::$sequence = (self::$sequence + 1) & self::$sequenceMask;
            if (self::$sequence == 0) {
                echo "###########" . self::$sequenceMask;
                $timestamp = $this->tilNextMillis(self::$lastTimestamp);
                echo 'logdebug->nextId()->self::$lastTimestamp2:' . self::$lastTimestamp;
                echo '</br>';
            }
        } else {
            self::$sequence = 0;
            echo 'logdebug->nextId()->self::$sequence:' . self::$sequence;
            echo '</br>';
        }
        if ($timestamp < self::$lastTimestamp) {
            throw new Excwption("Clock moved backwards.  Refusing to generate id for " . (self::$lastTimestamp - $timestamp) . " milliseconds");
        }
        self::$lastTimestamp = $timestamp;
        echo 'logdebug->nextId()->self::$lastTimestamp3:' . self::$lastTimestamp;
        echo '</br>';
        echo 'logdebug->nextId()->(($timestamp - self::$twepoch << self::$timestampLeftShift )):' . ((sprintf('%.0f', $timestamp) - sprintf('%.0f', self::$twepoch)));
        echo '</br>';
        $nextId = ((sprintf('%.0f', $timestamp) - sprintf('%.0f', self::$twepoch))) | (self::$workerId << self::$workerIdShift) | self::$sequence;
        echo 'timestamp:' . $timestamp . '-----';
        echo 'twepoch:' . sprintf('%.0f', self::$twepoch) . '-----';
        echo 'timestampLeftShift =' . self::$timestampLeftShift . '-----';
        echo 'nextId:' . $nextId . '----';
        echo 'workId:' . self::$workerId . '-----';
        echo 'workerIdShift:' . self::$workerIdShift . '-----';
        return $nextId;
    }
}
$Idwork = new Idwork(1);
$a = $Idwork->nextId();
$Idwork = new Idwork(2);
$a = $Idwork->nextId();
?>      



压力测试结果,8g内存的笔记本,10w次请求1000线程
time:0:00:49.145
speed:4069589.9888086272

压力测试代码:
package io.github.id;

import java.util.HashSet;
import java.util.Set;
import java.util.concurrent.CountDownLatch;

import org.apache.commons.lang3.time.StopWatch;

public class Benchmark {
	public static void main(String[] args) throws InterruptedException {
		Benchmark benchmark = new Benchmark();
		benchmark.test();
	}

	public void test() throws InterruptedException {
		int threadCount = 2000;
		final int genCount = 100000;
		StopWatch watch = new StopWatch();
	    final IdWorker idWorker = new IdWorker(0, 0);
		final CountDownLatch latch = new CountDownLatch(threadCount);
		final  Set<Long> set = new HashSet();
		
		
		watch.start();
		for (int i = 0; i < threadCount; ++i) {
			Thread thread = new Thread() {
				public void run() {
					for (int j = 0; j < genCount; ++j) {
						  long id = idWorker.nextId();
			
			
					}
					latch.countDown();
				}
			};
			thread.start();
		}

		latch.await();
		watch.stop();

		System.err.println("time:" + watch);
		System.err.println("speed:" + genCount * threadCount / (watch.getTime() / 1000.0));
	}
}
分享到:
评论

相关推荐

    snowflake-C语言实现分布式自增有序的唯一ID生成算法

    We have retired the initial release...Source code is still in the repository and is reachable from snowflake-2010 tag. We won't be accepting pull requests or responding to issues for the retired release.

    Twitter的分布式自增ID雪花算法snowflake

    综上所述,Twitter的雪花算法(Snowflake)提供了一种高效、简单的分布式ID生成方案,通过合理的结构设计,确保了全局唯一性和顺序性。在Java环境下,可以通过实现相应的类和方法轻松地引入这一机制,为分布式系统的...

    springboot分布式自增id_javaredis_源码

    标题中的“springboot分布式自增id_javaredis_源码”表明我们关注的是一个使用Spring Boot实现的分布式系统中的自增ID生成方案,其中利用了Java Redis客户端库。在分布式环境中,确保全局唯一且顺序递增的ID是常见的...

    Java实现Twitter的分布式自增ID算法snowflake

    总结来说,Java实现的Twitter Snowflake算法是一种高效、有序的分布式自增ID生成器,适用于需要全局唯一标识且对时间顺序有要求的系统。通过合理的位分配,它能够在分布式环境中提供线性扩展性和时间上的顺序性。

    Go-GolangMysql实现的分布式ID生成服务

    Twitter开源的Snowflake算法是一种常用的分布式ID生成策略,它将ID分为三部分:时间戳(41位)、工作机器ID(10位)和序列号(12位)。通过这种方式,可以保证ID的全局唯一性,并且有序。 #### 3.2 UUID UUID...

    java快速ID自增器

    3. **分布式ID生成器**:如Snowflake算法,它是由Twitter开源的一种分布式ID生成方案。通过时间戳、工作机器ID和序列号三部分组合,可以生成全局唯一的ID,而且排序性好。在Java中,可以使用诸如Snowflake或者其变种...

    细聊分布式ID生成方法.pdf

    本文将深入探讨分布式环境下ID生成的各种策略和技术细节。 #### 二、背景知识 在理解分布式ID生成之前,我们需要了解一些基本概念: - **集群(Cluster)**:由多台计算机组成的系统,这些计算机通过网络连接并...

    应用级自增ID的生成

    在实际应用中,自增ID生成器需要考虑性能、可用性和扩展性。例如,为了处理高并发请求,可能需要批量获取一组ID而不是单个ID,以减少数据库交互次数。同时,为了提高容错性,可能有备份策略或者故障转移机制。 总结...

    SnowFlake:Twitter的分布式自增ID雪花算法snowflake(Java版)

    而twitter的snowflake解决了这种需求,最初是Twitter把存储系统从MySQL迁移到Cassandra,因为Cassandra没有顺序的ID生成机制,所以开发了这样一套唯一的ID生成服务。结构雪花的结构如下(每部分用-分开): 0 - ...

    分布式id生成详解.pdf

    分布式ID生成是现代互联网系统中不可或缺的一个环节,它在各种业务场景中起到标识唯一对象的作用。为了满足分布式环境的需求,...随着技术的发展,未来可能出现更多创新的分布式ID生成策略来应对不断变化的技术挑战。

    Laravel开发-laravel-snowflake .zip

    传统的自增ID在多节点环境下容易出现冲突,而雪花算法(Snowflake)是Twitter开源的一种解决办法。laravel-snowflake就是Laravel对这个算法的实现,它能够生成类似于Twitter Snowflake的64位ID,这些ID由时间戳、...

    java 分布式 代码生成器 唯一ID

    结合上述信息,"idGenerate"这个文件很可能是包含了一个Java实现的分布式代码生成器项目,可能包含了Snowflake算法或者其他分布式ID生成策略的源代码。通过学习和理解这些代码,我们可以更好地掌握在Java环境中如何...

    分布式id公开课.pptx

    - 例如,基于Redis的自增操作可以实现分布式自增ID,但每次获取ID都需要网络通信,可能会成为性能瓶颈。 4. **雪花算法(Snowflake算法)**: - 雪花算法由Twitter提出,生成的ID由时间戳、工作节点ID和序列号三...

    donkeyid, php扩展,64位自增id生成器.zip

    通过查看`donkeyid-master`目录下的源文件,我们可以学习其设计思想,了解如何在PHP中实现高性能的自增ID生成,并可能根据自己的项目需求进行调整。 此外,使用`donkeyid`扩展可以简化开发流程,避免自行编写复杂的...

    分布式数据库基石-id中的学问-徐海峰

    徐海峰在其讲解中展示了Id生成器在实际应用中需要考虑的需求和挑战,并提出了多种策略和架构设计,以应对分布式系统环境下对Id生成器的高要求。通过这些方法的合理运用,可以极大地提升分布式数据库的性能和可靠性,...

    分布式系统ID生成器解决方案.docx

    ZooKeeper是一个分布式协调服务,可以用来实现分布式ID生成: 1. **Mycat方案**:本地缓存一小段ID(如1-1000),通过ZooKeeper协调更新和分配,利用Curator的分布式锁保证一致性。但这种方案可能导致ID的不连续。 2...

    cpp-idgen是一个可以生成全局唯一自增id的分布式的高可用服务

    cpp-idgen是一个专门为生成全局唯一且自增ID...总之,cpp-idgen作为一款分布式ID生成服务,为大型分布式系统提供了可靠的全局唯一自增ID解决方案,其设计理念和技术实现对于理解和构建类似的系统具有重要的参考价值。

    分布式架构系统生成全局唯一序列号的一些思路对比分析

    利用Redis的原子操作(如INCR命令)可以实现分布式环境下的唯一ID生成。这种方式灵活高效,但依赖于Redis服务的稳定性,如果Redis出现故障,可能会影响ID的生成。 5. **IP+时间戳** 结合服务器的IP地址和当前...

    通用、灵活、高性能的分布式 ID 生成器

    1. **分布式算法实现**:可能基于Snowflake或其他优化的ID生成算法,保证全局唯一性。 2. **服务化部署**:作为一个独立的服务,可以被其他微服务或应用通过网络调用。 3. **可配置性**:允许用户自定义ID结构,比如...

Global site tag (gtag.js) - Google Analytics