`
superlxw1234
  • 浏览: 551447 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44449
社区版块
存档分类
最新评论

Java使用Pipeline对Redis批量读写(hmset&hgetall)

阅读更多

        一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理,Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。
        感觉这有点类似于HBase的Scan,通常是Client端获取每一条记录都是一次RPC调用服务端。
在Redis中,有没有类似HBase Scanner Caching的东西呢,一次请求,返回多条记录呢?
        有,这就是Pipline。官方介绍 http://redis.io/topics/pipelining

        通过pipeline方式当有大批量的操作时候,我们可以节省很多原来浪费在网络延迟的时间,需要注意到是用pipeline方式打包命令发 送,redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多,缓存消耗内存也越多。所以并不是打包的命令越多越好。

        使用Pipeline在对Redis批量读写的时候,性能上有非常大的提升。

        Java测试了一下:

 

       

package com.lxw1234.redis;

import java.util.HashMap;
import java.util.Map;
import java.util.Set;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.Pipeline;
import redis.clients.jedis.Response;


public class Test {
	 
	public static void main(String[] args) throws Exception {
		Jedis redis = new Jedis("127.0.0.1", 6379, 400000);
		Map<String,String> data = new HashMap<String,String>();
		redis.select(8);
		redis.flushDB();
		//hmset 
		long start = System.currentTimeMillis();
		//直接hmset
		for (int i=0;i<10000;i++) {
			data.clear();
			data.put("k_" + i, "v_" + i);
			redis.hmset("key_" + i, data);
		}
		long end = System.currentTimeMillis();
		System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
		System.out.println("hmset without pipeline used [" + (end - start) / 1000 + "] seconds ..");
		redis.select(8);
		redis.flushDB();
		//使用pipeline hmset
		Pipeline p = redis.pipelined();
		start = System.currentTimeMillis();
		for (int i=0;i<10000;i++) {
			data.clear();
			data.put("k_" + i, "v_" + i);
			p.hmset("key_" + i, data);
		}
		p.sync();
		end = System.currentTimeMillis();
		System.out.println("dbsize:[" + redis.dbSize() + "] .. ");
		System.out.println("hmset with pipeline used [" + (end - start) / 1000 + "] seconds ..");
		
		//hmget 
		Set<String> keys = redis.keys("*");
		//直接使用Jedis hgetall
		start = System.currentTimeMillis();
		Map<String,Map<String,String>> result = new HashMap<String,Map<String,String>>();
		for(String key : keys) {
			result.put(key, redis.hgetAll(key));
		}
		end = System.currentTimeMillis();
		System.out.println("result size:[" + result.size() + "] ..");
		System.out.println("hgetAll without pipeline used [" + (end - start) / 1000 + "] seconds ..");
		
		//使用pipeline hgetall
		Map<String,Response<Map<String,String>>> responses = new HashMap<String,Response<Map<String,String>>>(keys.size());
		result.clear();
		start = System.currentTimeMillis();
		for(String key : keys) {
			responses.put(key, p.hgetAll(key));
		}
		p.sync();
		for(String k : responses.keySet()) {
			result.put(k, responses.get(k).get());
		}
		end = System.currentTimeMillis();
		System.out.println("result size:[" + result.size() + "] ..");
		System.out.println("hgetAll with pipeline used [" + (end - start) / 1000 + "] seconds ..");
		
		redis.disconnect();
		
	}
	
	
}

测试结果如下:

    

       http://lxw1234.com/?p=224

 

使用pipeline来批量读写10000条记录,就是小菜一碟,秒完。

 

 

 

 

1
0
分享到:
评论

相关推荐

    详解Java使用Pipeline对Redis批量读写(hmset&hgetall)

    Java使用Pipeline对Redis进行批量读写,主要是针对Redis的hmset和hgetall操作,能够显著提高性能。在常规操作中,每次客户端向Redis发送一个命令,都需要等待服务器的响应,这种模式在网络延迟较大的情况下效率较低...

    Redis.rar Jedis 读写效率测试 hgetAll hmset 10万数量级别测试

    测试Jedis在10万次读写级别情况下的读写效率。...3)Pipeline方式读写,此种方式效率最高,但是由于将多条命令缓存与Outpustream并在syn()方法时一次性flush(),若本次出现异常,会影响全部命令执行。

    python使用pipeline批量读写redis的方法

    标题中的“python使用pipeline批量读写redis的方法”指的是在Python编程环境下,利用Redis数据库的pipeline功能进行高效的数据批量读取和写入操作。这在处理大量数据时能显著提高性能,减少网络通信的延迟。 首先,...

    java 对Redis的导入和导出

    为了提高数据导入导出的效率,可以使用批量操作,如`mset()`和`hmset()`,或者在处理大量数据时开启管道(Pipeline)模式。 5. **安全考虑**: 在实际操作中,应避免在生产环境中直接使用`keys(*)`命令,因为它可能...

    redis 读写性能测试代码

    在标题中提到的“redis 读写性能测试代码”,我们通常会使用Java的Jedis库来实现。Jedis是Java社区广泛使用的Redis客户端,提供了丰富的API接口供开发者进行数据操作。对于“写”的性能测试,我们可以关注以下几个...

    完整的java操作redis demo

    在Java中,通常使用Apache POI库来读写Excel文件。POI提供了HSSF和XSSF两个API,分别用于处理老版本的 `.xls` 文件和新版本的 `.xlsx` 文件。读取Excel时,我们需要创建`Workbook`对象,然后通过`Sheet`和`Row`来...

    如何高效地向Redis插入大量的数据(推荐)

    本文将探讨如何高效地向Redis插入大量数据,重点介绍Redis的管道(Pipeline)模式以及其优势。 首先,我们了解为什么普通客户端直接插入数据效率不高。每个Redis命令发送后,需要等待服务器响应,这中间包含了网络...

    java开发环境使用redisjar包

    Jedis是Java语言中广泛使用的Redis客户端库,它提供了丰富的API来与Redis服务器进行交互。本篇将深入探讨如何在Java开发环境中配置和使用Redis以及Jedis库。 首先,我们需要了解Redis的基本概念。Redis是一个开源的...

    redispipeLine

    1. 批量插入或更新数据:例如,当我们需要一次性存储大量键值对时,使用 Pipeline 可以大大提高效率。 2. 执行多个查找操作:在一个查询链中,如 A-&gt;B-&gt;C,可以将这三个命令放在一个 Pipeline 中执行,减少网络通信...

    redis 性能测试(读写)

    Jedis 是 Java 开发者常用的 Redis 客户端库,它提供了丰富的 Redis 操作接口,使得在 Java 应用中与 Redis 交互变得简单。 在进行 Redis 的性能测试时,我们通常关注两个关键指标:读操作和写操作的性能。这里的...

    java中使用redis需要的jar包

    在Java开发中,Redis作为一个高性能的键值对数据存储系统,常被用于缓存、消息队列等场景。为了在Java应用中与Redis进行交互,我们需要引入特定的Java客户端库,这里提到的是Jedis,一个非常流行的Java Redis客户端...

    java需要用到的redis包

    Java中的Redis客户端库Jedis是连接Redis服务器的常用工具,它提供了丰富的API来操作Redis的各种数据结构。在Java应用中,使用Jedis可以方便地进行数据的存储、读取和处理,极大地提升了开发效率和应用性能。Jedis的...

    redis集群java客户端,支持批量提交

    java客户端不是很好支持redis cluster,spring-date-redis和jedis批量提交还不支持,单个提交都是可以的。 为了批量解决批量提交 网上有几个方案,本示例使用了其中一种,demo里的JedisClusterPipeline类是网上找的...

    java源码:使用Redis存放Session RedisManager.zip

    - 如果需要进行批量操作,可以使用`pipeline()`或`transaction()`方法,提高性能。 在实际应用中,我们还需要考虑以下方面: - **异常处理**:确保在所有可能抛出异常的地方都有适当的错误处理机制。 - **连接池*...

    Redis-PipeLine批量导入.docx

    总的来说,Redis Pipeline 批量导入是一种高效的数据导入方式,通过预处理命令文件并使用 Redis 协议格式,可以确保数据的准确导入并减少网络延迟。同时,结合 MySQL 数据库的特性,可以方便地将数据库数据转换为 ...

    在Redis集群中使用pipeline批量插入的实现方法

    在单机版Redis中,我们可以直接使用Jedis实例的`pipelined()`方法创建Pipeline对象,但在Redis集群中,由于其分布式特性的存在,情况有所不同。 首先,Redis集群将键空间划分为16384个槽(slots),每个主节点处理...

    Java使用Jedis操作Redis服务器的实例代码

    Java使用Jedis操作Redis服务器的实例代码 ...本篇文章介绍了 Java 使用 Jedis 操作 Redis 服务器的实例代码,包括 Maven 配置、简单应用、JedisPool 的实现和使用 pipeline 批量操作等,希望对大家的学习有所帮助。

    基于Java的使用Redis存放Session RedisManager.zip

    - 性能优化:为了减少网络通信开销,可以考虑使用Redis的Pipeline或Transaction批量处理多个操作。此外,合理的数据结构(如Set、Hash、Sorted Set等)选择也能提升查询效率。 6. **扩展性** 除了基本的Session...

    java操作redis数据库实例

    Jedis还支持更多高级功能,如Pipeline(批量操作)、Lua脚本执行等,可以根据具体需求进一步学习和使用。 请根据实际情况调整代码中的IP地址、端口号、键名、值等信息,确保与你的Redis服务器配置匹配。同时,为了...

Global site tag (gtag.js) - Google Analytics