分片热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

Redis集群实现原理

Redis 集群是 Redis 提供的分布式数据库方案，它通过分片（sharding）来进行数据共享，并提供复制和故障转移功能。节点一个 Redis 集群通常由多个节点（node）组成。一个节点就是运行在集群模式下的一台 Redis 服务器，Redis 服务器在启动时会根据 cluster-enabled 配置选项来决定是否开启集群模式。 ...

redis 分布式集群分片

aisxyz 评论(0) 有661人浏览 2019-09-14 12:19

以太坊分片Sharding FAQ

简介目前，在所有的区块链协议中每个节点存储所有的状态（账户余额，合约代码和存储等等）并且处理所有的交易。这提供了大量的安全性，但极 ...

以太坊区块链分片 sharding 数据存储

it_node 评论(0) 有523人浏览 2018-06-10 15:50

MongoDB伪分布集群搭建

OS：CentOS7 MongoDB 版本：3.6 安装创建Mongo的yum源文件 vi /etc/yum.repos.d/mongodb-org-3.6.repo 替换为阿里源 [mongodb-org-3.6] name=MongoDB Repository baseurl=http://m ...

mongodb 集群分片

theseus 评论(0) 有1550人浏览 2018-04-22 16:33

centos下twemproxy安装

1.解压 tar -xvf nutcracker-0.4.1.tar.gz 2.安装 yum install -y libtool cd nutcracker-0.4.1 ./configure make make install 3.配置文件 cp /home/test/nutcracker-0.4.1/conf/nutcracker.yml /etc/twe ...

redis 分片 twemproxy

冰糖葫芦评论(0) 有1000人浏览 2017-07-11 13:36

数据切分

摘录：http://zhengdl126.iteye.com/blog/419850 引言第1章引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对� ...

shadding 分片大数据性能优化数据库

zhongmin2012 评论(0) 有403人浏览 2016-05-30 11:27

15.RDD 创建

第15课：RDD创建内幕 1. RDD的创建方式 Spark应用程序运行过程中，第一个RDD代表了Spark应用程序输入数据的来源，之后通过Trasformation来对RDD进行各种算子的转换，来实现具体的算法 Spark中的基本方式： 1) 使用程序中

spark rdd 分片

zhou_yuefei 评论(0) 有740人浏览 2016-04-23 10:55

14.RDD深度解析

开篇：spark各种库，sparksql，sparkmachicelearning，等这么多库底层都是封装的RDD。意味着 1：RDD本身提供了通用的抽象， 2：spark现在有5个子框架，sql，Streaming，流式处理，机器学习，图计算，sparkR。可以根据具体领域的内容建模，建第6个库，第7个库。必须掌握spark的这个通用抽象基石-RDD.

spark rdd 分片 checkpoint 容错

zhou_yuefei 评论(0) 有776人浏览 2016-04-22 20:42

Elasticsearch 分布式文档存储

原文链接：http://blog.csdn.net/dm_vincent/article/details/41242565 本文翻译自Elasticsearch官方指南的distributed document store一章。分布式文档存储在上一章中，� ...

elasticsearch 分片索引

study121007 评论(0) 有952人浏览 2016-04-19 22:44

集群的工作原理（二）

原文链接：http://blog.csdn.net/dm_vincent/article/details/41205325 参考链接：http://es.xiaoleilu.com/020_Distributed_Cluster/20_Add_failover.html 本文翻译自Elasticsearch官方指南的life inside a cluster一章。增加故 ...

elasticsearch 集群分片

study121007 评论(0) 有757人浏览 2016-04-19 05:49

集群的工作原理（一）

原文链接： http://blog.csdn.net/dm_vincent/article/details/41205207 本文翻译自Elasticsearch官方指南的life inside a cluster一章。 ES就是为高可用和可扩展而生的。扩展可以通过购置性能更强的服务器(垂直扩展或者向上扩展，Vertical Scale/Scaling Up)，亦或是通过购置更多的服务器 ...

elasticsearch 集群分片

study121007 评论(0) 有1010人浏览 2016-04-19 05:39

Redis demo

下载jedis包（操作Redis的java API） <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.6.0</version> </ ...

redis jedis 分片连接池

jsjrjz08 评论(0) 有508人浏览 2015-10-12 13:40

python序列学习

我的学习python练习的环境的是ubuntu 14.04操作系统，默认的是安装python2.7。所以一切的练习都是在python2.7上。下面我把学习序列的一些操作和想� ...

python 数组索引分片

studypi 评论(0) 有727人浏览 2015-04-19 12:24

9.Redis 3.0.0 Cluster Redis集群的其他操作

安装部分参考 http://sgq0085.iteye.com/blog/2198597 一.对集群进行重新分片 redis-trib.rb reshard 对集群中共有的16384 slot（哈希槽）重新分片，是Redis集群维护的基础，添加和删除节点都涉及到该部分内容； 1.查看节点状态，slot（哈希槽）状态和节点ID并记录下节点ID ./redis-trib.rb che ...

Redis Cluster 集群分片

sgq0085 评论(0) 有3097人浏览 2015-04-03 23:28

MongoDB权威指南_学习笔记3

GirdFS是一种在MongoDB中存储大二进制文件的机制。 mongofiles内置在MongoDB发布版中，可以用来在GridFS中上传、下载、列示、查找或删除文件。 $ echo "Hello World" > foo.txt $ ./mongofiles put foo.txt connected to : 127.0.0.1 added file : { _id ...

mongodb GridFS DBRef 数据备份及修复分片

forever1121 评论(0) 有562人浏览 2014-09-11 17:37

搜索引擎的分片（shard）和副本（replica）机制

搜索引擎通过分片（shard）和副本（replica）实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。有2个分片和3份副本的索引结构如下所示：

搜索引擎副本分片 elasticsearch

yangshangchuan 评论(2) 有3869人浏览 2014-08-13 18:37

Redis入门很简单之七【使用Jedis实现客户端Sharding】

<一>. 背景介绍： 1. sharding机制：即通常所说的“分片”，允许数据存放在不同的物理机器上，以适应数据量过大的场景，克服单台机器内存或者磁盘空间的限制。而这种“离散式”地存放，对客户端来说是透明的，对客户端来讲，完全看不到这种差别。 2. 常见的内存缓存中间件，比如Memcached支持服务器端Sharding，客户端根本无须关心具体的实现细节。而Redis并不支持服务 ...

redis jedis spring sharding 分片

Hello_Nick_Xu 评论(5) 有7818人浏览 2014-06-11 00:15

《hadoop权威指南第二版》读书疑问（1）

第二章数据流部分，其中有段描述如下：最佳分片大小应该与块大小相同，因为它是确保可以存储在单个节点上的最大输入块大小。如果分片跨越两个数据块，那个对任何一个HDFS节点，基本上都不可能同时存储这两个数据块，因为分片中的部分数据需要通过网络传输到map任务节点。本人刚刚开始学些hadoop，对红色高亮部分不甚了解，望高手指教。问题补充：一个节点是否只有一个map任务运行？ ...

hadoop 数据块分片

derekzhi 评论(1) 有947人浏览 2014-04-29 23:05

搭建高可用mongodb集群（四）—— 分片

按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不 ...

mongodb 故障转移 shard 分片负载均衡

lanceyan 评论(0) 有1000人浏览 2014-03-31 09:42

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

博客电子书下载排行

>>浏览更多下载