博客首页 → 分布式存储

最新文章列表

docker高级篇2-分布式存储之三种算法

面试题： 1~2亿条数据需要缓存，请问如何设计这个缓存案例？ 答：单机单台100%是不可能的。肯定是分布式缓存的。那么用Redis如何落地？ 一般有三 ...
分布式存储 
kaizi1992 评论(0) 有358人浏览 2022-12-18 13:47

【转】京东分布式存储建设之路(JFS)

[京东技术]声明：本文转载自微信公众号“IPDCHAT”，转载务必声明。   一拍而合，京东分布式存储起航1   在项目中你经常会遇到，有一些图片、视 ...
京东分布式存储JFS 
IXHONG 评论(0) 有1375人浏览 2016-12-31 21:08

Glusterfs 分布式存储环境搭建笔记

1、由于开发环境暂时无法接入互联网，故需要自己准备好RPM安装包，可在本地虚拟机上利用一下命令将glusterfs所需要的安装包下载下来：       1）安装yum下载插件 yum install  --downloadonly --downloaddir=/home/admin/glusterfs glusterfs-server       2）rpm –ivh epel-release ...
glusterfs分布式存储环境搭建 
holysilent 评论(0) 有741人浏览 2016-11-25 10:53

Hadoop理解

作为分布式系统而言，有两个重要内容（当然还有其它的内容，这里仅仅讨论hadoop的核心）：分布式存储和分布式计算。 分布式存储的原理：将一个大文件划分成若干部分，存储到不同的节点上（副本存储）。 好处：1）由于有副本存储，某个节点的down机不会影响到整个集群的使用，数据还是可以保证完整性的；       2）大文件划分小文件存储，这样便于后面的处理。这是因为计算节点（存储节点是同一个概念）可以处 ...
Hadoop理解分布式存储分布式计算框架 
以矫健身姿飞跃 评论(0) 有358人浏览 2015-12-25 15:50

redis-cluster研究和使用

最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群. 转载请注明出处哈:http://hot66hot.iteye.com/admin/blogs/2050676 一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出，可 ...
rediscluster分布式存储 
hot66hot 评论(49) 有166279人浏览 2014-04-21 12:39

分布式内存网格 - Hazelcast

Hazelcast Class作为所有数据(maps, queues, multimaps, topics)和执行组件(executor service)的中心管理工厂，是应用服务的唯一入口。   在启动时, 调用 Hazelcast.newHazelcastInstance(Config)方法，其实是调用核心工厂类FactoryImpl.newHazelcastInstanceProxy( ...
Hazelcast分布式存储集群 
reddog 评论(0) 有3074人浏览 2012-11-29 13:28

淘宝分布式框架Fourinone2.0正式版发布

淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1935人浏览 2012-06-04 11:03

Fourinone2.0对分布式文件的简化操作

Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中，FttpAdapter提供对远程文件的操作，FileAdapter提供对本地文件的操作，两者api和使用相似，这 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(1) 有2739人浏览 2012-05-30 14:17

操作分布式文件之八：如何批量并行读写远程文件和事务补偿处理

FileBatch类提供了一系列对批量并行读写操作支持（包括对FttpAdapter和FileAdapter），它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1990人浏览 2012-05-30 13:51

操作分布式文件之七：如何并行读写远程文件

FttpAdapter是通过FttpReadAdapter的tryReadAll方法进行并行读FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");Result<byte[]> rs = fa.getFttpReader().tryRe ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有2207人浏览 2012-05-30 13:37

操作分布式文件之六：如何解析远程文件

假设通过FttpAdapter已经读取到远程文件中一部分数据，如下：FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll(); 上面得到一个byt ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1642人浏览 2012-05-30 11:55

操作分布式文件之五：如何读写远程文件

FttpAdapter是通过FttpReadAdapter来直接读取远程文件内容 FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll(); 上 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有2206人浏览 2012-05-29 15:02

操作分布式文件之四：如何进行集群内文件复制和并行复制

集群文件复制是经常面临的需求，比如备份容灾，文件迁移，同步数据等等 FttpAdapter提供了简单高效的文件复制方法，支持远程文件的集群内复制FttpAdapter fromfile = new FttpAdapter("fttp://10.232.20.151/home/log/a.log");FttpAdapter tofile = fromfile.copyTo(&q ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有2908人浏览 2012-05-29 14:56

操作分布式文件之三：如何访问和操作远程文件

FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log");上面实例化一个FttpAdapter类，并输入一个fttp路径，可以是一个目录路径，也可以是个文件路径 FttpAdapter类提供了一系列访问远程文件的方法：createDirectory和creat ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有2459人浏览 2012-05-29 14:49

操作分布式文件之二：如何访问集群文件根目录

启动成功FttpServer后，可以使用FttpAdapter的api进行相关操作： FttpAdapter.fttpRoots()是一个静态方法，可以得到集群文件系统根目录，它返回一个String数组，通常是ip字符对应每台计算机。 listRoots（）方法可以得到每台计算机上的硬盘目录，比如： FttpAdapter fa = new FttpAdapter("fttp://&q ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有2111人浏览 2012-05-29 14:43

操作分布式文件之一：如何搭建配置FttpAdapter环境

FttpAdapter的使用很简单，在每台计算机上启动一个FttpServer即可，另外需要启动一个ParkServer负责协同。ParkServer也可以和其中一个FttpServer放在相同计算机上 1、启动ParkServerDemo（它的IP端口已经在配置文件的PARK部分的SERVERS指定） 2、每台计算机启动FttpServer,需要指定该计算机的ip为输入参数 启动好后，然后打开 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(4) 有3726人浏览 2012-05-29 14:40

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54916) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37266) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics