基于分布式存储的Windows ODX实现与优化

资讯频道 → 操作系统

1顶
0踩

2017-02-13 13:14 by 副主编 jihong10102006 评论(0) 有7994人浏览

windows 分布式存储

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

作者简介：文刘飞，杉岩数据联合创始人引擎架构师

编者按：服务器虚拟化技术在提高服务器利用率的同时，也消耗了大量的CPU、内存和网络带宽资源，本文从存储卸载加速的背景出发，探讨基于分布式存储的Windows ODX的实现与优化。

1.存储卸载加速的背景
服务器虚拟化成为数据中心的主流技术，大量运行的虚拟机大大提高了服务器的利用率，对虚拟机进行批量的创建、复制、迁移极大的简化了IT运维的同时，也带来了大量的数据拷贝操作，进而消耗了服务器的大量CPU、内存和网络带宽资源。

针对于这些问题，VMware提出了VAAI（vStorage API for Array Integration）接口，希望将VMware基础架构的某些功能委托给存储阵列去实现，通过减少数据对于虚拟机和物理服务器的资源消耗，从而提升VMware基础架构的性能。

同时，Microsoft也在Windows 8或Windows Server 2012中新增了卸载数据传输(Offloaded Data Transfer ODX)这一功能，期望把数据拷贝功能卸载到存储硬件中，降低虚拟化服务器的开销。

本文将和您一起探讨Windows ODX的实现与优化

通过配合支持卸载的存储硬件使用，ODX可在不占用 Hyper-V 宿主机 CPU 资源的情况下通过存储设备执行文件复制操作，由存储设备直接从一个存储位置读取数据，并写入到另一个位置。卸载数据传输的设计符合T10 XCOPY Lite规范，对数据拷贝加速进行了端到端的设计，理论上支持在不同存储厂商的存储设备之间进行数据复制。

2.ODX实现原理概述
ODX使用基于令牌的机制在智能存储阵列内部或之间复制数据。待复制的源文件和目标文件可以在同一个卷上、同一服务器管理的两个不同卷、或者多个服务器共享的群集共享卷上。

令牌是一个512字节的随机数，令牌代表了一个或多个extent（最多128MB的实际数据），一般是一个文件或文件的一部分。令牌由存储控制器通过哈希算法产生，同时令牌具有一定的生命周期。因此微软一直认为安全性和兼容性是Windows ODX区别于 VMware VAAI的一个显著特征。

由于传给主机的是代表数据的令牌，而不是数据本身，因此大大提高了数据复制的性能。同时由于ODX的命令交互比较多，因此ODX文件复制要求文件至少为256KB，太小的文件所产生的开销会使得XCOPY操作变得没有任何意义。

图1 Windows ODX基于令牌的复制操作

如上图所示，利用ODX实现数据复制的主要操作流程如下所示：

用户通过Windows Explorer或命令行执行文件复制/移动。
Windows 8或Windows Server 2012发送一个读请求给存储控制器要求执行数据拷贝（POPULATE_TOKEN命令，包含了源LBA/Block length pair list）
存储控制器创建代表数据的令牌并发送回主机（SP创建PIT token）
主机使用令牌发起写请求给存储控制器（WRITE_USING_TOKEN命令，包含一个目标LBA/Block length pair list）
存储控制器根据令牌信息，验证令牌的有效性和源数据位置，并把数据传输数据到目标位置。
最后存储控制器把ODX复制的结果发送给主机（主机使用RECEIVE_ROD_TOKEN_INFORMATION命令查询结果）

为了实现ODX功能，ODX增加了如下几个SCSI命令：

POPULATE_TOKEN命令，发送卸载读请求给存储控制器，请求针对虚拟磁盘LUN A的某段数据产生一个数据令牌。
WRITE_USING_TOKEN命令，携带数据令牌发送卸载写请求给存储控制器，请求把该令牌所代表的数据复制到指定位置。
RECEIVE_ROD_TOKEN_INFORMATION 命令，发送卸载查询请求给存储控制器，查询卸载读/写的结果。

3.ODX在分布式存储的优化

3.1令牌的管理和同步
对于分布式存储集群，通常会提供多个存储控制器来实现IO的并发访问以及IO路径的高可用(如图2所示)。同时Windows服务器通过iSCSI MPIO和分布式存储连接以后，ODX可能会对不同的存储控制器分别下发POPULATE_TOKEN命令和WRITE_USING_TOKEN命令。这就要求某一个存储控制器产生的数据令牌需要和其他存储控制进行实时同步。同时令牌具有一定的生命周期，因此存储控制器需要保证数据令牌的唯一性，并且定期清理已经过期的数据令牌。

图2 提供多个ISCSI服务端的分布式存储集群

3.2 ODX相关参数调优
ODX进行数据复制时，默认传输的一个数据片段大小为64MB，支持传输的最大数据片段为256MB。由于不同的分布式存储环境，所配置的HDD、SSD磁盘数量各不相同，因此不同环境最有的数据传输切片大小也各不一样。ODX支持通过存储的VPD描述去建议最优的数据切片大小。因此可以结合分布式存储的配置情况，选择最优的数据传输片段大小。

考虑到分布式存储在产生数据令牌时，需要在各存储控制器之间通过网络进行实时同步，时延开销比较大，因此可以通过配置参数，最大化数据令牌所代表的数据块大小，减少POPULATE_TOKEN命令的发送次数。

3.3 ODX相关的流量控制以及一些异常处理
ODX进行数据复制时，通常都是大数据块的读写，这样会对存储服务器的硬盘带来很大的压力，进而影响对其他IO业务的处理。因此有必要在同时存在其他业务IO时，对ODX相关的IO做一定的流量限制。

在某些异常场景，WRITE_USING_TOKEN命令的目标位置和源文件位置会发生重叠，这样有可能会导致数据处理不正确，因此在执行写操作前需要增加一些位置校验。

4.ODX的优化效果
杉岩数据的SandStone UPS作为企业级软件定义存储产品，对Windows ODX实现了完美的支持，借助ODX，SandStone UPS大大节省服务器的网络带宽和CPU资源。下图为Windows 2012服务器通过1G网络连接SandStone USP进行数据复制的测试。

从任务管理器可以看到，在做数据复制时，网络带宽和内存、CPU消耗都不大，特性是网络带宽只占用了200K左右，但是数据复制显示的速度平均有200MB，远超过1G网络带宽的限制。（说明一下：200k是Windows和存储控制器直接带宽，Windows只是发送控制命令，实际的数据传输是在存储网络间进行的。）

以上，就是我们在Windows ODX上的具体优化实践，本着开放、务实的技术理念，未来，将积极吸取行业的优秀经验和技术产品，从而为用户打造一套更加完善的需求解决方案。(责编／魏伟)

查看图片附件

分享到：

1
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

AUTOSAR从入门到精通-中间件通信DDS（三）

DDS(Data Distribution Service数据分发服务)是对象管理组织OMG的有关分布式实时系统中数据发布的一个较新的规范(2004年12月发布1.0版，2007年1月发布1.2版)。DDS规范采用了发布/订阅体系结构，但对实时性要求提供更...

开发者必看！Windows Server 2012全攻略

品牌：微软操作系统1Windows Server 2012概论与往常不同的是，今年在服务器领域发生了翻天覆地的变化。从底层的新品架构推动服务器基础设施扑面而来的升级换代，到构建云基础架构平台上分布式处理系统应对大数据...

微软HPC解决方案概述与实作

例如，一个分布式群集的节点，可以是server，pc，hpc，可以是跨机房，跨地区，跨国，可以是windows，linux，unix，可以分布式计算里面再包括多个群集，多个节点，基本上分布式群集最大的一个特点，就是对提供计算的...

微软HPC解决方案

首先我们先来看下高性能群集与其它几种群集的不同高可用群集：群集所有节点，来维持一个应用的持续运作，如果当前应用所在节点失败，自动故障转移至其它节点负载均衡群集：群集所有节点来平衡一个应用的访问...

BizTalk学习笔记系列之二：实例说明如何使用BizTalk

存储和交付体系结构组合在一起，使基于编排的应用场合的吞吐率有了极大的提高。该编排引擎通过自动事务缓冲池进一步优化了性能。此外，该引擎的向外扩充模型允许编排处理以负载平衡的方式分散在一个 BizTalk 群集...

Biztalk 知识整理

我们就用这个来实现发送端口与接收端口的关联。在条件表达式中设置：　BTS.ReceivePortName == ReceiveFiles 　10.　启动BizTalk 应用程序验证程序　右击Hello World应用程序选择Start。打开刚才配置的接收文件夹...

网络编程Netty框架深度解析：NIO核心技术、线程模型与高性能网络应用设计

内容概要：本文档详细介绍了Netty框架的核心概念、特点、线程模型、序列化协议选择及其实现细节。首先对比了BIO、NIO和AIO的区别，重点阐述了NIO的非阻塞特性及其基于事件驱动的工作原理。接着深入讲解了Netty的高性能表现，包括零拷贝技术、心跳机制、内存管理、流量整形等方面。文档还探讨了Netty的线程模型，包括单线程、多线程和主从多线程模型，并解释了NIOEventLoopGroup的源码实现。此外，文档讨论了TCP粘包/拆包问题及其解决方案，以及常见的序列化协议（如JSON、Protobuf、Thrift等）的特点和适用场景。适合人群：具备一定网络编程基础，特别是对Java NIO和Netty框架有一定了解的研发人员和技术专家。使用场景及目标：①理解NIO与传统BIO的区别，掌握NIO的非阻塞特性和事件驱动模型；②深入了解Netty的高性能设计原则，包括零拷贝、心跳检测、内存管理和线程模型；③掌握TCP粘包/拆包的原理及解决方案；④根据具体应用场景选择合适的序列化协议。阅读建议：本文档内容较为深入，建议读者在阅读过程中结合实际代码和应用场景进行理解。对于Netty的线程模型和序列化协议部分，可以通过实际编程练习加深理解。特别地，理解NIOEventLoopGroup的源码实现需要有一定的Java多线程编程基础。

美高森美提供的SmartFusion2 SoC FPGA双轴电机控制套件带有模块化电机控制IP集和参考设计.doc

基于三菱FX1S PLC和威纶通触摸屏的双伺服打孔机控制系统开发详解

内容概要：本文详细介绍了使用三菱FX1S系列PLC和威纶通触摸屏构建双伺服打孔机控制系统的开发过程。主要内容涵盖系统架构、PLC程序设计、触摸屏配置以及开发中常见的注意事项。系统的核心在于通过PLC控制伺服电机完成精确的打孔动作，触摸屏则用于参数设置和运行监控。文中还讨论了伺服电机的参数配置、循环控制逻辑、MODBUS通信配置、界面设计及实时数据更新等方面的内容。此外，作者分享了一些实际开发中的经验和教训，如伺服电机的过冲和欠冲问题、程序稳定性的保障措施以及触摸屏响应速度的优化。适合人群：从事自动化控制领域的工程师和技术人员，尤其是对PLC编程和伺服控制有一定基础的人群。使用场景及目标：适用于需要高精度定位和控制的工业应用场景，如钣金加工车间。目标是帮助读者掌握双伺服打孔机的开发流程，提高系统的稳定性和效率。其他说明：文中提到的技术细节和实践经验对于理解和解决类似项目的难题非常有帮助。建议读者在实践中结合具体情况进行调整和优化。

太远市-小店区-街道行政区划_140105_Shp数据-wgs84坐标系 (1).rar

街道级行政区划shp矢量数据，wgs84坐标系，下载直接使用

乌兰察布市-乌兰察布市-街道行政区划_150900_Shp数据-wgs84坐标系.rar

街道级行政区划shp矢量数据，wgs84坐标系，下载直接使用

呼伦贝尔市-满洲里市-街道行政区划_150781_Shp数据-wgs84坐标系.rar

临汾市-尧都区-街道行政区划_141002_Shp数据-wgs84坐标系.rar

街道级行政区划shp矢量数据，wgs84坐标系，下载直接使用

Java基于springboot+vue的资产管理系统源码+数据库（高分项目）

Java基于springboot+vue的资产管理系统源码+数据库（高分项目），个人经导师指导并认可通过的高分设计项目，评审分99分，代码完整确保可以运行，小白也可以亲自搞定，主要针对计算机相关专业的正在做大作业的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。 Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据库（高分项目）Java基于springboot+vue的资产管理系统源码+数据

吕梁市-吕梁市-街道行政区划_141100_Shp数据-wgs84坐标系.rar

街道级行政区划shp矢量数据，wgs84坐标系，下载直接使用

邢台市-巨鹿县--街道行政区划_130529_Shp-wgs84坐标系.rar

街道级行政区划shp数据，wgs84坐标系，直接下载使用。

石家庄市-石家庄市-石家庄市-石家庄市-街道行政区划_130100_Shp数据wgs84坐标系.rar

街道级行政区划shp数据，wgs84坐标系，直接下载使用。

北京市-昌平区-街道行政区_110114_shp-wgs84坐标系.rar

街道级行政区划shp数据，wgs84坐标系，直接使用。

朔州市-朔城区-街道行政区划_140602_Shp数据-wgs84坐标系.rar

街道级行政区划shp矢量数据，wgs84坐标系，下载直接使用