资讯频道 → 操作系统
阅读更多

1顶
0踩

操作系统

原创新闻 基于分布式存储的Windows ODX实现与优化

2017-02-13 13:14 by 副主编 jihong10102006 评论(0) 有7876人浏览
windows 分布式存储

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
作者简介：文刘飞，杉岩数据联合创始人 引擎架构师

编者按：服务器虚拟化技术在提高服务器利用率的同时，也消耗了大量的CPU、内存和网络带宽资源，本文从存储卸载加速的背景出发，探讨基于分布式存储的Windows ODX的实现与优化。

1.存储卸载加速的背景
服务器虚拟化成为数据中心的主流技术，大量运行的虚拟机大大提高了服务器的利用率，对虚拟机进行批量的创建、复制、迁移极大的简化了IT运维的同时，也带来了大量的数据拷贝操作，进而消耗了服务器的大量CPU、内存和网络带宽资源。

针对于这些问题，VMware提出了VAAI（vStorage API for Array Integration）接口，希望将VMware基础架构的某些功能委托给存储阵列去实现，通过减少数据对于虚拟机和物理服务器的资源消耗，从而提升VMware基础架构的性能。

同时，Microsoft也在Windows 8或Windows Server 2012中新增了卸载数据传输(Offloaded Data Transfer ODX)这一功能，期望把数据拷贝功能卸载到存储硬件中，降低虚拟化服务器的开销。

本文将和您一起探讨Windows ODX的实现与优化

通过配合支持卸载的存储硬件使用，ODX可在不占用 Hyper-V 宿主机 CPU 资源的情况下通过存储设备执行文件复制操作，由存储设备直接从一个存储位置读取数据，并写入到另一个位置。卸载数据传输的设计符合T10 XCOPY Lite规范，对数据拷贝加速进行了端到端的设计，理论上支持在不同存储厂商的存储设备之间进行数据复制。

2.ODX实现原理概述
ODX使用基于令牌的机制在智能存储阵列内部或之间复制数据。待复制的源文件和目标文件可以在同一个卷上、同一服务器管理的两个不同卷、或者多个服务器共享的群集共享卷上。

令牌是一个512字节的随机数，令牌代表了一个或多个extent（最多128MB的实际数据），一般是一个文件或文件的一部分。令牌由存储控制器通过哈希算法产生，同时令牌具有一定的生命周期。因此微软一直认为安全性和兼容性是Windows ODX区别于 VMware VAAI的一个显著特征。

由于传给主机的是代表数据的令牌，而不是数据本身，因此大大提高了数据复制的性能。同时由于ODX的命令交互比较多，因此ODX文件复制要求文件至少为256KB，太小的文件所产生的开销会使得XCOPY操作变得没有任何意义。

图1 Windows ODX基于令牌的复制操作

如上图所示，利用ODX实现数据复制的主要操作流程如下所示：
  • 用户通过Windows Explorer或命令行执行文件复制/移动。
  • Windows 8或Windows Server 2012发送一个读请求给存储控制器要求执行数据拷贝（POPULATE_TOKEN命令，包含了源LBA/Block length pair list）
  • 存储控制器创建代表数据的令牌并发送回主机（SP创建PIT token）
  • 主机使用令牌发起写请求给存储控制器（WRITE_USING_TOKEN命令，包含一个目标LBA/Block length pair list）
  • 存储控制器根据令牌信息，验证令牌的有效性和源数据位置，并把数据传输数据到目标位置。
  • 最后存储控制器把ODX复制的结果发送给主机（主机使用RECEIVE_ROD_TOKEN_INFORMATION命令查询结果）

为了实现ODX功能，ODX增加了如下几个SCSI命令：
  • POPULATE_TOKEN命令，发送卸载读请求给存储控制器，请求针对虚拟磁盘LUN A的某段数据产生一个数据令牌。
  • WRITE_USING_TOKEN命令，携带数据令牌发送卸载写请求给存储控制器，请求把该令牌所代表的数据复制到指定位置。
  • RECEIVE_ROD_TOKEN_INFORMATION 命令，发送卸载查询请求给存储控制器，查询卸载读/写的结果。

3.ODX在分布式存储的优化

3.1令牌的管理和同步
对于分布式存储集群，通常会提供多个存储控制器来实现IO的并发访问以及IO路径的高可用(如图2所示)。同时Windows服务器通过iSCSI MPIO和分布式存储连接以后，ODX可能会对不同的存储控制器分别下发POPULATE_TOKEN命令和WRITE_USING_TOKEN命令。这就要求某一个存储控制器产生的数据令牌需要和其他存储控制进行实时同步。同时令牌具有一定的生命周期， 因此存储控制器需要保证数据令牌的唯一性，并且定期清理已经过期的数据令牌。

图2 提供多个ISCSI服务端的分布式存储集群


3.2 ODX相关参数调优
ODX进行数据复制时，默认传输的一个数据片段大小为64MB，支持传输的最大数据片段为256MB。由于不同的分布式存储环境，所配置的HDD、SSD磁盘数量各不相同，因此不同环境最有的数据传输切片大小也各不一样。ODX支持通过存储的VPD描述去建议最优的数据切片大小。因此可以结合分布式存储的配置情况，选择最优的数据传输片段大小。

考虑到分布式存储在产生数据令牌时，需要在各存储控制器之间通过网络进行实时同步，时延开销比较大，因此可以通过配置参数，最大化数据令牌所代表的数据块大小，减少POPULATE_TOKEN命令的发送次数。

3.3 ODX相关的流量控制以及一些异常处理
ODX进行数据复制时，通常都是大数据块的读写，这样会对存储服务器的硬盘带来很大的压力，进而影响对其他IO业务的处理。因此有必要在同时存在其他业务IO时，对ODX相关的IO做一定的流量限制。

在某些异常场景，WRITE_USING_TOKEN命令的目标位置和源文件位置会发生重叠，这样有可能会导致数据处理不正确，因此在执行写操作前需要增加一些位置校验。

4.ODX的优化效果
杉岩数据的SandStone UPS作为企业级软件定义存储产品，对Windows ODX实现了完美的支持，借助ODX，SandStone UPS大大节省服务器的网络带宽和CPU资源。下图为Windows 2012服务器通过1G网络连接SandStone USP进行数据复制的测试。

从任务管理器可以看到，在做数据复制时，网络带宽和内存、CPU消耗都不大，特性是网络带宽只占用了200K左右，但是数据复制显示的速度平均有200MB，远超过1G网络带宽的限制。（说明一下：200k是Windows和存储控制器直接带宽，Windows只是发送控制命令，实际的数据传输是在存储网络间进行的。）

以上，就是我们在Windows ODX上的具体优化实践，本着开放、务实的技术理念，未来，将积极吸取行业的优秀经验和技术产品，从而为用户打造一套更加完善的需求解决方案。(责编／魏伟)
  • 大小: 69.9 KB
  • 大小: 120.7 KB
  • 大小: 144.8 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • AUTOSAR从入门到精通-中间件通信DDS（三）

    DDS(Data Distribution Service数据分发服务)是对象管理组织OMG的有关分布式实时系统中数据发布的一个较新的规范(2004年12月发布1.0版，2007年1月发布1.2版)。DDS规范采用了发布/订阅体系结构，但对实时性要求提供更...

  • 开发者必看！Windows Server 2012全攻略

    品牌：微软操作系统1Windows Server 2012概论 与往常不同的是，今年在服务器领域发生了翻天覆地的变化。从底层的新品架构推动服务器基础设施扑面而来的升级换代，到构建云基础架构平台上分布式处理系统应对大数据...

  • 微软HPC解决方案概述与实作

    例如，一个分布式群集的节点，可以是server，pc，hpc，可以是跨机房，跨地区，跨国，可以是windows，linux，unix，可以分布式计算里面再包括多个群集，多个节点，基本上分布式群集最大的一个特点，就是对提供计算的...

  • 微软HPC解决方案

    首先我们先来看下高性能群集与其它几种群集的不同   高可用群集：群集所有节点，来维持一个应用的持续运作，如果当前应用所在节点失败，自动故障转移至其它节点 负载均衡群集：群集所有节点来平衡一个应用的访问...

  • BizTalk学习笔记系列之二：实例说明如何使用BizTalk

    存储和交付体系结构组合在一起，使基于编排的应用场合的吞吐率有了极大的提高。 该编排引擎通过自动事务缓冲池进一步优化了性能。此外，该引擎的向外扩充模型允许编排处理以负载平衡的方式分散在一个 BizTalk 群集...

  • Biztalk 知识整理

    我们就用这个来实现发送端口与接收端口的关联。在条件表达式中设置：　BTS.ReceivePortName == ReceiveFiles 　10.　启动BizTalk 应用程序验证程序 　右击Hello World应用程序选择Start。打开刚才配置的接收文件夹...

  • 人力资源经理绩效考核表.xls

    人力资源经理绩效考核表

  • 智慧环卫管理平台建设方案Word(211页).docx

    一、智慧环卫管理平台的建设背景与目标 智慧环卫管理平台的建设源于对环卫管理全面升级的需求。当前，城管局已拥有139辆配备车载GPS系统、摄像头和油耗传感器的环卫车辆，但环卫人员尚未配备智能移动终端，公厕也缺乏信息化系统和智能终端设备。为了提升环卫作业效率、实现精细化管理并节省开支，智慧环卫管理平台应运而生。该平台旨在通过信息化技术和软硬件设备，如车载智能终端和环卫手机App，实时了解环卫人员、车辆的工作状态、信息和历史记录，使环卫作业管理透明化、精细化。同时，平台还期望通过数据模型搭建和数据研读，实现更合理的环卫动态资源配置，为环卫工作的科学、健康、持续发展提供决策支持。 二、智慧环卫管理平台的建设内容与功能 智慧环卫管理平台的建设内容包括运行机制体制建设、业务流程设计、智慧公厕系统建设、网络建设、主机和储存平台需求、平台运维管理体系、硬件标准规范体系以及考核评价体系等多个方面。其中，智慧公厕系统建设尤为关键，它能实时监控公厕运行状态，保障公厕的清洁和正常运行。平台建设还充分利用了现有的电子政务网络资源，并考虑了有线和无线网络的需求。在功能上，平台通过普查、整合等手段全面收集环卫车辆、企业、人员、设施、设备等数据，建立智慧环卫基础数据库。利用智能传感、卫星定位等技术实现环卫作业的在线监管和远程监控，实现对道路、公共场所等的作业状况和卫生状况的全面监管。此外，平台还建立了环卫作业网格化管理责任机制，实现从作业过程到结果的全面监管，科学评价区域、部门、单位和人员的作业效果。 三、智慧环卫管理平台的效益与风险规避 智慧环卫管理平台的建设将带来显著的环境、经济和管理效益。环境方面，它将有力推进环境卫生监管服务工作，改善环境卫生状况，为人民群众创造更加清洁、卫生的工作和生活环境。经济方面，通过智慧化监管，大大降低了传统管理手段的成本，提高了监管的准确性和效率。管理方面，平台能够追踪溯源市民反映的问题，如公厕异味、渣土车辆抛洒等，并找到相应的责任单位进行处置，防止类似事件再次发生。同时，平台还拥有强大的预警机制功能，能够在很多环卫问题尚未出现前进行处置。然而，平台建设也面临一定的风险，如部门协调、配合问题，建设单位选择风险以及不可预测的自然灾害等。为了规避这些风险，需要加强领导、统一思想，选择优秀的系统集成商承接项目建设，并做好计算机和应用系统的培训工作。同时，也要注意标准制定工作和相关法律法规的制定工作，以保证系统建设完成后能够真正为环卫管理工作带来便利。

  • apache-parent-10-14.el7.x64-86.rpm.tar.gz

    1、文件内容：apache-parent-10-14.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/apache-parent-10-14.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、安装指导：私信博主，全程指导安装

  • 用于卫星通信的CTS天线

    用于卫星通信的圆极化CTS天线研究

  • 人事档案登记及查询系统.xlsx

    人事档案登记及查询系统

  • 12 -防损部经理绩效考核表1.xlsx

    12 -防损部经理绩效考核表1

  • 泰尔指数模型stata全流程代码+数据+文献(数据权威)

    ## 一、泰尔指数模型stata全流程代码+数据+文献 参考C刊《农业经济问题》朱红根（2023）老师的做法，用泰尔指数是衡量个人或地区之间收入差距的重要指标，本文利用泰尔指数分析中国区域内和区域间数字乡村发展水平的差异，测算了全国总体差异、区域内差异、区域间差异以及相关贡献率。此资料包括stata全流程代码、案例数据、参考文献，用excel计算有标注有过程 ，并且参照文献讲的。 ## 二、2005-2021年城乡收入差距与泰尔指数：原始数据+测算结果 泰尔熵标准(Theil’s entropy measure)或者泰尔指数（Theil index）是衡量个人之间或者地区间收入差距（或者称不平等度）的指标。又称泰尔系数或锡尔指数，但我还是习惯叫泰尔指数。Theil指数用来表示区域经济差异状况，数值越大则差异程度越大。 数据名称：城乡收入差距与泰尔指数（原始数据+测算） 数据年份：2005-2021年 指标变量：泰尔指数、城镇收入占农村收入之比、城镇居民人均可支配收入、农村居民人均可支配收入、乡村人口、全体居民人均可支配收入、城镇人口、年末常住人口 测算公式：

  • 34 -配送部经理绩效考核表1.xlsx

    34 -配送部经理绩效考核表1

  • [2024最新更新]全国城投公司数据大全(数据权威)

    1.资料名称：2021-1998年城投公司数据大全 2.数据指标：序号、公司名称、区域、城投评分、省内排名、最新主体评级、行政等级、 股东背景、股权关系、平台重要性、城投口径、实控人、 总资产（亿元）、 货币资金（亿元）、土地资产（亿元）、受限资产（亿元）、应收账款（亿元） 应收类款项政府占比（%）、营业收入（亿元）、公益性&准公益性主营占比（%）、归母净利润（亿元）、政府补助（亿元）、总资产报酬率（%）、有息债务（亿元）、 短期债务（亿元）、借款（亿元）、债券余额（亿元）、私募债占比（%）、 非标融资（亿元）、资产负债率（%）、债务资本化比率（%） 对外担保比例（%）、EBITDA/利息（倍）、EBITDA全部债务比（%）、授信余额（亿元）、 最新报告期 、申万行业 城投公司是城市建设投资公司的简称，是全国各大城市政府投资融资平台，起源于1991年，承担相应的政府职能，是特殊市场经营体。 此类城投公司大多是不具备盈利能力的，属于事业单位或者国有独资公司性质，他们是通过政府补贴的方式实现盈利，属于带有政府性质的特殊市场经营体。

  • 推广立方连通圈网络的Hamilton分解的算法.pdf

    推广立方连通圈网络的Hamilton分解的算法.pdf

  • 材料员绩效考核表.xls

    材料员绩效考核表

  • 2023年全国大学生英语竞赛样题（A类）.pdf

    2023年全国大学生英语竞赛样题（A类）

  • 考虑柔性负荷的综合能源低碳经济调度模型研究：基于碳交易与场景分析的优化求解方法结合CPLEX的灵活求解方案 ,考虑柔性负荷的综合能源低碳经济调度 调度模型参考第一篇文献 碳交易模型参考第二篇 考虑三种

    考虑柔性负荷的综合能源低碳经济调度模型研究：基于碳交易与场景分析的优化求解方法结合CPLEX的灵活求解方案。,考虑柔性负荷的综合能源低碳经济调度 调度模型参考第一篇文献 碳交易模型参考第二篇 考虑三种场景并用cplex求解 场景一调度结果如图所示 本代码可改写能力强 ,核心关键词： 1. 柔性负荷综合能源低碳经济调度; 2. 调度模型; 3. 碳交易模型; 4. 场景分析; 5. Cplex求解; 6. 改写能力强。,"综合能源低碳调度：多场景Cplex求解的柔性负荷模型及优化结果展示"

Global site tag (gtag.js) - Google Analytics