本文是2010-5-12号的《最新云计算信息》,而且也是第一期,希望大家能喜欢。本文部分参考了工作在Amazon的顶级云计算专家James Hamilton(长发飘逸男)的一篇博文,如果大家对英语不感冒的话,可以看一下。
在这个云计算的时代,网络将会覆盖社会的方方面面,但这也导致了不论是商务网站还是社交网站都承受着与日剧增的负载。在业界,有些技术实力很强的公司都开始尝试NoSQL的解决方案来帮助他们解决这方面问题,但是对大多数互联网企业而言,因为技术和学习难度等原因,他们不得不继续使用着传统的关系型数据库,比如MySQL,并且做着各种细小的优化来使其数据库勉强支撑庞大的流量。就在这个月Clustrix推出了能兼容MySQL的Sierra分布式数据库系统来帮助那些对NoSQL不感冒的企业来应对日益增长的流量。接下来,让我们一探究竟
简介
Clustrix Sierra是一款分布式数据库系统,它既支持最简单的Key-Value格式,又兼容MySQL的功能,同时能非常简单通过添加新的节点来存储数十亿条数据。它的功能主要体现在下面这四个方面:
- 扩展和高可用性方面:只要添加一个节点,就能在吞吐量等性能指标上实现线性提升,最多能扩展到几百个节点。
- 速度方面:其解决传统数据库写数据慢的情况,并保证了读数据的速度。
- 兼容MySQL:其支持MySQL所有功能,并支持ACID(Atomicity, Consistency, Isolation, Durability),而且在迁移现有MySQL方面非常方便。
- 在线修改和扩展方面:不仅能在生产环境中动态添加新的节点,而且能在在线的情况下修改数据库的表结构。
技术特点
主要有五个方面:
- 模拟了MySQL的通信协议,也就是说能让使用它的应用能够沿用之前MySQL的客户端,比如JDBC等。
- 以1U大小的器件(Hardware Appliance)形式交付给用户,并内置NVRAM和硬盘等硬件设备。这种器件模式不仅在安装和使用方面非常简单,而且能支持一定程度的硬件优化,同时这种器件模式也被IBM WebSphere所推崇,并推出DataPower系列来支撑企业SOA环境的运作。
- 支持Infniband Interconnect(互联),虽然在支持RDMA(Remote Direct Memory Access)协议方面10G以太网比Infniband更经济,但是10G以太网在这方面还需要两年才能成熟,所以现在使用Infniband来支持RDMA协议是一个不错的选择。
- 采用Shared-Nothing的架构,这种架构不仅无需使用那些昂贵的共享存储,而且避免由于使用分布式锁管理程序而导致扩展瓶颈。
- 支持在线执行部分DDL操作,比如,修改数据库表或者添加一个列(column)。
硬件组成
每个Clustrix Sierra数据库器件主要包括下面这些硬件设备:
- 两个四核CPU(总共八核),
- 32G内存。
- 7个160GB的SSD硬盘。
- 两个20G的Infiniband后台互联(back-end interconnect),应该可以理解为类似于网卡的东西。
- 两个1G的以太网卡。
- 有电池支持的NVRAM卡。
比较
在关系型数据库集群方面,主要有Shared-Everything和Shared-Nothing这两种架构,著名的Oracle RAC和新近的IBM DB2 PureScale都属于Shared-Everything架构,而Clustrix Sierra和IBM DB2 DPF(DB Partition Feature)则属于Shared-Nothing架构。
运作机制
首先,Clustrix Sierra系统主要有三个核心模块组成:其一是Distributed Query Compiler(分布式查询编译器)。其二是分布式Shared-Nothing执行引擎(Execution Engine)。其三是支持同步事务(ransactional concurrent)的存储引擎(Storage Engine)。而且整个系统通过整合这三大核心模块来实现其主要功能。
接着,讲一下其运行流程:当很多查询发送至Front-end Network,系统会通过Database Personality Module来将这些查询翻译成系统内部的格式,接着系统会通过上面提到的Distributed Query Compiler和执行引擎以并行的方式执行这些查询,并通过存储引擎在SSD上来存储数据,在NVRAM上存储日志方面的修改,最后通过Infiniband来在多个节点之间进行通信和同步。下面是Clustrix Sierra数据库架构图:
图1. Clustrix Sierra数据库架构图
问题
问题主要集中三个方面:
- Oracle的态度: 由于Oracle对MySQL准备采取的策略现在还不是很明朗,所以虽然现在Oracle对Clustrix没有什么异议,但是在今后不能排除提出意见的可能性。
- 技术难度:连在数据库方面有几十年经验,并设计过DB2和MS SQL Server的James Hamilton都认为实现类似于Clustrix是极度艰难(incredibly hard)的,可以想见这“海”有多深,希望Clustrix团队能够在这“海”上驰骋。
- 缺乏实际案例:虽然根据现有官方资料,Clustrix Sierra数据库的确非常吸引人,但是因为到现在为止它还没有在恶劣的生产环境下长时间的工作过,所以无法确定它到底是货真价实,还是言过其实。
总结
之前谈到分布式数据库,大家肯定联想到在企业界得到广泛使用的Oracle RAC和IBM DB2 for z/OS等,但是在云计算的时代,由于经济等因素,使得类似Clustrix数据库这样的基于廉价硬件并可扩展的分布式系统也成为了一种不错的选择,那么在最后引用华为首席DBA李强先生的一段话作为结尾:“关键性业务系统中,除了考虑长数据库的在OLAP和OLTP方面的高性能、可扩展性之外,还要考虑高可靠性以及成本问题,成本不仅仅包括购买软硬件的开销,还要考虑开发工作量和后期维护等等,基于廉价硬件搭建可扩展的集群系统是大势所趋”。
明天的《最新云计算信息》,将关注EMC刚在EMC World发布的VPLEX系统,敬请期待。
参考资料:
-
Clustrix Database Appliance。
-
数据库创业公司Clustrix推MySQL杀手解决方案。
-
专访华为DBA李强:数据库架构设计与选型。
-
CLX 4000 Series。
-
Clustrix: A New Approach。
-
Shared nothing architecture。
分享到:
相关推荐
分布式存储技术是为应对互联网上日益增长的海量数据存储需求而发展起来的一...随着技术的发展,分布式存储系统不断演进,例如Clustrix Sierra等新型分布式数据库系统,为满足日益复杂的数据存储需求提供了更多可能性。
内容概要:本文探讨了高比例可再生能源接入对电力系统调峰能力的影响,提出了一种基于净负荷波动的调峰成本量化与分摊模型。首先,通过将负荷和可再生能源出力曲线转换为无波动的均值线,构建了无调峰需求的替代场景。接着,建立了含深度调峰和抽水蓄能的调度优化模型,用于计算不同场景下的调峰成本。通过比较有无调峰需求两种场景下的系统调峰成本,确定了单一主体导致的边际调峰成本,并采用Shapley值方法合理分摊调峰成本。研究表明,该模型可以有效反映各主体的调峰成本或贡献,有助于促进可再生能源的消纳和电力系统的稳定运行。 适合人群:从事电力系统规划、运营管理和可再生能源研究的专业人士,以及关注能源政策和技术发展的研究人员。 使用场景及目标:适用于评估和优化高比例可再生能源接入条件下的电力系统调峰成本,旨在提高电力系统的灵活性和经济性,同时促进可再生能源的有效利用。 其他说明:该模型需要根据实际情况进行调整和优化,以适应不同地区的电力市场特点和技术水平。
内容概要:本文详细介绍了如何使用博图V16进行ABB机器人的外部启动及其与西门子设备的Profinet通讯配置。首先概述了ABB机器人和博图V16的基本概念,接着深入讲解了外部启动的重要性和实现方式,重点介绍了FB功能块的应用,以及Profinet通讯的具体配置步骤。文中还强调了GSD文件的作用,用于描述机器人的属性和行为,最后讨论了硬件配置的要求和注意事项,特别是对dsqc1030或dsqc652板卡的支持和888-2或888-3选项的需求。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是那些负责机器人集成和编程的专业人士。 使用场景及目标:适用于需要将ABB机器人与西门子设备通过Profinet网络进行通讯并实现外部启动的项目。目标是提高自动化生产线的灵活性和效率,确保机器人和PLC之间的无缝协作。 其他说明:本文不仅提供了理论指导,还包含了实际操作中的关键细节,有助于读者快速掌握相关技能并在实践中应用。
scratch少儿编程逻辑思维游戏源码-3D环境.zip
少儿编程scratch项目源代码文件案例素材-泼溅猫.zip
内容概要:本文介绍了基于EMD-ARMA的组合风光出力预测方法,详细阐述了经验模态分解(EMD)和自回归移动平均(ARMA)模型的应用步骤。首先,通过EMD将原始发电数据分解为多个本征模态函数(IMF),然后用ARMA模型对各IMF分量进行建模和预测,最后将预测结果叠加重构,获得最终的风光功率预测值。文中还提供了简化的Python代码示例,帮助读者理解和实现该方法。 适合人群:从事新能源研究和技术开发的专业人士,尤其是对风光发电预测感兴趣的科研人员和工程师。 使用场景及目标:适用于需要提高风光发电预测精度的项目,旨在通过先进的数学模型优化电力调度和资源配置。 其他说明:本文提供的代码示例仅用于教学目的,实际应用中需根据具体情况调整和完善。此外,建议在实践中参考更多专业文献和寻求专家意见以确保预测模型的准确性和可靠性。
scratch少儿编程逻辑思维游戏源码-scratch RPG 战斗.zip
scratch少儿编程逻辑思维游戏源码-窗户冒险.zip
scratch少儿编程逻辑思维游戏源码-FC经典游戏 沙罗曼蛇.zip
少儿编程scratch项目源代码文件案例素材-跑酷版《我的世界》.zip
scratch少儿编程逻辑思维游戏源码-抜刀.zip
内容概要:本文介绍了永磁同步电机(PMSM)无位置传感器控制的一种创新方法,重点探讨了通过反电动势估计和扰动观测器增益设计来实现转子位置的精确估算。该方法避免了传统的PLL等位置观测器,仅需一次反正切计算即可获得转子位置,极大简化了系统复杂度。此外,模型控制器采用离散域设计,便于参数调整和适应不同电机参数。文中还提供了具体的Python代码示例,展示了从初始化电机参数到主循环控制的具体实现步骤。 适合人群:从事电机控制系统设计的研究人员和技术工程师,尤其是关注永磁同步电机无传感器控制领域的专业人士。 使用场景及目标:适用于需要简化调试流程、提高系统灵活性和适应多种电机参数的应用场景。主要目标是在保持高性能的同时降低硬件成本和系统复杂性。 其他说明:该方法不仅简化了调试过程,还提高了系统的鲁棒性和可靠性,特别适合于工业自动化、机器人技术和电动汽车等领域。
内容概要:本文深入探讨了乘用车双腔制动主缸的精细化建模及其在Simulink和Amesim中的联合仿真验证。文章首先介绍了双腔制动主缸的物理结构和动力学方程,特别是考虑了液压特性和机械传动的耦合关系。接着,作者详细描述了如何在Simulink中实现这些模型,并通过S函数处理变步长积分问题,确保仿真精度。此外,还讨论了联合仿真过程中遇到的数据交换频率问题,并提出了使用二阶保持器来补偿相位滞后的解决方案。最终,通过对不同推杆力输入条件下的仿真结果对比,验证了精细化模型的有效性和稳定性。 适合人群:从事汽车制动系统研究的技术人员、高校相关专业师生、对车辆动力学仿真感兴趣的工程师。 使用场景及目标:①帮助研究人员更好地理解和掌握双腔制动主缸的工作原理;②为后续更复杂的整车制动系统仿真提供可靠的子系统模型;③提高仿真精度,减少因模型简化带来的误差。 其他说明:文中提供了详细的建模步骤、公式推导、代码实现以及仿真结果对比,附带完整视频教程和参考资料,便于初学者学习。同时强调了实际应用中需要注意的关键细节,如流量计算、数据交换频率调整等。
scratch少儿编程逻辑思维游戏源码-Scratch版Windows11.zip
少儿编程scratch项目源代码文件案例素材-青蛙.zip
内容概要:本文详细介绍了光伏交直流混合微电网在离网(孤岛)模式下的双下垂控制仿真模型。该模型利用Matlab/Simulink工具进行构建和仿真,涵盖了直流微电网、交流微电网以及互联变换器(ILC)的结构和控制策略。直流微电网采用电压电流双闭环下垂控制,交流微电网则通过恒压控制和下垂控制来维持稳定的频率和电压。ILC采用双下垂控制策略,通过归一化处理和偏差调整,使得交流母线频率和直流母线电压趋于一致。此外,模型还包括采样保持、坐标变换、功率滤波、SVPWM等辅助环节,以确保系统的稳定运行和高效能量管理。实验结果显示,在负载突增的情况下,系统依然能够保持良好的波形质量和稳定性。 适合人群:对微电网控制系统感兴趣的科研人员、电力工程技术人员及高校师生。 使用场景及目标:适用于研究和验证光伏交直流混合微电网在离网模式下的控制策略,特别是双下垂控制的应用效果。目标是提升微电网的稳定性和能量管理效率。 其他说明:仿真环境为Matlab2020b及以上版本,部分模块仅支持高版本软件。对于希望深入了解双下垂控制机制的研究者,可以通过进一步的学习和交流获得更多信息。
内容概要:本文详细介绍了基于扩展卡尔曼滤波器(EKF)的INS(惯性测量单元)和GPS(全球定位系统)松组合导航技术。首先解释了为何需要松组合导航,即通过融合INS和GPS的优势,提高定位的稳定性和准确性。接着阐述了15状态下的EKF融合方法,涵盖速度、姿态、位置等多个系统动态参数的估计与更新。然后讨论了NED(北东地)坐标系的应用及其带来的直观物理意义。最后提供了简化的Python代码片段,演示了如何在EKF中融合INS和GPS数据,以获得连续、稳定的导航结果。 适合人群:从事导航技术研发的专业人士,尤其是对EKF、INS、GPS以及多传感器数据融合感兴趣的工程师和技术研究人员。 使用场景及目标:适用于需要高精度、高可靠性定位系统的应用场景,如自动驾驶汽车、无人机飞行控制系统等。目标是通过融合INS和GPS数据,克服单一传感器的局限性,提升整个导航系统的性能。 其他说明:文中提供的代码仅为概念验证性质,实际工程应用中还需考虑更多复杂的因素和优化措施。
内容概要:本文详细介绍了基于MATLAB Simulink平台的三相逆变器稳压控制仿真模型,重点探讨了孤岛运行环境下的电压电流双闭环控制策略及其LCL滤波电路的应用。首先,通过对主电路电流电压的采样并进行Park和Clark变换,将数据转换为dq坐标系下的电流电压值,然后输入双闭环控制系统进行精确调节。接着,通过反变换回到abc坐标系,并利用PWM调制对逆变器进行控制,最终实现了电压电流的稳定输出。文中还提供了简化的Matlab代码片段,展示了关键步骤的具体实现方法。此外,作者通过多次仿真实验验证了该控制策略的有效性和鲁棒性。 适合人群:从事电力电子、自动化控制领域的研究人员和技术人员,尤其是对逆变器控制策略感兴趣的读者。 使用场景及目标:适用于需要深入了解三相逆变器在孤岛运行环境下的稳压控制机制的研究人员和技术人员。目标是掌握电压电流双闭环控制策略以及LCL滤波电路的设计与应用,提高逆变器系统的稳定性和可靠性。 其他说明:本文不仅提供了理论分析,还包括具体的仿真模型和代码示例,有助于读者更好地理解和实践相关技术。
少儿编程scratch项目源代码文件案例素材-七龙珠RPG 测试.zip
scratch少儿编程逻辑思维游戏源码-城市世界.zip