从集中到分布，化解存储瓶颈
接上篇：从集中到分布，解读网络视频IT架构变迁(下)。集中式存储已经拥有了诸多优势，那么为何这家视频网站最终却选择了其他的存储架构呢？该视频网站究竟在运营过程中遭遇到了什么样的阻碍呢？经过我们对整个网站存储结构的分析，原来，NAS头成为整个存储环境的瓶颈……
NAS成为系统瓶颈
传统集中式存储的瓶颈
从以上两幅图中，我们可以看到传统的集中存储方案中，存在如下问题：
I/O瓶颈
容量扩展性差
性能不可扩展
专业高端NAS成本高昂
单点故障
随着数据量的增加，存储压力也变得越来越集中，NAS已不足以支撑现有的应用，无法更好的应对未来的挑战。既而，该网站从集中式的存储方式转向了采用分布式的存储方式。
分布式存储系统架构
图中，每台服务器上都提供文件共享服务，由应用层来实现媒体资源数据在各个服务器集群之间的迁移，从而比较好的解决了集中存储的IO瓶颈问题，但是问题也随之而来。
分布式的存储没有负载均衡，例如：发生热点的时候、部分流媒体服务器忙或部分闲置
分布式存储利用相对较低率，重复数据大量存在，且份数多
无法实现集中的高Raid 级别保护
快照、备份、恢复、远程容灾比集中存储实现成本高
需要在应用层对存储层过多关注。管理复杂度程几何级增长，整体系统维护工作越来越复杂、繁重。以管理Mount点为例：同样的服务器数，需管理Mount点的数量为48 [M*(N+F)+W*N]个，即上图中的48根红线，远大于集中存储结构。这仅仅是Mount点一项，还不包括各个点存储数据的维护，在实际应用中相关的工作量是相当惊人，管理员疲于奔命。
集中VS.分布？还是分布式的集中？
既然传统的集中和分布都存在不同的问题，怎么样去解决？在给出答案之前，我们重新归纳前面分析的视频网站对存储的需求：
1. 各种服务器集群之间有视频传递的需求，需要上传服务器、流媒体服务器、在线录制服务器和转换服务器之间的视频文件是互相可见的，翻译成存储的语言则需要文件级共享的存储。
2. 各种应用服务器可能使用着不同的操作系统平台，都需要无差异的访问到存储空间，而翻译成存储的语言则需要跨平台共享的存储。
3. 多台流媒体服务器之间的存储容量需要共享，从而提高存储空间的利用率。如采用传统SAN上面划分独立的存储空间，给每台服务器的类似做法显然是不可接受的，并且需要视频内容合理的分布在各个存储设备上，翻译成存储的语言则需要存储容量的负载均衡。
4. 单台存储设备的存储速度始终是有限的，需要多个存储设备的聚合才能满足视频内容访问量的爆炸式的增长，翻译成存储的语言则需要多台存储设备间的存储速度的聚合，从而实现存储速度的负载均衡。
5. 新增视频内容的不断添加会导致存储容量的不断扩大，在添加设备扩展容量的时，能够不影响原有系统，且平滑扩展，能够实现在线的扩展业务系统不停机，翻译成存储的语言则需要容量线性可扩展，能够实现在线扩容。
6. 随着用户访问量增长和视频清晰度提高带来的带宽增长等诸多增长因素的影响，对存储带宽的增长需求，要求存储系统实现带宽随容量呈线性增长。
7. 合理的成本控制是一个恒久的话题，需要存储系统的总体拥有成本随容量的扩展而合理的扩展，不能出现突变式的增长。
8. 稳定性自然不用说，需要存储系统采用冗余结构以提高系统的稳定性。
为了满足上述需求，当我们面对“集中VS.分布”这个艰难抉择的时候，技术的不断进步，涌现出：分布式的集中存储结构——集群存储技术，其核心技术是集群文件系统。
集群存储系统满足视频行业服务需求
目前，广为流行的集群文件系统的典型代表主要有：
Google 的GFS （Google File System）
国内中科院研发的BWFS（Blue Whale File System）
Panasas 的PanFS （PanFS File System）
IBM 的 GPFS （General Parallel File System)
CFS 的 Lustre （Lustre File System）
这五种集群文件系统各有特点和优势，一般而言，分布式集中存储相对于传统存储系统来说拥有如下优点：采用统一的全局命名空间，支持文件级共享，且采用分布式存储结构，能实现高聚合I/O带宽，并且跨Linux平台和Windows平台的文件共享，还能够线性扩展I/O带宽，拥有良好的系统负载平稳性，并能够动态扩展存储容量，实现成本可控。
基于分布式结构的集中存储
如上图所示：该架构能较好的满足网络视频对存储系统的需求。
1. 文件共享、统一的全局命名空间——上传服务器和流媒体服务器之间的文件可见性；多台流媒体服务器间的存储容量共享
2. 多台存储设备间的存储速度的聚合——流媒体服务器可用的存储速度负载均衡
3. 跨平台共享（Windows/Linux）——支持不同平台的流媒体服务器、上传和其他服务器
4. 容量线性可扩展——使流媒体服务能应对不断扩大的存储容量需求
5. 带宽随着容量线性增长——使流媒体服务能应对不断扩大的用户访问量； 可以按需扩大流媒体服务器的数量而不用担心存储
6. 成本需随着容量的扩展而扩展——良好的成本控制
7. 全冗余结构——稳定的强壮的存储系统
该视频网站最终选择基于BWFS集群文件系统的BWStor蓝鲸集群存储系统。BWFS是由我国中科院计算所工程中心自主研发的文件系统，并经由中科院中科储天公司产品化。中科院中科储天蓝鲸集群存储系统（BWStor）即采用BWFS文件系统为核心技术，是中国自主知识产权存储产品的代表之一。
作者：朱智力，系中科储天公司售前顾问，E-mail：zhuzhili@nrchpc.ac.cn
分享到：
相关推荐
根据提供的文件内容，以下是对文件中涉及IT领域知识点的详细解读： 一、社会服务行业分析与投资策略 文件首先介绍了社会服务行业在2020年面临的挑战和机遇。在新冠疫情的影响下，整个行业经历了第一季度的急剧下滑...
这些层面包括底层硬件的集中化管理、网络架构的优化、硬件系统的虚拟化、软件模式的服务化以及IT服务的外包化等。云计算为各类企业带来了降低成本、提升效率和增强业务敏捷性的诸多益处。 随着5G技术的逐步应用和...
8. **形势与政策五**：虽然不是IT专业课程，但这类课程通常会讨论当前的社会经济形势和政策，帮助学生理解全球化背景下的社会变迁和政策影响。 通过这个课表，我们可以看出苗雨在大三阶段专注于Android开发技术和...
Dify智能体：JSON 修复.yml
陕西省2025年初中学业水平考试实验操作考试试题及评分细则.zip
内容概要：本文详细介绍了西门子S7-1200 PLC在污水处理项目中的应用，涵盖模拟量处理、设备轮换、Modbus通讯以及事件记录等多个方面。文中展示了如何利用博途V17进行程序设计，包括具体的SCL代码实例，如液位检测的滑动窗口滤波法、提升泵的轮换逻辑、Modbus TCP对变频器的控制以及报警信息管理等。此外，还分享了一些实用技巧，如防止信号跳变、避免设备过度磨损、确保通讯稳定性和提高报警记录效率的方法。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是熟悉西门子PLC和博途软件的从业者。 使用场景及目标：适用于污水处理项目的PLC编程和系统集成，旨在提高系统的稳定性和可靠性，减少维护成本并优化设备性能。 其他说明：文中不仅提供了详细的代码示例，还分享了许多来自实际项目的经验教训，帮助读者更好地理解和应用相关技术。
内容概要：本文详细介绍了基于PLC（西门子S7-1200）的自动药片装瓶机控制系统的设计与仿真过程。涵盖了硬件选型（伺服电机、光电传感器）、软件编程（梯形图、结构化文本）、关键算法（传送带定位、振动盘控制、药片计数）、异常处理以及仿真测试等方面的内容。重点讨论了如何通过精确的硬件配置和优化的控制逻辑来确保系统的稳定性和高效性。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是对PLC编程和机电一体化感兴趣的读者。 使用场景及目标：适用于制药行业及其他需要自动化包装设备的企业。主要目标是提高生产效率、减少人工干预、提升产品质量和稳定性。 其他说明：文中提供了大量实际案例和调试经验，帮助读者更好地理解和应用相关技术和方法。同时强调了仿真测试的重要性，为后续的实际部署提供了宝贵的经验和改进建议。
内容概要：本文介绍了一种利用元启发式算法（如粒子群优化，PSO）优化线性二次调节器（LQR）控制器加权矩阵的方法，专门针对复杂的四级倒立摆系统。传统的LQR控制器设计中，加权矩阵Q的选择往往依赖于经验和试错，而这种方法难以应对高维度非线性系统的复杂性。文中详细描述了如何将控制器参数优化问题转化为多维空间搜索问题，并通过MATLAB代码展示了具体实施步骤。关键点包括：构建非线性系统的动力学模型、设计适应度函数、采用对数缩放技术避免局部最优、以及通过实验验证优化效果。结果显示，相比传统方法，PSO优化后的LQR控制器不仅提高了稳定性，还显著减少了最大控制力，同时缩短了稳定时间。 适合人群：控制系统研究人员、自动化工程专业学生、从事机器人控制或高级控制算法开发的技术人员。 使用场景及目标：适用于需要精确控制高度动态和不确定性的机械系统，特别是在处理多自由度、强耦合特性的情况下。目标是通过引入智能化的参数寻优手段，改善现有控制策略的效果，降低人为干预的需求，提高系统的鲁棒性和性能。 其他说明：文章强调了在实际应用中应注意的问题，如避免过拟合、考虑硬件限制等，并提出了未来研究方向，例如探索非对角Q矩阵的可能性。此外，还分享了一些实践经验，如如何处理高频抖动现象，以及如何结合不同类型的元启发式算法以获得更好的优化结果。
内容概要：本文详细介绍了LLC谐振变换器的设计方法及其仿真模型的应用。首先，通过参数设计程序，如Excel表格和Matlab脚本，进行关键参数的计算，确保设计符合预期性能。其次，利用Matlab/Simulink构建闭环控制仿真模型，优化PID控制器和PWM生成模块，提高系统的稳定性和响应速度。最后，提供了详细的模态分析和波形解读，帮助理解和规避常见设计陷阱。文中强调了参数选择的重要性，如电感比k值、死区时间和谐振元件的实际测量值，并分享了多个实战经验和调试技巧。 适合人群：从事电力电子设计的技术人员，尤其是对LLC谐振变换器感兴趣的工程师。 使用场景及目标：适用于需要高效、稳定的电源转换解决方案的研发项目。主要目标是掌握LLC谐振变换器的设计原理和技术要点，能够独立完成从参数计算到闭环调试的全过程。 其他说明：文中提供的工具和方法不仅有助于初学者快速入门，也能为有经验的工程师提供宝贵的参考资料。特别提到了一些容易忽视的细节和常见的错误，帮助读者避免不必要的损失。
内容概要：本文探讨了利用深度强化学习（DRL）解决现代电网复杂控制问题的方法，特别是针对自主电压控制（AVC）的应用。文中介绍了多智能体系统（MAS）与深度确定性策略梯度（MADDPG）相结合的MA-AVC算法，展示了如何将电网划分为多个子区域，每个子区域由一个智能体负责，通过集中训练和分散执行的方式进行电压控制。文章详细解释了智能体网络的设计、训练过程、奖励机制以及在伊利诺伊200总线系统上的实验验证。结果显示，相比传统方法，该算法在处理负荷突变、N-1故障和通信延迟等方面表现出显著优势。 适合人群：对深度强化学习、电力系统自动化感兴趣的科研人员和技术开发者，尤其是希望了解如何将AI应用于实际工业场景的研究者。 使用场景及目标：适用于需要提高电网稳定性和响应速度的实际应用场景，特别是在可再生能源接入和快速需求响应的要求下。目标是通过智能化手段提升电网的自适应能力和鲁棒性。 其他说明：文章提供了详细的代码示例和实验结果，帮助读者理解和复现相关算法。特别强调了奖励函数设计和电网仿真的重要性，指出了一些常见的实现陷阱及其解决方案。
内容概要：本文详细介绍了MIMO通信系统的三个重要方面：空间编码、系统容量计算以及信道特性仿真。首先探讨了Alamouti空时编码的具体实现方法及其在接收端的解码过程，展示了如何通过共轭转置排列实现分集增益。其次，深入讲解了MIMO系统容量公式的推导及其在Matlab中的高效实现，特别强调了使用奇异值分解提高数值稳定性的技巧。最后，讨论了信道矩阵的条件数对系统性能的影响，并提出了应对病态信道的方法如MMSE检测。 适合人群：具备一定通信理论基础和技术背景的研究人员、工程师及高校学生。 使用场景及目标：适用于希望深入了解MIMO通信系统内部机制的人群，帮助他们掌握空间编码、系统容量计算和信道建模的实际应用技能，为后续研究提供理论支持和技术储备。 其他说明：文中提供了大量实用的Matlab代码片段，便于读者快速理解和实践。同时提醒读者注意实际工程中可能遇到的问题，如数值稳定性、信道相关性和噪声增强等。
内容概要：本文档详细介绍了西门子PLC与意普测量光栅通过Modbus RTU协议进行通信的方法。硬件方面，使用了1214DC/DC/DC PLC、CB1214通讯板、ESM4810NQ-2测量光栅以及USB转485串口线缆等设备。软件部分采用博图V18进行编程，并利用调试助手modbuSCAN和sscom来辅助配置与测试。文中具体描述了创建MASTER_COMM_LOAD指令、添加MB_MASTER主站指令及轮询程序编写的步骤，包括详细的报文格式解析如站号、功能码、寄存器地址、内容及CRC校验码等信息。此外，还提供了针对光栅的初始化、波特率、奇偶校验和停止位等参数配置示例及其对应的报文解释。; 适合人群：熟悉PLC编程并希望深入了解Modbus通讯协议的应用工程师和技术人员。; 使用场景及目标：①实现PLC作为主站与测量光栅之间的稳定通信；②掌握Modbus RTU协议的具体应用细节，包括报文结构的理解与配置；③解决实际项目中可能遇到的通信问题，如线路连接、参数设置等。; 阅读建议：建议读者在阅读时结合实际硬件设备进行操作练习，同时注意文中提到的一些常见问题及其解决方案，如线序连接错误导致的乱码现象等。
内容概要：本文详细介绍了基于Qt的Modbus协议开发，涵盖协议原理、Qt框架支持、开发流程、代码示例及常见问题解决方案。Modbus协议支持串行通信（RTU/ASCII）和以太网（TCP/IP）两种传输方式，具有功能码定义、数据模型和通信模式等核心功能。Qt通过Qt Serial Bus模块提供对Modbus的支持，主要类有QModbusDevice、QModbusClient（含QModbusTcpClient和QModbusRtuSerialMaster）、QModbusDataUnit和QModbusReply。开发环境配置需在Qt项目的.pro文件中添加相应模块，并准备硬件设备。文中给出了Modbus客户端（TCP）的连接、读取和写入寄存器的代码示例，以及Modbus服务器的实现步骤。还列举了常见的问题与调试技巧，包括通讯不稳定、数据异常和性能优化的方法。最后介绍了该技术在工业自动化、能源管理和智能家居的应用场景。; 适合人群：具备一定Qt编程基础，对工业通信协议感兴趣的开发者。; 使用场景及目标：①学习Modbus协议的基本原理及其在Qt中的实现方法；②掌握Qt Modbus框架的核心类及其用法；③能够独立开发Modbus客户端和服务器程序，解决常见问题。; 阅读建议：本文内容详实，涉及多个知识点和技术细节，在阅读过程中应结合实际开发环境进行实践操作，以便更好地理解和掌握相关技术。
本书《SEO for Beginners 2021》旨在向读者介绍如何使用搜索引擎优化（SEO）技术，在谷歌上提升网站排名，吸引新客户，从而实现业务增长。作者加里·戈丁和阿伦·肯尼迪通过实例和策略指导，帮助读者了解SEO的基础知识，包括关键词研究、网站设置、链接构建、社交媒体SEO优化以及如何使用谷歌分析工具来监控SEO效果。书中还特别强调了SEO在商业世界中的重要性，并提供了在谷歌广告平台上进行有效广告投放的技巧和策略。此外，作者还分享了如何通过解决SEO常见问题、设置广告账户、撰写广告文案、创建着陆页以及监控转化率等方法，进一步优化搜索引擎营销效果。
内容概要：本文详细介绍了利用混沌系统进行图像加密的方法，重点探讨了Logistic映射生成混沌序列用于图像加密的具体实现。首先，通过Python代码生成混沌序列，确保其随机性和不可预测性。然后，采用循环移位扰乱技术对图像像素进行重新排列，使图像的像素位置发生改变。接着，通过水平和垂直扩散技术进一步打乱像素之间的关联性，增加加密强度。文中还展示了加密效果评估方法，如直方图分析、信息熵计算以及相关系数测量，验证了加密算法的有效性。 适合人群：对图像加密技术和混沌系统感兴趣的科研人员、信息安全专家及有一定编程基础的研究者。 使用场景及目标：适用于需要高强度图像加密保护的场合，如军事、医疗等领域的重要图像资料保护。目标是提供一种高效、安全的图像加密解决方案。 其他说明：文中提供了详细的Python代码示例，便于读者理解和实践。同时强调了实际应用中需要注意的问题，如参数选择和性能优化等。
内容概要：本文详细介绍了利用FLAC3D软件进行双线隧道开挖和临近既有隧道的基坑开挖的数值模拟方法和技术要点。首先，针对隧道开挖部分，采用反力支撑法控制应力释放，并使用shell壳单元模拟喷射混凝土支护结构。其次，在基坑开挖过程中，采用了地连墙加对撑的方式，分层开挖并及时安装水平对撑。文中还提供了多个关键代码片段，展示了具体的实现步骤。此外，文章强调了监测点数据采集和处理的重要性，以及如何通过调整接触面参数解决潜在问题。最后，作者分享了一些实用技巧，如固定云图色标范围、正确设置接触面摩擦系数等。 适合人群：从事地下工程、岩土工程及相关领域的研究人员和工程师。 使用场景及目标：适用于需要进行复杂地质条件下隧道和基坑开挖数值模拟的研究人员和工程师，旨在帮助他们更好地理解和掌握FLAC3D软件的应用，提高模拟精度和效率。 其他说明：文章不仅提供了详细的代码示例，还结合实际案例进行了深入分析，有助于读者将理论知识应用于实际工程项目中。
实现多数据类型的传输
内容概要：《2024年中国物联网产业创新白皮书》由深圳市物联网产业协会与AIoT星图研究院联合编制，汇集了全国30多个省市物联网组织的智慧。白皮书系统梳理了中国物联网产业的发展历程、现状及未来趋势，涵盖了物联网的概念、产业结构、市场规模、投融资情况、面临的问题与机遇。书中详细分析了感知层、传输层、平台层及应用层的关键技术，探讨了智慧城市、智能工业、车联网、智慧医疗等九大产业物联网应用领域，以及消费物联网的发展特征与热门单品。此外，白皮书还关注了物联网数据安全、法规遵从、人才短缺等挑战，并提出了相应的解决方案。 适用人群：物联网从业者、企业决策者、政策制定者及相关研究机构。 使用场景及目标：①帮助从业者深入了解物联网产业的现状和发展趋势；②为企业决策者提供战略规划依据；③为政策制定者提供政策支持和法规制定参考；④为研究机构提供详尽的数据和案例支持。 其他说明：白皮书不仅限于技术科普，更从宏观角度结合市场情况，多维度讨论了物联网产业生态，旨在为物联网企业、从业者找到最适合的技术应用场景，促进产业健康发展。报告还特别鸣谢了参与市场调研的企业，感谢他们提供的宝贵行业信息。由于时间和资源的限制，报告可能存在信息不充分之处，欢迎各界人士提出宝贵意见。
内容概要：本文介绍了如何利用Simulink实现‘质心侧偏角-横摆角速度’相平面法，用于分析车辆的动力学行为。作者详细描述了模型的构建过程，包括输入模块、车辆动力学模型以及相平面生成模块的设计。通过调整车辆速度、路面附着系数和前轮转角等参数，可以直观地观察到车辆稳定性的变化。此外，文中还提供了详细的代码示例和结果分析，帮助读者更好地理解和应用这一方法。 适合人群：对车辆动力学感兴趣的工程师和技术人员，特别是那些希望通过Simulink进行车辆稳定性分析的人。 使用场景及目标：适用于需要评估车辆在不同行驶条件下稳定性的场合，如汽车制造商的研发部门、交通安全研究机构等。目标是通过相平面法直观展示车辆动态响应，辅助优化车辆设计和改进驾驶安全性能。 其他说明：附带完整代码和Simulink模型文件，便于读者动手实践。同时，文中提到的一些调试技巧和常见问题解决方法也非常有价值。