DoSTOR专家观点：随着信息化技术的发展和深入，企业对数据的依赖不断增强。与此同时，急速增长的数据量也给管理和使用都带来了全新的挑战。IDC最新报告显示，2007年新增数据量（281 ExaByte）已经超过所有可用存储介质总容量（264 ExaByte）约6%，并预计2011年数据总量将达到2006年的10倍。面对数据的爆炸性增长，仅仅提高系统运算能力和增加存储介质容量已经不能满足高速发展的各种数据应用，对高效数据缩减技术的需求已经逐步显现出来，并且越来越迫切。
目前能够实现数据缩减的技术主要有两种：数据压缩（Data Compression）和重复数据删除（Data De-duplication）。简单来说，数据压缩技术通过对数据重新编码来降低其冗余度（redundancy）；而重复数据删除技术则着眼于删除重复出现的数据块。
数据压缩
数据压缩的起源可以追溯到信息论之父香农（Shannon）在1947年提出的香农编码。1952年霍夫曼(Huffman)提出了第一种实用性的编码算法实现了数据压缩，该算法至今仍在广泛使用。1977年以色列数学家Jacob Ziv 和Abraham Lempel提出了一种全新的数据压缩编码方式，Lempel-Ziv系列算法（LZ77和LZ78，以及若干变种）凭借其简单高效等优越特性，最终成为目前主要数据压缩算法的基础。
Lempel-Ziv系列算法的基本思路是用位置信息替代原始数据从而实现压缩，解压缩时则根据位置信息实现数据的还原，因此又被称作"字典式"编码。目前存储应用中压缩算法的工业标准（ANSI、QIC、IETF、FRF、TIA/EIA）是LZS（Lempel-Ziv-Stac），由Stac公司提出并获得专利，当前该专利权的所有者是Hifn, Inc.
LZS算法基于LZ77（如图一）实现，主要由两部分构成，滑窗（Sliding Window）和自适应编码（Adaptive Coding）。压缩处理时，在滑窗中查找与待处理数据相同的块，并用该块在滑窗中的偏移值及块长度替代待处理数据，从而实现压缩编码。如果滑窗中没有与待处理数据块相同的字段，或偏移值及长度数据超过被替代数据块的长度，则不进行替代处理。LZS算法的实现非常简洁，处理比较简单，能够适应各种高速应用。
图一 LZ77算法示意图
数据压缩的应用可以显著降低待处理和存储的数据量，一般情况下可实现2:1 ~ 3:1的压缩比。
重复数据删除
在备份、归档等实际的存储实践中，人们发现有大量的重复数据块存在，既占用了传输带宽又消耗了相当多的存储资源：有些新文件只是在原有文件上作了部分改动，还有某些文件存在着多份拷贝，如果对所有相同的数据块都只保留一份实例，实际存储的数据量将大大减少--这就是重复数据删除技术的基础。
这一做法最早由普林斯顿大学李凯教授（DataDomain的三位创始人之一）提出，称之为全局压缩（Global Compression），并作为容量优化存储（Capacity Optimized Storage， COS）推广到商业应用。目前，除了DataDomain等专门厂商外，各主要存储厂商如EMC、IBM、Symantec、FalconStor等等也都通过收购或研发等途径拥有了各自的重复数据删除技术，有的还并冠以别名，如单示例存储（Single Instance Repository，SIR）等。
重复数据删除的实现由三个基本操作组成，如图二。首先，待处理数据（文件）被分割成固定或可变大小的数据块，同时生成一张"结构图"显示这些数据块怎样组成完整的原数据（文件）；然后计算各数据块的"指纹"（标识），并根据"指纹"确认该数据块是否与其它数据块相同；最后，丢弃重复出现的数据块，并将"结构图"作为原始数据（文件）存储。
图二 重复数据删除原理
重复数据删除技术的关键在于数据块"指纹"的生成和鉴别。数据块"指纹"是鉴别数据块是否重复的依据，如果不同数据块的"指纹"相同，就会造成内容丢失，产生不可恢复的严重后果。在目前的实际应用中，一般都选择MD5或SHA-1等标准杂凑（hash）算法生成的数据块的摘要（digest）作为"指纹"，以区分不同数据块间存在的差异，从而保证不同数据块之间不会发生冲突。但是，MD5，SHA-1等算法的计算过程非常复杂，纯软件计算很难满足存储应用的性能需求，"指纹"的计算往往成为重复数据删除应用的性能瓶颈。
目前，各厂商对各自重复数据删除技术的效用都有不同描述，一般都声称能将数据量减少到原数据的3% ~ 5%，即具有20:1 ~ 30:1的压缩比。
数据压缩和重复数据删除技术都着眼于减少数据量，其差别在于数据压缩技术的前提是信息的数据表达存在冗余，以信息论研究作为基础；而重复数据删除的实现依赖数据块的重复出现，是一种实践性技术。这两种技术具有不同层面的针对性，并能够结合起来使用，从而实现更高的数据缩减比例（40:1 ~ 90:1）。需要注意的是，如果同时应用数据压缩和重复数据删除技术，为了降低对系统的处理需求，通常需要先应用数据删除技术，然后再使用数据压缩技术进一步降低"结构图"和基本数据块的体积。
在归档应用中，存储的数据主要是文件在不同时间的各个历史版本，版本间的差异通常并不是很大，文件中往往有相当一部分内容并未发生改变，重复数据删除技术因而具有较大的应用空间和效能；同时，作为有特定意义的文件内容，使用数据压缩技术通常也可以获得2:1以上的压缩比。因此，针对归档应用，集成重复数据删除和数据压缩技术将可带来显著且可以预期的好处，实现90%以上的整体数据量缩减。
需要注意的是，由于数据压缩和重复数据删除技术都系统处理能力有较高要求，为了保证整体性能，在预算允许的范围内，应该注意选择具有相关硬件加速的方案。目前，市场上能够同时具有压缩和杂凑算法的解决方案并不多，主要由LZS算法的专利拥有者Hifn, Inc提供。除了常见的标准加密和摘要算法，Hifn的安全处理器和相应加速卡基本都集成有压缩处理能力，提供20MB/s ~ 250MB/s的处理能力。最近还专门推出了DR 250/255数据缩减加速卡，通过PCI-X和PCI-Express接口为存储系统提供250MB/s的数据压缩和摘要计算加速，并能够同时进行加密或解密处理，使系统能够在实现数据缩减的同时，提高对数据的保护级别。据称，Hifn下一代数据缩减产品处理能力将达到1.6GB/s，并支持IEEE P1619/1619.1标准的磁盘/磁带加密，计划将于今年下半年正式推向市场。
- 大小: 30.5 KB
- 大小: 39.3 KB
分享到：
相关推荐
在标题“dostor：小型对象的分布式对象存储”中，“dostor”很可能是一个专为处理小对象设计的开源分布式存储系统。这类系统通常以集群的形式运行，能够自动分散数据，提供高可用性和容错性，同时也支持高性能的读写...
### H3C 存储产品及解决方案的发展历程与技术特点 #### H3C存储产品线发展概况 H3C自2004年开始投入存储产品的研发，初期投资达1.5亿元人民币，并组建了200人的研发团队，在杭州和深圳两地设立了解决方案中心。至...
内容概要：本文详细介绍了COMSOL软件中三种常用的焊接热源模型：双椭球热源、高斯旋转体热源和柱状体热源。双椭球热源适用于电弧焊，通过将热源分为前后两个半椭球，能够更好地模拟熔池的温度梯度变化；高斯旋转体热源适合激光焊，采用旋转对称的高斯函数描述热流密度分布；柱状体热源则用于电阻焊等均匀加热场景，尽管物理上不够精确，但计算速度快。文中还提供了具体的MATLAB代码实现，并分享了参数调试的经验和注意事项。 适合人群：从事焊接仿真研究的技术人员、研究生以及相关领域的研究人员。 使用场景及目标：帮助用户选择合适的热源模型进行焊接仿真，确保仿真结果的准确性。同时，提供实用的参数调试技巧，避免常见错误，提高仿真的效率和可靠性。 其他说明：强调了不同热源模型的特点及其适用场景，提醒用户根据实际情况灵活调整参数，并结合实验数据进行验证。
带你去认识RFID技术
内容概要：本文深入探讨了开关磁阻电机（SRM）的仿真方法和技术细节，涵盖了从Matlab仿真模型搭建到Maxwell有限元仿真的全过程。首先介绍了SRM的基本参数设置及其在Simulink中的电磁关系建模，接着详细讲解了两种常见的控制策略：电流斩波控制（CCC）和角度位置控制（APC）。随后讨论了Maxwell中SRM几何结构的精确建模、材料属性设置及网格划分技巧，并阐述了转矩分配函数（TSF）和直接转矩控制（DTC）的具体实现。最后分享了一些实用的仿真优化建议，如响应面法和遗传算法的应用。 适合人群：从事电机控制系统设计的研发工程师、高校师生及相关领域的研究人员。 使用场景及目标：适用于希望深入了解SRM工作原理并掌握其仿真技能的专业人士；旨在帮助读者构建高效的SRM仿真平台，提高电机性能，降低开发成本。 其他说明：文中提供了大量MATLAB代码片段和Maxwell建模指导，便于读者理解和实践。此外，还提到了许多实际操作中的注意事项和常见错误，有助于避免不必要的弯路。
一键打开或关闭Windows 10 Enterprise G 麦克风或摄像头
https://github.com/AlfredXiangWu/LightCNN 预训练模型
内容概要：本文深入探讨了电-气-热综合能源系统的节点能价计算方法，重点介绍了如何将碳排放成本纳入系统优化中。作者通过复现论文中的模型，展示了电、气、热潮流的耦合实现，并提出了以综合能源系统总运行成本和碳排放成本最小为目标函数的优化调度模型。文中详细解释了模型的关键组成部分，如目标函数的设计、多能流优化以及节点能价的计算方法。通过多个实例验证，证明了该模型的有效性和通用性。 适合人群：对综合能源系统建模感兴趣的科研人员和技术开发者，尤其是希望深入了解电-气-热耦合系统及碳排放成本优化的人群。 使用场景及目标：适用于需要进行综合能源系统优化的研究和工程项目，旨在降低碳排放并优化能源系统的总成本。具体应用场景包括但不限于电力系统、天然气系统和热力系统的联合优化调度。 其他说明：文章不仅提供了详细的代码实现和模型解析，还讨论了模型的实际应用效果和潜在改进方向。通过具体的案例分析，展示了模型在不同规模和类型的能源系统中的表现，为后续研究提供了宝贵的参考。
前端分析-2023071100789s+12
内容概要：本文详细介绍了如何在MATLAB环境中构建一个结合卷积神经网络(CNN)、长短时记忆网络(LSTM)以及SE注意力机制的混合模型用于时序数据分类。首先进行数据预处理，确保输入数据符合模型要求。接着，通过CNN提取空间特征，再由SE模块评估特征的重要性，最后交给LSTM处理时间序列信息。文中提供了完整的代码实现步骤，并针对可能出现的问题给出了优化建议。实验结果显示，在EEG信号分类和其他工业应用场景中，该模型相较于传统方法能够提高分类精度。 适合人群：有一定机器学习基础并对深度学习感兴趣的科研工作者和技术开发者。 使用场景及目标：适用于需要处理带有时间和空间相关性的多维时序数据的任务，如医疗健康监测、金融趋势预测、机械故障预警等领域。目的是为了获得更高的分类准确性，同时增强模型的可解释性和鲁棒性。 其他说明：作者强调了在实际应用过程中应注意的一些细节，例如正确设置输入数据的维度、选择合适的超参数（如学习率、批大小）、以及考虑是否添加正则化项来避免过拟合等问题。此外，还提到了一些实用的小贴士，像使用动态学习率调度器加快收敛速度等。
内容概要：本文介绍了利用Matlab/Simulink进行风电调频与风储联合仿真的方法。针对传统时域仿真耗时的问题，提出了一种基于频域模型的方法，实现了快速高效的仿真。文中详细描述了虚拟惯性控制和储能下垂控制的具体实现方式及其对系统频率稳定性的影响。通过频域模型，将复杂的微分方程转化为简单的矩阵运算，显著提高了仿真速度。同时，加入了SOC（荷电状态）管理和滑动平均滤波，确保了储能系统的安全可靠运行。实验结果显示，在相同的硬件条件下，频域模型的仿真速度比传统时域模型快了近十倍，且频率偏差明显减小。 适合人群：从事电力系统仿真、风电调频研究的专业人士和技术爱好者。 使用场景及目标：适用于需要快速验证风电调频控制策略的研究人员和工程师。主要目标是在保证仿真精度的同时大幅提高仿真速度，为风电并网提供技术支持。 其他说明：本文提供的模型专注于调频性能分析，不涉及风机内部动态细节。对于更详细的风机模型，作者提供了进一步的参考资料。
内容概要：本文探讨了小模型在AI行业中逐渐展现出与大模型相媲美性能的现象，分析了大模型和小模型各自的优劣势。大模型虽然在准确性、通用性上有优势，但也面临高成本、低效性、隐私保护等问题；小模型则以高效性、低成本、强隐私保护和高可解释性等优点崭露头角。文中列举了微软Phi-3系列、Google Gemma、Anthropic Claude 3 Haiku和Meta Llama 3等小模型的成功案例，展示了小模型在不同领域的应用潜力。随着技术进步、应用需求增长及政策推动，AI行业正逐步向轻量化转型，但仍需面对性能瓶颈、数据获取等挑战。文章最后展望了小模型与大模型结合的发展趋势，并强调了AI技术发展中伦理和法律问题的重要性。; 适合人群：对AI技术发展趋势感兴趣的从业者、研究人员、企业决策者以及相关领域的学生。; 使用场景及目标：①了解AI行业中大模型与小模型的特点和发展现状；②掌握小模型在各个领域的具体应用场景及其优势；③思考AI技术轻量化转型对企业和社会的影响。; 其他说明：文章指出AI行业的轻量化时代已经悄然来临，小模型凭借其独特的优势将在更多领域发挥作用。同时提醒读者关注AI技术发展中的伦理和法律问题，鼓励大家积极参与到这一变革中来。
内容概要：本文详细介绍了基于西门子S7-1200 PLC的物料分拣系统的设计与仿真。系统采用三个光电传感器进行物料检测和颜色识别，两个推料气缸用于分拣，以及一个传送带电机驱动物料传输。核心逻辑由梯形图和SCL语言编写，涵盖初始化、传感器处理、气缸动作控制和WinCC动画同步等功能。文中强调了急停连锁、颜色传感器信号保持时间和气缸动作延迟等关键细节，并提供了详细的代码片段和调试建议。此外，还介绍了WinCC动画的实现方法，确保仿真效果逼真。 适合人群：初学者和有一定经验的PLC程序员，尤其是希望深入了解PLC控制系统设计和仿真的技术人员。 使用场景及目标：①帮助读者掌握PLC编程的基本技能，特别是S7-1200系列PLC的应用；②提供完整的物料分拣系统仿真案例，便于理解和实践；③通过WinCC动画展示，增强对工业自动化系统的直观认识。 其他说明：本文提供的程序包可在GitHub上获取，建议使用TIA Portal V17打开。仿真过程中应注意变量绑定和时间参数的调整，以确保系统稳定性和动画同步。
内容概要：本文详细介绍了基于邻域粗糙集（NRS）、引力搜索算法（GSA）和支持向量机（SVM）的变压器故障诊断方法。首先，邻域粗糙集用于特征约简，减少数据维度并提高后续算法的效率。其次，引力搜索算法用于优化SVM的参数，找到最优的惩罚因子C和核函数参数gamma。最后，使用优化后的SVM对变压器故障进行分类诊断。这种方法显著提升了变压器故障诊断的准确性和效率，为电力系统的稳定运行提供了有力保障。 适合人群：从事电力系统维护、数据分析以及机器学习领域的研究人员和技术人员。 使用场景及目标：适用于需要高精度变压器故障诊断的电力系统，旨在提高故障检测的准确性，减少误报率，确保电力系统的安全稳定运行。 其他说明：文中提供了具体的Python代码示例，帮助读者更好地理解和应用这些技术。同时强调了特征工程和参数优化的重要性，指出不同的数据分布可能需要调整相关参数以获得最佳效果。
内容概要：本文详细介绍了使用MATLAB 2019b进行双馈风机的最大功率追踪(MPPT)、变速恒频以及直流母线稳压控制仿真的方法和技巧。首先，文章展示了双馈电机通过背靠背变流器连接电网的整体模型架构，分别阐述了转子侧和网侧变流器的功能及其核心控制算法。对于MPPT部分，采用了经典爬山法，并讨论了功率变化方向判断周期和步长参数的影响。接着，深入探讨了变速恒频控制中转子侧变流器的作用，强调了PI参数的选择和解耦补偿的重要性。最后，针对直流母线稳压控制，提出了梯形积分法和前馈补偿的应用，确保电压波动最小化。此外，文中还提供了多个调试技巧和注意事项，如仿真步长、PWM生成、锁相环参数调整等。 适合人群：从事风电领域研究的技术人员、研究生及以上学历的学生，尤其是那些希望深入了解双馈风机控制原理和MATLAB仿真应用的人群。 使用场景及目标：适用于风电系统的开发与优化项目，旨在提高双馈风机的效率和稳定性。具体目标包括实现高效的MPPT算法、稳定的变速恒频控制以及可靠的直流母线稳压机制。 其他说明：文中不仅包含了详细的数学公式和代码片段，还有丰富的实践经验分享，帮助读者更好地理解和解决实际工程中的问题。同时，作者提醒了一些常见的仿真错误，如变流器开关频率设置不当、PWM模块配置失误等，有助于初学者避免类似的问题。
内容概要：本文详细介绍了如何使用Matlab/Simulink构建300kW直驱永磁同步电机的风电并网仿真模型。首先，文章讲解了永磁同步电机的关键参数配置，如定子电阻、d轴和q轴电感、磁链强度以及极对数等。接着，深入探讨了逆变器控制部分的设计，包括锁相环（PLL）的参数设置、双闭环控制结构中的电流环PI参数调整方法。此外，还讨论了并网瞬间的波形处理技巧，如软启动逻辑和直流母线电压的平稳爬升。文中提供了多个调试秘诀，如直流母线电容的选择、坐标变换模块的正确使用等。最后，强调了仿真过程中需要重点关注的三个信号：发电机转矩脉动、网侧电流谐波含量和直流母线电压纹波。 适合人群：具有一定电力电子和控制系统基础知识的研究人员、工程师和技术爱好者。 使用场景及目标：适用于希望深入了解风电并网系统的原理和实现方式的技术人员。通过构建和优化仿真模型，可以更好地掌握永磁同步电机的工作机制及其在风电领域的应用。 阅读建议：读者可以在阅读过程中跟随作者逐步搭建仿真模型，同时关注各个模块的具体参数设置和调试技巧，以便更好地理解和掌握相关知识点。
项目功能说明 促销管理：零售出库、零售退货 采购管理：采购订单、采购入库、采购退货 销售管理：销售订单、物流信息、销售退货 仓库管理：其它入库、其它出库、调拨出库、组装单、拆卸单 成本核算：收入单、支出单、收款单、付款单、转账单、收预付款 药品溯源：库存状况、账户统计、进货统计、销售统计、入库明细、出库明细、入库汇总、出库汇总、客户对账、供应商对账、库存预警 药品管理：药品类别、药品信息、计量单位、序列号 基本资料：供应商信息、客户信息、会员信息、仓库信息、收支项目、结算账户、经手人管理 系统管理：角色管理、功能管理、机构管理、用户管理、日志管理、系统配置、商品属性、插件管理
内容概要：本文介绍了基于梯度下降的改进自适应短时傅里叶变换（STFT）方法，并展示了其在Jupyter Notebook中的具体实现。传统的STFT由于固定窗口长度，在处理非平稳信号时存在局限性。改进的方法通过梯度下降策略自适应调整窗口参数，从而提高时频分辨率。文中详细解释了算法的工作原理，包括信号生成、窗函数设计、损失函数选择等方面，并给出了具体的Python代码示例。此外，文章还讨论了该方法在多个领域的广泛应用，如金融时间序列、地震信号、机械振动信号、声发射信号、电压电流信号、语音信号、声信号和生理信号等。 适合人群：从事信号处理、数据分析及相关领域研究的专业人士，尤其是对时频分析感兴趣的科研人员和技术开发者。 使用场景及目标：适用于需要处理非平稳信号的研究和应用场景，旨在提高信号处理的精度和效率。具体目标包括但不限于：改善金融市场的预测能力、提升地震监测系统的准确性、增强机械设备故障诊断的效果、优化语音识别和合成的质量等。 其他说明：该方法不仅限于特定类型的信号，而是可以通过调整参数灵活应用于不同的信号类型。文中提供的代码可以在Jupyter Notebook环境中直接运行，便于实验和验证。
内容概要：本文详细介绍了VMD（变分模态分解）与NGO（北方苍鹰优化算法）结合形成的最优变分模态优化算法。该算法通过嵌套多种损失函数，尤其是包络熵，实现了对复合信号在频域上的最优拆分。文中不仅解释了算法的工作原理，还提供了具体的Python代码示例，展示了如何通过调整参数来优化信号拆分过程。此外，文章强调了该算法在特征工程领域的巨大价值，特别是在提高数据预测准确性方面的作用。通过实例演示，证明了VMD+NGO算法在处理非平稳信号、音频处理、图像处理等领域中的优越性能。 适合人群：从事信号处理、数据分析、机器学习等相关领域的研究人员和技术人员，尤其是那些希望深入了解并应用先进信号处理技术的人。 使用场景及目标：适用于需要从复杂复合信号中提取有用信息的各种应用场景，如工业设备状态监测、故障诊断、时间序列预测等。主要目标是提高信号处理的精度和效率，进而改善基于这些信号的预测模型的表现。 其他说明：文章提供了详细的代码片段和理论背景，有助于读者更好地理解和实施该算法。同时提醒读者注意某些实现细节，如参数的选择和优化策略的应用。
基于51单片机protues仿真的鱼缸环境监测系统（仿真图、源代码，AD原理图、流程图） 1、测量鱼缸水温、PH值、有害物质等，并显示 2、可以通过串口遥控控制制氧机和加热器的启停【没有自动控制功能】； 3、仿真图、源代码，AD原理图、流程图