- 浏览: 3499883 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
wanglf1207:
EJB的确是个不错的产品,只是因为用起来有点门槛,招来太多人吐 ...
weblogic-ejb-jar.xml的元素解析 -
qwfys200:
总结的不错。
Spring Web Flow 2.0 入门 -
u011577913:
u011577913 写道也能给我发一份翻译文档? 邮件437 ...
Hazelcast 参考文档-4 -
u011577913:
也能给我发一份翻译文档?
Hazelcast 参考文档-4 -
songzj001:
DbUnit入门实战
数据量的爆炸性增长,让我们不得不更加关心存储。这也造成了目前谈论“数据挖掘”、“知识管理”等话题更容易引起共鸣。现在所说的存储,并非是 简单的“存”和“储”的含义,不是把数据放在角落里就万事大吉的。更重要的是,我们要通过这些数据,进一步产生价值,提升企业业务能力,增加效益。这时 候,“存储”就演变成了更多的其他含义。比如“备份”、“数据归档”、“数据保护”、“数据挖掘”等等。那么在这些“存储”的替代名词之中,目前哪个是业 界谈论最多的呢?“数据归档”当属其一。为什么这么说?是有充足理由的。
备份与数据归档 即分散又统一
存储网络工业协会(SNIA)是如何解释数据归档的呢?SNIA在《网络存储双语词典》中的解释是——Archive(数据归档)是指数据集合 的一致性拷贝,通常用以长期持久地保存事务或者应用状态记录。一般情况下,数据归档通常用以审计和分析的目的,而不是用于应用恢复的目的。
上面的解释太术语了,不好理解,那么我们可以用备份和数据归档作一下对比,因为备份是很多人容易理解的名词。备份和数据归档都是数据存储的应用形式,只是应用目的不同。
先来看看备份,其实就是对数据进行复制,是为了确保在出现数据丢失或系统灾难时将复制的数据恢复回来。因此备份关注的是业务信息的变化和更新,是短期的存储行为,并且经常被覆盖。比如银行每天要备份交易记录。
根据备份的解释再来看数据归档就很好理解了。数据归档是针对“海量数据”的应用,是对数据进行有计划的迁移。当数据停止改变或不被频繁使用时,通过数据归档把它们转移到别的地方,让出主存储空间,并且使之处于日常的备份窗口之外,既节约了空间,又提升了备份的效率。
那么根据上面的解释,如果再简化来说,那就是“Ctrl+C”和“Ctrl+X”的区别,备份是复制,数据归档是剪切。当然,这只是为了方便理解的比喻,其实里面的玄机还是很多的。
备份和数据归档虽有区别但又互相联系。只要涉及到数据归档必然会有数据备份的需求,并且两者都是对存储设备进行操作,因此它们完全可以基于同一 技术体系来实现。所以我们看现在的主流存储厂商推出的都是“数据管理软件”,既能备份,又可以数据归档,大有“分而合之”之意。目前,备份和数据归档常常 放在一起考虑,统称BURA (BackUp, Restore, Archive)。两者相似之处都是用复制来保护重要数据不被损坏或丢失。常见的BURA解决方案是D2D2T,就是Backup Disk to Disk, then to Tape。这样满足了对备份速度的要求,也满足了对大容量长保存时间的数据归档要求,平衡了各方面的需求。
厂商推出的软件既然如此,那么企业对数据归档与备份的需求也是分不开的。对企业而言,备份和数据归档具有两种不同但互补的功能:备份用于快速复 制和恢复,以减少故障、人员错误或灾难带来的影响;数据归档则用于对数据进行有效的管理、保留和长期的访问与检索。企业可以将数据归档和备份结合起来用, 以达到优化成本、改进存储基础设施的整体效力,使备份能够在有效的数据归档解决方案下变得更有效率,而数据归档也可以利用备份基础设施满足数据保护需要。
需求飙升 容量左右应用
随着数据量的爆炸性增长,数据归档的需求明显增多。IDC在发布《2007年第三季度全球存储软件市场收入》时,其存储软件分析师 Michael Margossian曾说到:“整个市场受到数据归档和数据保护与恢复软件市场强劲需求的推动。企业对备份软件的需求似乎有所降温,对数据归档软件的需求 逐渐抬头。”
那么对于企业来说,在当前的市场竞争环境中,需要增加数据分析能力以提升竞争力非用“数据归档”不可。比如我们查询每月电话费,目前只能查到6 个月之内的费用。而一年前的话费呢?并非电信部门将此数据删除了,只是没有让其显示给用户。这些更久远的数据是被“数据归档”了,但是又可以供电信部门随 时查看。当电信部门需要分析话费,进而推出新业务时,就会从数据归档数据中调出这些“年代久远”的数据来。国内一家制造领域大型企业CIO的感触也十分 “直白”。他认为,“让数据赚钱,比让数据省钱来的更加有价值。”这也表明了,数据归档比备份来说,更容易帮助企业提升竞争力。
可以说,数据归档是在企业实施备份方案后的进一步对数据的梳理。为什么说是在备份基础之上的升华呢?因为没有备份数据的情况下,谁敢“剪切”。 所以备份是前提,数据归档是提升。而且数据归档也比备份的前提条件要求更多。首先就是容量的要求,一般量级都是在TB级甚至PB级。对于不到TB级存储量 的企业来说,与其采用数据归档,还不如直接加大磁盘容量来的实际。比如佛山伊戈尔这家致力于向全球市场提供电源变压器、电力变压器和变压器铁芯组件的专业 供应商,其IT部门负责人欧建文在接受记者采访时介绍道:“在容量方面,佛山伊戈尔邮件数据库120GB、工程资料文件70GB、一般应用系统SQL数据 库120GB、Oracle数据库及应用有170GB,总共480GB的数据量。由于数据量不大,我们确实对数据归档技术没有需求,只是使用了备份功 能。”
但并不意味着现在没有应用数据归档技术的企业对这项技术就不关心。比如2007年,SNIA完成了一项全面调查,该调查涉及了来自世界各国各种 组织的数百人。令人惊讶的是,80%的人说他们的信息必须保存50年以上,68%的人说他们的数据必须保存100年以上。这样保存数据的话,容量增长可想 而之。所以佛山伊戈尔也看到了这种数据爆炸增长的趋势,在制定未来3年IT建设规划时,“数据归档”已经跃然纸上。欧建文对记者说:“目前数据归档技术已 经排在佛山伊戈尔未来3年内应用的日程上了,未来会首先在ERP、财务信息和邮件方面应用数据归档。”
ILM解决数据归档难题
虽然数据归档的需求正在逐步崛起,但是摆在我们面前的难题其实还有很多。其中最主要的有两个难点:数据长期保留和法规遵从。数据保留的时间远远 超过存储系统(磁盘或磁带)和应用程序的寿命。对于长期数据归档(15 年以上),最大的挑战是逻辑迁移。逻辑迁移保持了应用程序的特定性,自动化主要流程变得更困难。完整“保存”需要保持数据的可读性和可解释性。
在法规遵从方面,随着越来越多的商务运作采用数字方式进行记录和存储,制定用以管理商务和数据的相关法律法规越来越多,未能遵从这些法规而造成 的后果也变得越来越严重。除遵从政府的规范法规之外,组织还需要制定自己的内部政策和规程,缓解风险和控制 IT。层层的法规遵从给数据归档增加了难度。
目前在磁盘或磁带上做备份、数据归档,每隔3~5年就需要迁移一次数据(同时在物理上和逻辑上)。物理迁移需要将信息从一个物理存储系统移到另 一个系统,或从一种介质格式移到另一种格式以维持物理可读性、可访问性和完整性。逻辑迁移需要将信息从一种逻辑格式移到另一种格式(如从应用程序的旧版本 移到新版本),以保持可读性和可解释性。所以,对于上面提到的SNIA调查得出的结论,“绝大部分人希望数据保存50年甚至100年”,那么存储于磁带, 则要面临读取困难和保存时间不够长这样的问题。简而言之,我们需要保留信息的时间远远超过存储系统(磁盘或磁带)和应用程序的典型生命周期。甚至保留期还 没到,物理介质就开始退化,变得无法读取。
那么有没有什么方法,既可以长久保留数据,又可以增加容量,还能快速读取数据呢? SNIA长期数据归档和法规遵从存储计划 (LTACSI) 主席、NetApp全球实践总监Gary Zasman给出的建议是:针对应用程序、操作及数据存储库实施正式生命周期管理流程,以在使用寿命中解决数据管理的效率问题。
目前,在数据归档中应用ILM(Information Lifecycle Management,信息生命周期管理)的理念已经逐步被用户接受,这不仅能帮助企业从整体上改善其数据资产的管理,以最低的成本来实现大量数据的有效 管理与高效利用。并且随着应用的成熟与现实的需求,数据加密、身份认证、虚拟化等技术也逐步走进数据归档的应用中,并且有效地提高了数据归档应用的效率, 增强了数据安全性,大大降低了操作的复杂性和成本。
数据归档技术走向何方
一个好的存储数据归档系统可以帮助企业实现以下目标:降低保留历史数据的成本;更有效和快捷地对历史数据访问和利用;减少保护和维护信息所需的 人力管理成本;保护数据归档数据的安全性。但是对于数据的读取,数据归档现在还不能做到尽善尽美。比如我们现在拿起一本100年前的书,可以毫不费力地进 行阅读,而几年前的备份磁带,读取可能要困难得多。即使有正确的硬件来读取磁带(且磁带本身仍然完好),我们还是需要知道磁带的写入格式,且需要可以识别 此数据的应用程序。
在IT应用早期,磁盘阵列不像今天这么发达,磁带库是主要的备份技术。如今,硬盘越来越便宜,不仅磁带在备份中的应用减少了,甚至有人提出用磁 盘阵列来做数据归档,全面取代磁带库。但是,由于磁盘阵列的技术特性所决定,存储在其中的资料都处在热状态。这就是说,用于数据归档的磁盘存储系统不应该 关机,其重新加电的过程也很复杂。而在提倡“绿色计算”的今天,长期开机很不利于能耗的降低。而且,几十年、上百年的资料,使用频度不一定很高,磁盘和磁 带相比,成本效益就更加悬殊。所以说,对于数据归档来说,磁带库仍然是不可替代的最佳选择。
为了更快更方便地读取数据,数据归档的理想方案应该是VTL(虚拟磁带库)。VTL通常具有几个重要优点,同其他D2D解决方案一样,它们在本 质上比磁带更可靠,并且不会出现介质错误、机械故障或起停问题。虚拟磁带机和介质如果使用稳定,则不会磨损;它们也不需要清洁和维护。最重要的是,与物理 磁带库相比,企业VTL可以使数据归档的性能提高一个数量级。不过VTL虽然性能出众、又具有管理便捷的优势,但是其成本依然是一道难以逾越的门槛,这让 很多有数据归档需求用户不得不望VTL兴叹。
发表评论
-
oracle复制表数据,复制表结构
2011-07-25 21:19 361931.不同用户之间的表数据复制 对于在一个数据库上的两个 ... -
删除 SQL Server 的所有已知实例
2011-04-05 18:42 2027如果提示实例已经被注册,无法安装,那么: 删除 SQL ... -
【SQL】安装 SQL SERVER MsiGetProductInfo 无法检索 Product Code 1605错误 解决方案
2011-04-05 17:10 4843重装数据库服务器上的SQL SERVER 2008 上遇到了以 ... -
Mysql Using Master/Slave Replication with ReplicationConnection
2011-03-24 15:19 1981Starting with Connector/J 3.1.7 ... -
oracle网络配置listener.ora、sqlnet.ora、tnsnames.ora
2010-12-03 12:36 33333oracle网络配置 三个配置文件 listener.ora ... -
Oracle XE的数据库创建过程
2010-12-02 22:55 4339今天安装了Oracle XE,发现并没有自动创建数据库。趁着 ... -
实现数据库TPC性能测试的开源及商业软件
2010-12-02 01:11 3118商业软件 Benchmark Factory ... -
MySQL压力测试工具mysqlslap
2010-11-07 17:13 1766MySQL从5.1.4版开始带有一个压力测试工具mys ... -
一台机器上安装多个mysqld实例
2010-11-06 16:09 2164一台机器安装多个mysqld实例 1. ps -aux | ... -
MySQL数据库双向同步
2010-08-25 20:23 40701. 主从关系的同步 master端 192.168.5 ... -
MySQL 数据库之间的同步(windows与linux)
2010-08-25 20:14 32041.导出windows mysql的test库到linux m ... -
Ubuntu Server 下开启远程连接 MySQL
2010-03-16 23:24 3103要通过远程连接MySQL,需要做两步:第一步是要创建一个可以远 ... -
DB2 在REDHAT 5下的详细安装过程 DB2 9.5 C EXPRESS
2010-03-02 10:43 4582过详细测试并且补充后发表, 括号内的为自行添加的内容. ... -
IBM DB2 Express-C 9.5.2
2010-03-02 09:44 3509或许您已经知 ... -
Oracle Database 10g Express Edition安装小结
2010-03-01 15:28 9165racle Database 10g Express Edit ... -
HA JDBC – High Availability JDBC
2010-02-27 18:46 3301Some time ago I worked on a pr ... -
Database
2010-02-18 15:53 2312下一代数据库发展的4大趋势 趋势之一:对XML的支 ... -
免安装Oracle运行pl/sql developer
2010-02-16 20:27 2180Sql客户端中,虽然最便捷的是万能而且轻量无比的Sql Wor ... -
在debian上安装oracle 10g express
2010-02-16 18:46 4919在debian上安装oracle 10g express 若 ... -
Oracle 数据库 10g 特别版:并非只适合初学者
2010-02-16 17:24 2067作者:Lewis Cunningham ...
相关推荐
东吴证券发布的研究报告《***-东吴证券-生鲜电商行业深度分析:生鲜电商战事升级,路向何方,叮咚买菜VS每日优鲜VS社区团购》对当前生鲜电商行业的竞争态势进行了深入分析,并对主要的市场参与者进行了比较。...
移动之路,路向何方? 解析英特尔、AMD移动处理器路线图.pdf
科技与互联网影响下的城市交通将走向何方?.pdf
随着人工智能和大数据技术的不断进步,招聘效率和人才匹配度有望进一步提高,同时也将为平台带来新的营收模式。 总之,资本寒冬过后互联网招聘平台将面临虚假信息、职位匹配度问题以及营收难题等多重挑战。通过利用...
计算机行业信息安全跟踪报告:2020年信息安全将走向何方,网安领军人如是说.pdf
运输行业:运价历史新高后,油运将走向何方?-1013-长江证券-17页.pdf
此外,随着数据量的增大,数据的存储、管理和分析成为了一个挑战,行业需要探索出更高效的数据管理方式,以提高数据的价值和利用率。 最后,政府在互联网医疗发展中扮演了重要的角色。政府需要建立公平开放的医疗...
在探讨银行业市场利率由谁决定及走向何方的问题前,我们首先需要了解信用货币制度下的货币创造原理,这是银行业务的核心之一。在该体系下,银行体系通过资产扩张行为创造货币,比如发放贷款。然而,这种资产扩张不是...
### MySQL 你走向何方 —— MySQL 发展与未来展望 #### 一、MySQL 的发展历程 MySQL 是一个广泛使用的开源关系数据库管理系统(RDBMS),由瑞典 MySQL AB 公司开发,后被 Sun Microsystems 收购,最终落入 Oracle ...
本文将对生鲜电商行业进行深度分析,探讨生鲜电商战事升级、路向何方、叮咚买菜VS每日优鲜VS社区团购等问题。 1.叮咚买菜VS每日优鲜 生鲜电商行业的两个主要玩家是叮咚买菜和每日优鲜。从规模上看,叮咚买菜的规模...
【机器人产业未来将走向何方】这一主题探讨的是机器人产业的发展趋势和前景,结合标签"机器人"、"机器学习"、"深度学习"以及"专业指导",我们可以深入解析其中的关键知识点。 首先,机器人产业的发展正处于高速成长...
位宽增加的好处在于能提高CPU的数据带宽,使得CPU能处理更复杂的数据。有两种主要的提升方法:提高CPU的I/O端口频率或增加数据传输端口的宽度。前者虽然简单,但会增加生产和成本,后者则能在保持周期不变的情况下...
然而,随着时间的推移,其发展道路似乎陷入了困境,从标题“新浪微博将走向何方:本可别开生面 却迷途难返”中可见一斑。微博本应是新浪实现转型和创新的契机,却因未能突破传统思维框架,导致其潜力未能充分发挥,...
国内管理咨询业的发展正面临着重大的转折点,随着中国经济的快速发展和全球化的深入,这个行业面临着新的机遇和挑战。...在这一过程中,政府的支持、行业标准的制定以及市场的自我净化都将发挥关键作用。
#### 标题解读:“Go语言走向何方-2018GIAC” 标题明确指出此次演讲的主题是关于Go语言的未来发展方向,特别指出了这是在2018年的GIAC大会上进行的分享。GIAC全称为Global Internet Architecture Conference(全球...
金属、非金属与采矿行业稀土磁材专题报告一:潮起潮落,全球稀土资源开发将走向何方?-20190731-长江证券-36页.pdf
《人工智能诞生,围棋走向何方》 人工智能的崛起对围棋这一传统智力竞技产生了深远影响,这一变革在围棋界引起了广泛讨论。世界冠军古力、李喆以及软件开发者卢山共同探讨了这一主题,揭示了AI如何重塑围棋的未来。...
【科尔尼】商超零售企业,路在何方?
#资源达人分享计划#
这些机器人通过识别乘客声波,并进行语音合成及处理,将文字信息转化为标准流畅的语言,实现了语音查询、票务异常处理、二维码支付等业务功能,使得整个操作更加智能化。 总体而言,在"新基建"的推动下,人工智能...