海量数据的处理方案

企业海量数据 存储难题如何解决
  Web2.0的广泛应用及社交网络的繁荣使得企业数据面临空前的海量管理难题。IBM发现，到2020年，每个消费个人的“信息足迹”将从目前的每年1TB增长到2020年的超过16TB。这使得企业信息架构不得不全力适应这一新的变化，然而现实是老旧的数据中心早已难以应对与日俱增的信息管理需求。该怎么办呢?此时业界出现了两种声音：一种提倡企业信息架构往“合”的方向进行，如采用重复数据删除技术等;另一种声音主张往“分”的方向进行，如利用分布式架构的优点进行管理等等。
　　企业信息架构到底是“合”有利还是“分”更有理?业界仁者见仁，智者见智，说法不一。作为IT经理，在构建可满足未来信息增长需求的信息架构的过程中，不仅要充分考虑企业现有的IT环境，同时亦需兼顾企业存储现状。甚至可以说，存储技术作为企业数据中心最重要的基石，它在未来的发展很大程度上直接影响着企业信息架构“分” “合”的方向。2007年的诺贝尔物理学奖颁给了对硬盘密度的提高做出巨大贡献的巨磁阻效应的发现者，表明存储已在当今人类社会中具有举足轻重的地位。

　　发展难题

　　目前企业存储面临几个问题，一是存储数据的成本在不断地增加，如何削减开支节约成本以保证高可用性;二是数据存储容量爆炸性增长且难以预估;三是越来越复杂的环境使得存储的数据无法管理。企业信息架构如何适应现状去提供一个较为理想的解决方案，目前业界有几个发展方向。

　　存储虚拟化

　　对于存储面临的难题，业界采用的解决手段之一就是存储虚拟化。虚拟存储的概念实际上在早期的计算机虚拟存储器中就已经很好地得以体现，常说的网络存储虚拟化只不过是在更大规模范围内体现存储虚拟化的思想。该技术通过聚合多个存储设备的空间，灵活部署存储空间的分配，从而实现现有存储空间高利用率，避免了不必要的设备开支。

　　存储虚拟化的好处显而易见，可实现存储系统的整合，提高存储空间的利用率，简化系统的管理，保护原有投资等。越来越多的厂商正积极投身于存储虚拟化领域，比如数据复制、自动精简配置等技术也用到了虚拟化技术。虚拟化并不是一个单独的产品，而是存储系统的一项基本功能。它对于整合异构存储环境、降低系统整体拥有成本是十分有效的。

　　在存储系统的各个层面和不同应用领域都广泛使用虚拟化这个概念。考虑整个存储层次大体分为应用、文件和块设备三个层次，相应的虚拟化技术也大致可以按这三个层次分类。目前大部分设备提供商和服务提供商都在自己的产品中包含存储虚拟化技术，使得用户能够方便地使用。

　　简单来说，虚拟化存储技术以有限的存储资源，满足无限的数据管理需求，打破了千篇一律的数据存储格局，开创了更加灵活的应用空间。存储虚拟化技术对信息架构的影响是会促使信息架构走向“合”的方向，是存储难题的一种解决手段。但虚拟化并非完美解决方案，目前在保护用户隐私方面还令人感到一些担忧，对于很多企业来说，技术是一个很高的门槛。这些问题可能都会导致虚拟化在实际推行中遇到一些障碍。

　　容量扩展

　　目前而言，在发展趋势上，存储管理的重点已经从对存储资源的管理转变到对数据资源的管理。随着存储系统规模的不断扩大，数据如何在存储系统中进行时空分布成为保证数据的存取性能、安全性和经济性的重要问题。面对信息海量增长对存储扩容的需求，目前主流厂商均提出了各自的解决方案。

　　比如IBM将硬件压缩技术融入虚拟磁带库，比如分层存储技术，将价值最大的数据保存在等级最高的存储资源上，以保证最高的性能、可用性和安全性; 而对不重要的数据，就放在代价最小的存储资源上; 对毫无价值的数据，就进行删除，以留出更多的存储空间。这样就可减轻主存的容量压力，提高响应速度等。

　　再比如基于重复数据删除技术基础的对象存储方式，能够很好地帮助企业进行存储“瘦身”。存储对象通过扩展属性的方式对于所保护的数据提供更多的描述，存储系统针对相应属性进行合理的优化和管理，极大地提高了数据的存取性能和管理效率。特别是在大规模存储系统中，更加“智能”的数据结合智能存储设备、对于充分发挥各种部件的效率、提升海量数据管理能力、改进存取过程的性能提供更多的安全性、可用性保障。

　　再比如对现存关键数据进行远程备份的IP SAN(以iSCSI技术搭建的)，专门解决主机系统对磁盘的块级存储数据调用。IP SAN最显著的特点就是价格低廉以及无限长度扩展的先天优势。对于IP SAN的管理也可以随之变得更加灵活，因为使用的是相同的网络连接设备，管理也将变得更加简单。目前越来越多的厂商已经加入到推广IP SAN的队伍中。

　　由于存储现状比较复杂，存储技术的发展业界还没有形成统一的认识，因此在应对存储容量增长的问题上，尚存在很大的提升空间。技术是发展的，数据的世界也是在不断变化的过程中走向完美。企业信息架构的“分”与“合”的情况并不绝对。目前、出现了许多的融合技术，如NAS与SAN的融合，统一存储网等等。这些都将对企业信息架构产生不同的影响。至于到底采用哪种技术更合适，取决于企业自身对数据的需求

评论

5 楼 longgangbai 2009-03-16  

不错，支持楼上的分析，^_^，欢迎大家讨论！！

4 楼 sofar1218 2009-03-14  

Support information lifecycle management to allowing cost-effective, policy driven storage.

为你的数据添加元数据，来描述该数据的生命周期和相应的属性比如最近被访问的时间，重要性等等。到期的数据该删除的删除，该转存到低陈本的存储空间的转存。

比如：ILM can be implemented using Oracle Database 11g by following these three simple steps:

Define the Data Classes
Create Storage Tiers for the Data Classes
Create Data Access and Migration Policies
Define and Enforce Compliance Policies

3 楼 longgangbai 2009-03-13  

  偶们上次和移动做项目时，因为移动公司的全国那么多用户的，在几个系统用户关系注册，以及各种操作信息，数据量可以称为海量数据，我们采用“利用分布式架构的优点进行管理”类解决方案实现的。我现在感觉当时做事这种情况可能有那些缺点呢？我想知道？用户的数据不一定经常使用，但是在特定的操作使用。怎么能随便删除呢？？  希望大家给一点好的建议！！偶在此谢谢了^_^

2 楼 miaomiao0307 2009-03-13  

支持楼上的说法。。。

1 楼 liujunsong 2009-03-12  

企业如果发现自己被信息湮没了.
首先应该仔细分析一下,是不是垃圾数据太多了.
垃圾数据多了,要找的数据就找不到了,这就有点象书店里面的书太多了,你就找不到自己所需要的东西了
与其想办法把这些没用的信息整理来整理去
不如从头开始仔细规划,把有用的留下,没用的去掉.

如果一直不肯把没用的删掉,最后就会在垃圾中淹没了.