Hadoop为开发平台

http://ice.hitsz.edu.cn/Research/Res_results/hadoop.html

 

基于海量数据的分布式非关系数据库平台

<!-- Paragraphs of the article --><!-- Image of the paragraph --><!-- Optional headline of the paragraph --><!-- The text content of the paragraph -->

简介

  基于海量数据的分布式非关系数据库平台的突出特点是将分布式数据库与非关系数据库进行融合，用以存储和管理海量数据信息。以Hadoop为开发平台载体。Hadoop是Google Map／Reduce算法模型的一个Java实现，它让程序自动分布到一个由普通机器组成的超大集群上并发执行，主要表现在三个方面：

Ø海量数据的管理

Ø非关系数据库的特征

Ø分布式数据库特征

 

Hadoop平台的核心：

Ø文件管理系统（HDFS）

Ø map/reduce

 

分布式非关系数据库优点：

 

扩容能力：能可靠地存储和处理千兆字节(PB)数据。

成本低：可以通过普通机器组成的服务器群来分发以及处理数据。这些服

务器群总计可达数千个节点。

高效率：通过分发数据，Hadoop可以在数据所在的节点上并行地(parallel)

处理它们，这使得处理非常的快速。

可靠性：Hadoop能自动地维护数据的多份复制，并且在任务失败后能自动

地重新部署计算任务。

 

重点研究方向

 

海量数据的分布式非关系数据库的查询优化：通过建立局部查询与分布式全局查询有机结合的方式对查询进行优化。同时，查询优化方式还包括数据的动态融合、移动计算等。

分布式数据库的负载均衡问题： 智能化地根据任务特征、机器负载信息和网络通信等情况，实时调整分布式数据库硬件资源的分配，最终实现资源的近似最优分配

非关系数据库的数据库模型研究：通过对非关系数据库特征的研究总结，建立起针对针对非关系数据库的系统性数据库模型。

 

典型应用方向:

 

web挖掘方面：在web文本搜索，web日志分析等方面有了很广泛的应用。

海量数据的云计算方面：通过对大规模数据的map操作和reduce操作使得平台具有计算高度并行化和简单规约的能力，这些特点在云计算方面有着重要价值。

物联网方面：物联网数据具有属性关系松散、数据规模庞大、一次读入等特点，传统数据库及典型分布式数据库和非关系数据库是无法满足其数据的管理和挖掘方面的需要。因此，结合分布式非关系数据库的特点，其在物联网方面应用前景广泛