`
gloryfuture_taiyuan
  • 浏览: 1828 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

数据分区技术和数据网格的集成

阅读更多
概述:
当处理大量数据的时候,常常值得推荐的是跨节点把数据分隔开处理。基本上,每个点负责处理数据的一部分。这种方法基本上允许从数据库数据中加载大量的数据到缓存,然后配置你的电脑区执行这些数据。为什么?为了避免数据在各节点的重复缓冲,这样往往可以提升性能,防止服务器瘫痪。

使用gridgain,使用Affinity Load Balancing这样的设计非常完美的解决了这个问题,而且可以和分布式缓存集成,解决数据网格。

Affinity Load Balancing

在GridGain中Affinity Load Balancing是通过GridAffinityLoadBalancingSpi.提供。
下图说明是使用数据网格和不适用数据网格的差别。左面的图表示没使用GridGain的执行流程,其中远程数据库服务器负责查询数据,然后传递到主调用服务器。这种比数据库访问要快,但是结果计算使使用很多不必要的流量。

右图,使用了Gridgain。整个逻辑计算与数据访问整合到本地节点。假设大量逻辑计算比数据序列到数据库要轻巧(即大量计算),那么网络流量将是最小的。此外,您的计算都可以访问节点2和节点3的数据。在这种情况下,GridGain将分为逻辑计算jobs和合适的逻辑计算路由到相应的数据服务中进行计算。以确保所有计算都在本地节点中计算。现在,如果数据服务节点崩溃时,您的失败jobs会自动转移到其他节点,这种是允许失败的(数据网格和分布式缓存提供这种方式)。
[img][/img]

数据网格集成
GridGain没有实现数据高速缓存,但是与现有的数据高速缓存或数据网格解决方案进行了集成。这使用户可以使用几乎任何的分布式缓存来实现自己喜欢的方案。
比如:GridGain提供了一个JBoss Cache Data Partitioning Example 告诉用户如何来使用Attinty Load Balancing。事实上,JBOSSCache没有提供数据分区的功能。由于使用了GridGain的GridAffinityLoadBalancingSpi提供的Attinity Load Balancing让JBoss
分享到:
评论

相关推荐

    Informatica PowerCenter 数据分区选项

    这一选项通过基于线程的体系结构和自动数据分区功能,在多处理器和基于网格的硬件环境中优化并行处理,从而为用户提供性能优势。 数据分区的核心优势体现在以下几个方面: 1. 经济有效的扩展能力:分区选项允许...

    卓越的数据集成性能与可靠性业务案例

    通过详细介绍Informatica PowerCenter的各种高级功能和技术优势,本白皮书为企业展示了如何构建一个既强大又灵活的数据集成基础设施。这些技术包括但不限于64位体系结构、高可用性设计、网格计算、下推优化以及分区...

    Infinispan分布式网格数据平台

    Infinispan是一个高度可扩展的、高性能的数据网格系统,主要用于在分布式环境中存储和处理大量数据。它被设计为一个内存数据网格,能够提供高速缓存服务,同时也支持持久化存储。Infinispan在Java世界中广泛应用于...

    数据仓库和ETL

    数据仓库和ETL是信息技术领域中的关键组成部分,它们在企业数据管理和分析中起着至关重要的作用。数据仓库是一个集中的、结构化的系统,用于存储历史数据,主要用于支持决策制定和业务智能。而ETL(Extract, ...

    46488_Spark大数据技术与应用_习题数据和答案.rar

    习题数据和答案的提供,旨在帮助读者更好地理解和掌握书中的概念、技术和实战应用。在这个压缩包中,包含了书中不同章节的习题及对应的解答,具体包括第2章至第8章的内容。以下是各章节可能涉及的主要知识点的详细...

    甲骨文公司发布Oracle数据库10g第2版 数据网格再发力.pdf

    此外,Oracle Streams的增强功能使得大型数据集的存档和复制更加高效,促进了网格环境中的信息共享。 Oracle 10g在高可用性和性能方面也表现出色。它提供了集群就绪服务(Cluster Ready Service),支持开放API,增强...

    Oracle数据库10g信息集成.ppt

    3. **Oracle Streams**和**消息网关**:Oracle Streams是一个强大的数据流技术,用于捕获、传输和管理数据库的变化信息,支持实时数据集成。消息网关则提供了跨不同系统间的信息交换能力,增强了系统的互操作性。 4...

    兰州大学的网格计算系统案例

    网格计算是一种分布式计算技术,它将分散在网络中的各种计算资源(如服务器、工作站和个人电脑)组织成一个统一的计算环境,使用户能够像访问单一系统那样进行大规模计算和数据处理。兰州大学与IBM的合作项目就是一...

    Oracle数据库10g: 信息集成.pptx

    Oracle 10g的关键特性包括虚拟计算资源、信息集成和一系列的数据管理和整合技术。 网格计算在Oracle 10g中扮演了重要角色,它允许服务器、数据中心和企业间资源的虚拟化,涵盖了网络、存储器、CPU和数据等不同类型...

    《基于Oracle10g的数据仓库实践》

    Oracle10g提供了多种内置的数据仓库功能,包括但不限于分区、索引组织表、压缩以及数据挖掘工具等,这些特性对于提高数据仓库系统的性能至关重要。 ##### 1.3 Oracle10g的数据仓库设计 设计一个高效的数据仓库,...

    Apache Ignite内存数据组织 v2.8.1.zip

    Apache Ignite的核心特性之一是其内存数据网格(In-Memory Data Grid, IMDG),它允许在内存中存储和处理数据,以实现极快的数据访问速度。以下是对Ignite内存数据组织的一些关键知识点: 1. 分布式内存模型:...

    OracleBI数据仓库设计及解决方案.pptx

    OracleBI数据仓库设计及解决方案主要探讨了如何利用Oracle的产品和技术构建一个高效、可靠且可扩展的数据仓库平台。Oracle提供了全面的产品体系,从数据库到应用服务器,再到商务智能工具,以实现数据仓库的完整生命...

    基于OpenGL的三维点云数据处理系统的设计与实现.pdf

    7. **性能优化**:由于点云数据量通常非常大,系统可能需要采用空间分区、视锥剔除等技术来优化渲染性能,确保在任意安装了VC++6.0和OpenGL的平台上都能流畅运行。 8. **可扩展性**:设计时考虑了系统扩展性,意味...

    Apache Ignite内存数据组织 v2.16.0.zip

    1. **内存架构**:Apache Ignite采用了基于内存的数据网格架构,将数据存储在服务器集群的内存中,以实现快速的数据访问和处理。这种架构允许数据在节点之间自动分布,提高系统扩展性和响应速度。 2. **分区策略**...

    基于Oracle和ArcSDE的空间数据访问优化

    合理组织空间数据,如使用分区、索引等手段,可以提高数据检索和处理的效率。 4. 结论 针对Oracle和ArcSDE的优化策略,不仅涉及数据库服务器层面的内存、I/O、回滚段和CPU使用,还包括ArcSDE的索引和数据组织。...

    CFX入门教材另外还有网格教程以及详细的计算方法

    - **Mesh Editor**: 创建和修改网格的集成环境,包括以下三个主要窗口: - **ICEMCFD主窗口**: 包含图形显示区域及六个功能按钮(File, Geometry, Meshing, Edit Mesh, Output)。 - **显示窗口**: 显示网格和模型...

    数据仓库建模与ETL的实践技巧.zip

    - 数据源:识别数据来源,了解数据质量,确定数据集成策略。 - 维度和事实:设计清晰的维度和事实,确保数据可分析性。 - 角色和视图:根据用户需求创建特定的视图或逻辑分区。 二、ETL过程 ETL是数据仓库实施的...

Global site tag (gtag.js) - Google Analytics