Ignite is a memory-centric distributed database, caching, and processing platform for transactional, analytical, and streaming workloads, delivering in-memory speeds at petabyte scale
Apache Ignite内存数据组织平台是一个高性能、集成化、混合式的企业级分布式架构解决方案,核心价值在于可以帮助我们实现分布式架构透明化,开发人员根本不知道分布式技术的存在,可以使分布式缓存、计算、存储等一系列功能嵌入应用内部,和应用的生命周期一致,大幅降低了分布式应用开发、调试、测试、部署的难度和复杂度。
Apache Ignite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。
特性:
可以将Ignite视为一个独立的、易于集成的内存组件的集合,目的是改进应用程序的性能和可扩展性,部分组件包括:
高级的集群化
数据网格(JCache)
流计算和CEP
计算网格
服务网格
Ignite文件系统
分布式数据结构
分布式消息
分布式事件
Hadoop加速器
Spark共享RDD
Ignite如下特性
1)使用off-heap缓存:避免gc停顿。
2)固化内存可设置堆外内存使用阈值,随着历史地址的增多,系统内存被耗尽时,因持久化特性,固化内存会在内存中保留热数据,自动地将冷数据移出内存到磁盘
3)使用持久化:宕机无须担心历史数据丢失,重启无须初始化。
4)使用集群:可自动同步节点中的数据,可自动发现新机器,方便扩展,提升性能。
5)使用固化内存的“复制”模式,只查询本机,占用内存大,但是性能好。
6)H2内置数据库,以标准SQL语法存储和查询数据,且能自定义SQL函数,便于应付不同规则。
7)对于客户环境,程序能自检出建议调优的系统配置项
内存优势
1)堆外内存
2)避免显著的GC暂停现象
3)自动化碎片清理
4)可预估的内存消耗
5)高SQL性能
磁盘优势
1)可选的持久化
2)支持SSD介质
3)分布式存储
4)支持事物
5)集群瞬时启动
Ignite的持久化存储具有以下优势:
1)可以在数据中执行SQL操作,不管数据在内存还是在磁盘中,这意味着Ignite可以作为一个经过内存优化的分布式SQL数据库
2)可以不用讲所有的数据和索引保持在内存中,持久化存储可以在磁盘上存储数据的大数据集合,然后只在内存中保持访问频繁的数据子集
3)集群是瞬时启动,如果整个集群宕机,不需要通过预加载数据来对内存进行数据“预热”,只需要将所有集群的节点都连接到一起,整个集群即可正常工作
4)数据和索引在内存和磁盘中以相似的格式进行存储,避免复杂的格式转化,数据集只是在内存和磁盘之间进行移动
相关推荐
基于Apache Ignite大数据场景应用 大数据时代,企业面临着海量数据处理的挑战,尤其是在亿级别转账支付交易记录核对场景中。传统的对账平台无法满足业务需求,面临着清洗与核对计算速度慢、整体架构难以扩展等问题...
Apache Ignite是一款开源的内存计算平台,它提供了一系列高性能的数据处理服务,包括分布式数据存储、计算、服务以及数据流处理等。在Ignite中文开发手册中详细介绍了其核心概念、架构组件以及各种功能的使用方法。...
Apache Ignite内存计算介绍.pdf
这个"高性能Apache Ignite完整版"的文档很可能包含了这些主题的深入讲解,包括概念介绍、配置指南、最佳实践、案例研究和可能的性能优化技巧。通过阅读这份资料,开发者和架构师可以全面了解如何利用Apache Ignite...
原理特性,分布式缓存,计算,服务框架Apache Ignite介绍,内部分享文档 性能极致解决方案之选
Processing events & streaming data, integrate Apache Ignite with other frameworks like Storm, Camel, etc. Using distributed computing for building low-latency software. Developing distributed ...
High Performance in-memory computing with Apache Ignite.epub
We hope that High-performance in-memory computing with Apache Ignite will be the go-to guide for architects and developers: both new and at an intermediate level, to get up and to develop with as ...
Apache Ignite是一款开源的内存数据网格系统,由Apache软件基金会维护。它主要设计用于提供高性能、低延迟的数据处理,尤其适合大数据和实时分析场景。在2.15.0版本中,Ignite提供了多种功能和优化,使得它成为一个...
Apache Ignite是一款开源的内存数据网格系统,它提供了一个分布式内存计算平台,支持数据库缓存、实时分析以及复杂事件处理等功能。在MyBatis中,二级缓存是提高数据库访问性能的重要手段,它可以将SQL查询结果存储...
Apache Ignite是一款新一代的数据库缓存系统,它为快速发展的数据存储和处理提供了显著的解决方案。Ignite支持RDBMS、NoSQL和HDFS等多种底层存储系统,以应对大规模数据的存储挑战。 随着数据量的持续增长,如何...
根据提供的文件信息,我们可以了解到关于“High Performance in-memory computing with Apache Ignite”这本书的内容以及Apache Ignite的基础知识点。下面将详细介绍这些知识点。 首先,我们来解释Apache Ignite是...
Apache Ignite在产险大数据中的实践 Apache Ignite是一种分布式内存数据库和计算平台,它可以将数据和计算任务分布式处理,从而提高数据处理速度和效率。在产险大数据中,Apache Ignite可以作为一个中间件,提供高...
Spring Boot与Apache Ignite的集成及其持久的内存和基于缓存的sql查询 展示如何将apache ignite与spring boot集成在一起,以及使用持久性内存功能和sql查询来覆盖内存缓存中的ign的案例 将Spring Boot与Apache ...
Apache Ignite是一款高性能、分布式内存数据网格系统,它支持数据缓存、计算网格、服务网格以及流处理等多种功能。在v2.9.1版本中,我们可以通过源码深入理解其内部实现机制和优化策略。这个压缩包包含了Ignite源码...
Apache Ignite是一个开源的分布式数据管理平台,它为用户提供了一个高性能、集成化和分布式的内存计算框架。与传统的依赖磁盘存储的数据库系统相比,Apache Ignite能够显著提升大数据集上的事务处理和计算性能,性能...
Apache Ignite是一款高性能、分布式内存计算平台,常用于构建数据密集型应用,提供数据库缓存、实时分析以及复杂事件处理等功能。在版本2.16.0中,它继续优化了内存数据组织和管理,提升了系统的性能和稳定性。以下...
下面将详细介绍Apache Ignite的安装过程以及其核心特性。 首先,让我们来理解一下“apache-ignite-fabric-2.5.0-bin”这个压缩包的含义。"fabric"在Ignite中的意思是织物或结构,这里指的是Ignite的部署和管理框架...
阿帕奇点燃书 这是的代码存储库(代码示例,脚本和更深入的示例)。 命名约定 本书中的每一章在存储库... 另一方面,Apache Ignite可用于加速现有的Relational和NoSQL数据库,处理事件和流数据或以容错方式开发微服
Apache Ignite是一款高性能、分布式内存计算平台,常用于构建数据密集型应用,提供数据库缓存、实时分析和复杂事件处理等功能。v2.8.1是该软件的一个版本,包含了Ignite的源代码,这对于开发者深入理解其内部机制、...