`
netcomm
  • 浏览: 141606 次
  • 来自: ...
文章分类
社区版块
存档分类
最新评论

大规模监控数据等time-series类型数据,本地NOSQl处理方法

阅读更多
   我们在不断尝试、优化后,完成了处理大规模time-series类型数据如监控数据的NOSQL数据持久化组件,下面我们详细介绍一下这个组件:
  开发语言: JAVA
  适用的场景
      1、每秒能处理的数据项数量庞大,如2万个
      2、对查询响应时间要求苛刻,如在1亿条记录中查询任意一个数据项符合要求的1000条记录耗时不超过5秒
      3、断电等意外情况下,最多允许丢失最近一小时内的数据
      4、有限的内存要能容下尽量多的数据项,如1G内存能容下40-50万个数据项
      5、数据项的值插入频率快,如每秒一次
      6、数据项的值只有新增,没有更新操作(time-series类型数据的特点)
      7、无法部署数据库
   一个典型应用案例
      XX项目是要把某企业一个很重要的业务支撑平台的内部结构可视化出来,该软件平台每天处理的交易笔数超过1000万,导致该软件平台内部设计复杂,成千上万个重要数据指标在不断变化中,把这些数据指标可视化出来面临的第一个难题就是数据的保存,这上万个指标不但要能显示当前值,还要能保存最近一周的所有历史数据,更麻烦的是数据采集的频率要越快越好,最好小于3秒,项目在开始时候采用的是mysql、oracle等数据库,但效果不好,系统也不稳定。想用内存数据库,当时可能它还不那么流行,并且是否能满足这样的项目还未知。后面在采用我们的SFD组件后,数据持久化这一块基本上满足了,并且还带来一个意外的改变,就是该项目组尽量追求功能的组件化开发。
     示意图

     如果大家有碰到类似的场景,也许可以和我们联系,我们的联系方式email: yunweitec@yahoo.cn;
QQ: 1054618780
  • 大小: 46.2 KB
分享到:
评论

相关推荐

    timeseries-databases:NoSQL时间序列数据库

    时间序列数据库(Time Series Database,TSDB)是一种专门设计用于高效存储、管理和处理时间序列数据的数据库系统。这种数据类型通常包含与特定时间戳关联的数值数据,常见于监控、物联网(IoT)、金融交易、运营...

    技术分享 - 云原生多模型 NoSQL 概述.doc

    4. **时序模型(Time-series)**:专门用于存储按时间顺序排列的数据,常用于监控和日志记录。 5. **图模型(Graph)**:用于表示和操作复杂的实体关系,常见于社交网络和推荐系统。 6. **内存模型(in-memory)**:...

    Informix数据相关资料

    Informix支持NoSQL数据模型,如时序数据(Timeseries)和JSON数据,满足现代应用对非结构化数据处理的需求。此外,Informix还可以与Hadoop等大数据平台集成,实现混合数据处理。 **八、开发与管理工具** Informix...

    常见主流数据库的分类与详细比较.docx

    NoSQL数据库通常用于处理大规模分布式数据,提供高并发读写能力和水平扩展能力。 5. 数据仓库(Data Warehouse) - 例如IBM的DB2 Data Warehouse Edition,以及Oracle的Exadata等,专为数据分析和报告设计,通常...

    Heroic-基于BigtableCassandra和Elasticsearch的可扩展时间序列数据库

    Heroic是一款强大的时间序列数据库,设计用于处理大规模的时间序列数据,它结合了Google Bigtable、Apache Cassandra和Elasticsearch的优点,提供了一个高度可扩展、高性能且易用的解决方案。这款数据库由Spotify...

    openTSDB

    **OpenTSDB** 是一个基于 HBase 的分布式、可扩展的时间序列数据库(Time Series Database,简称 TSDB),专为大规模监控系统设计。它能够高效存储和检索大量的时间序列数据,并提供高并发的写入和查询能力。...

    openstdb-2..3

    OpenTSDB,全称为Open Time Series Database,是一款专为大规模时间序列数据设计的分布式、可扩展的NoSQL数据库。在本文中,我们将深入探讨OpenTSDB 2.3.0版本的特点、功能以及如何在实际应用中发挥其优势。 ...

    quantum-client-3.0.3.zip

    Cassandra,作为一款分布式NoSQL数据库系统,因其高可用性、线性可扩展性和对大规模数据处理的卓越性能而备受青睐。本文将围绕开源项目"ddth-tsc-cassandra",探讨DDTH团队如何为Cassandra添加了时间序列计数器的...

    日志系统常见面试题总结

    - **NoSQL存储**:如Elasticsearch,适合大规模、高并发的日志分析。 - **Time Series Database (TSDB)**:如InfluxDB,针对时间序列数据优化,适合监控场景。 4. **日志分析** - **日志查询**:使用grep、awk、...

    阿里云MongoDB服务技术实现.pptx

    - **多模数据结构**:支持Wide Column、Time Series(时序数据)以及HBase和Cassandra等多模数据结构,满足不同场景的需求。 总结来说,阿里云MongoDB服务通过其强大的内核能力和企业级服务,为企业提供了安全、...

    opentsdb-2.4.0.tar.gz

    OpenTSDB是一个开源的时间序列数据库(Time Series Database,TSDB),它构建在HBase之上,专为大规模收集、存储、查询和分析时间序列数据而设计。这个“opentsdb-2.4.0.tar.gz”文件是Linux版本的OpenTSDB安装包,...

    bases_de_datos

    - 分布式数据库:如Hadoop HBase、Google Bigtable,适合处理大规模数据,通过分布式存储提高性能和可用性。 - 图数据库(Graph Database):如Neo4j,用于表示和处理复杂的关联关系。 - 时间序列数据库(Time-...

    OpenNMS系统Newts数据存储方式配置

    此配置流程的关键在于将OpenNMS与Newts及Cassandra有效集成,通过这种方式可以大大提升大规模监控场景下数据处理的性能和扩展性。Cassandra作为一个分布式NoSQL数据库,在高写入吞吐和水平扩展方面表现出色,这使得...

    LightTSDB:轻时间序列数据库的类

    在大数据时代,时间序列数据库(Time Series Database,简称TSDB)因其独特的数据特性和高效处理能力,被广泛应用于物联网(IoT)、监控系统、金融交易等领域。LightTSDB,正如其名,是一款轻量级的时间序列数据库,专...

    云栖大会之HBase多模的机遇与挑战.zip

    HBase,作为Apache开源项目,是构建于Hadoop生态系统之上,专为大规模数据存储设计的列式数据库。它以其高性能、高可扩展性以及对非结构化数据的良好支持,在大数据领域有着广泛的应用。 HBase的核心特性在于其列族...

    redis 7.0.8版本

    例如,过去版本中,Redis增加了模块系统,允许开发者扩展其核心功能,如Geo索引、Timeseries时间序列数据以及Bloom Filters等。7.0.8可能继续这一趋势,添加更多实用的内置功能,以满足不同场景下的需求。 其次,...

    超快光时间序列存储引擎– LMDB第1部分

    本文将深入探讨LMDB的基本原理、特性以及如何在实际开发中利用它来处理大规模时间序列数据。 LMDB是用C语言编写的,这使得它具有高度的跨平台性,不仅能在Linux、Unix系统上运行,而且在Windows环境下同样表现良好...

Global site tag (gtag.js) - Google Analytics