百万级的数据,无论侧重OLTP还是OLAP,当然就是MySql了。
过亿级的数据,侧重OLTP可以继续Mysql,侧重OLAP,就要分场景考虑了。
实时计算场景:强调实时性,常用于实时性要求较高的地方,可以选择Storm;
批处理计算场景:强调批处理,常用于数据挖掘、分析,可以选择Hadoop;
实时查询场景:强调查询实时响应,常用于把DB里的数据转化索引文件,通过搜索引擎来查询,可以选择solr/elasticsearch;
企业级ODS/EDW/数据集市场景:强调基于关系性数据库的大数据实时分析,常用于业务数据集成,可以选择Greenplum;
数据库系统一般分为两种类型:
一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型;
一种是重计算的,对大数据集进行统计分析的OLAP类型。
传统数据库侧重交易处理,即OLTP,关注的是多用户的同时的双向操作,在保障即时性的要求下,系统通过内存来处理数据的分配、读写等操作,存在IO瓶颈。
OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是:
数据在系统中产生;
基于交易的处理系统(Transaction-Based);
每次交易牵涉的数据量很小;
对响应时间要求非常高;
用户数量非常庞大,主要是操作人员;
数据库的各种操作主要基于索引进行。
分析型数据库是以实时多维分析技术作为基础,即侧重OLAP,对数据进行多角度的模拟和归纳,从而得出数据中所包含的信息和知识。
OLAP(On-Line Analytical Processing,联机分析处理)是基于数据仓库的信息分析处理过程,是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的,其基本特点是:
本身不产生数据,其基础数据来源于生产系统中的操作数据(OperationalData);
基于查询的分析系统;
复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大;
响应时间与具体查询有很大关系;
用户数量相对较小,其用户主要是业务人员与管理人员;
相关推荐
mongoDB是一个基于分布式文件存储的数据库,由 C++ 语言编写,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。它介于关系数据库和非关系数据库之间,被认为是非关系数据库当中功能最丰富,最像关系数据库的...
hbase的JAVA客户端所需jar包 jedis的JAVA客户端所需jar包 mongo的JAVA客户端所需...大数据——四种数据库(MySQL,HBase,MongoDB,Redis)操作实例总结:https://blog.csdn.net/weixin_43042683/article/details/106230370
* 数据的表示:Redis使用Key-Value,MongoDB使用文档型,HBase使用列存储型,MySQL使用关系型。 * 查询关系:Redis使用简单的Key-Value查询,MongoDB使用文档型查询,HBase使用列存储型查询,MySQL使用SQL查询。 * ...
本实验旨在对比分析四种不同的数据库管理系统:MySQL、HBase、Redis和MongoDB。这些数据库在处理大数据时各有特点,理解它们的概念及不同点是实验的关键。 1. **MySQL**:作为经典的关系型数据库管理系统(RDBMS)...
- 在实时分析、日志分析、监控系统等场景中,从HBase实时或定时同步数据到Elasticsearch,可以充分利用Elasticsearch的搜索和分析能力,提供高效的查询性能和丰富的聚合分析功能。 - 同步过程中,可以采用增量同步...
本文将对 MongoDB、HDFS、HBase、MySQL、FastDFS、Redis、Hive 等数据库管理系统进行比较和分析。 MongoDB MongoDB 是一个高性能、开源、无模式的文档型数据库,开发语言是 C++。它在许多场景下可用于替代传统的...
MongoDB 因其强大的查询能力、丰富的数据模型和易用性,成为了许多开发者首选的NoSQL解决方案,特别是在处理业务数据和替代传统MySQL的场景下。然而,在涉及高度一致性的场景下,如银行交易,可能需要考虑其他支持...
关系型数据库如MySQL依赖于严格的表结构和数据间的关系,而NoSQL数据库如MongoDB则使用更为灵活的数据模型,例如文档存储可以使用JSON或BSON(MongoDB的二进制形式)格式存储数据。NoSQL数据库通常更容易水平扩展,...
随着分布式数据库技术的不断发展,涌现出许多新的框架和系统,如Hadoop生态系统中的HBase、Hive等,它们对于海量数据的存储和分析提供了强大的支持。MapReduce编程模型是这些系统中用于处理大数据的关键技术之一,...
11. **大数据项目实战**:在实际项目中,可能还需要结合ETL(提取、转换、加载)工具,如Pig或Hive,以及数据库管理系统如MySQL、MongoDB或HBase。 掌握以上知识点后,开发者可以利用Python高效地处理和分析大数据...
- **列族数据库**:如Cassandra、HBase,适用于大数据分析和实时查询。 - **图形数据库**:如Neo4j,专门处理具有复杂关系的数据。 #### 知识点三:MySQL与MongoDB之间的差异 - MySQL是一种关系型数据库管理系统...
bboss-datatran 支持多种数据源的接入,如关系型数据库(MySQL、Oracle等)、NoSQL数据库(HBase、MongoDB等)、消息队列(Kafka、RabbitMQ等)以及文件系统(HDFS、FTP等)。通过内置的适配器,用户可以方便地将...
- **列族存储**: 如HBase,适合处理大规模数据分析任务。 - **图形数据库**: 如Neo4j,用于处理复杂的关系网络数据。 #### 6. MySQL与MongoDB之间的差异 - **数据表示**: - **MySQL**: 关系型表结构。 - **...
用户可以通过页面选择数据源即可创建数据同步任务,支持RDBMS,Hive,HBase,ClickHouse,MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发...
### MongoDB开发使用手册知识点梳理 #### 一、基础部分 **1.1 MongoDB简介** - **NoSQL背景:** - 随着互联网用户的快速增长和用户行为的变化,传统的关系型数据库在处理高并发读写操作、海量数据存储以及提供高...
MongoDB 相对 HBase、MySQL 来说,有哪些优势? MongoDB 的优势在于轻量化部署非常简单,不用像 HBase 那样搭一整套 hadoop 集群,即开即用。HBase 更适合离线的海量数据分析。MongoDB 的优势主要有三个:结构灵活,...
* 数据接入支持 Oracle、Mysql、SqlServer 等关系型数据库、mongodb 数据库及大数据环境下的 Hive、HBase、HDFS 分布式数据库的接入与管理 * 元数据可自定义元数据,系统自动采集元数据(增量更新),可对元数据进行...