- 浏览: 1043639 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (1441)
- 软件思想&演讲 (9)
- 行业常识 (250)
- 时时疑问 (5)
- java/guava/python/php/ruby/R/scala/groovy (213)
- struct/spring/springmvc (37)
- mybatis/hibernate/JPA (10)
- mysql/oracle/sqlserver/db2/mongdb/redis/neo4j/GreenPlum/Teradata/hsqldb/Derby/sakila (268)
- js/jquery/jqueryUi/jqueryEaseyUI/extjs/angulrJs/react/es6/grunt/zepto/raphael (81)
- ZMQ/RabbitMQ/ActiveMQ/JMS/kafka (17)
- lucene/solr/nuth/elasticsearch/MG4J (167)
- html/css/ionic/nodejs/bootstrap (19)
- Linux/shell/centos (56)
- cvs/svn/git/sourceTree/gradle/ant/maven/mantis/docker/Kubernetes (26)
- sonatype nexus (1)
- tomcat/jetty/netty/jboss (9)
- 工具 (17)
- ETL/SPASS/MATLAB/RapidMiner/weka/kettle/DataX/Kylin (11)
- hadoop/spark/Hbase/Hive/pig/Zookeeper/HAWQ/cloudera/Impala/Oozie (190)
- ios/swift/android (9)
- 机器学习&算法&大数据 (18)
- Mesos是Apache下的开源分布式资源管理框架 (1)
- echarts/d3/highCharts/tableau (1)
- 行业技能图谱 (1)
- 大数据可视化 (2)
- tornado/ansible/twisted (2)
- Nagios/Cacti/Zabbix (0)
- eclipse/intellijIDEA/webstorm (5)
- cvs/svn/git/sourceTree/gradle/jira/bitbucket (4)
- jsp/jsf/flex/ZKoss (0)
- 测试技术 (2)
- splunk/flunm (2)
- 高并发/大数据量 (1)
- freemarker/vector/thymeleaf (1)
- docker/Kubernetes (2)
- dubbo/ESB/dubboX/wso2 (2)
最新评论
几大数据库的比较
hadoop的hdfs支持海量数据量存储 mapreduce支持对海量数据的分布式处理
oracle虽然可以搭建集群 但是当数据量达到一定限度之后查询处理速度会变得很慢 且对机器性能要求很高
其实这两个东西不是同类 hadoop是一个分布式云处理架构,倾向于数据计算 而oracle是一个关系型数据库,倾向于数据存储。要说比较可以比较hbase与oracle。
hbase是一种nosql数据库,列式数据库,支持海量数据存储,支持列的扩展,但是查询操作较复杂,不如oracle这类关系型数据库简单,且只支持一个索引,但是Hbase在表结构设置合理情况下,查询速度跟数据量大小没有太大关系,即数据量的大小不会影响到查询速度,顺便说句Hbase查询速度可以达到ms级
PostgreSQL
PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为POSTGRES,版本 4.2为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、MVCC。同样,PostgreSQL 可以用许多方法扩展,比如, 通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言。并且,因为许可证的灵活,任何人都可以以任何目的免费使用、修改、和分发 PostgreSQL,不管是私用、商用、还是学术研究使用。
Greenplum
当前使用的 OLTP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。
软件优势
数据存储
当今是个数据不断膨胀的时代,采取MPP架构的数据库系统才能对海量数据进行管理。
Greenplum支持50PB(1PB=1000TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。
高并发
随着商业智能在企业内的快速发展,BI 用户对信息分析平台的访问频率和查询复杂度也快速提升,因此要求相应的数据库系统对高并发查询进行支持。Greenplum利用强大并行处理能力提供并发支持。
Greenplum提供资源管理功能(workload managemnt)来管理数据库资源,利用资源队列管理可实现按用户组的进行资源分配,如Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。
线性扩展
Greenplum与其他分布式大数据产品如Yonghong Z-DataMart一样采用了通用的MPP并行处理架构,在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单,在很短时间内就能完成数据的重新分布。
Greenplum线性扩展支持为数据分析系统将来的拓展给予了技术上的保障,用户可根据实施需要进行容量和性能的扩展。
高性价比
Greenplum数据库软件系统节点基于业界各种开放式硬件平台,如SUN/HP/DELL等厂商的PC Server等,在普通的x86 Server上就能达到很高的性能,因此性价比很高,相比于其他封闭式数据仓库专用系统,Greenplum每TB的投资是前者的1/5甚至更低。同样,Greenplum产品的维护成本相比同类厂商也低许多。
反应速度
我们面对的是一个瞬息变化的市场,谁能首先感知到市场的需求和变化,就能在竞争中先行一步,获得主动权,在竞争中立于不败之地。
Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析-“Just In Time BI”,能够让企业敏锐感知市场的变化,加快决策支持反应速度。
高可用性
Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外,Greenplum还提供数据库层Mirror机制保护,即每个节点数据在另外的节点中同步镜像,单个节点的错误不影响整个系统的使用。
对于主节点,Greenplum提供Master/Stand by机制进行主节点容错,当主节点发生错误时,可以切换到Stand by节点继续服务。
系统易用
Greenplum产品是基于流行的PostgreSQL之上开发,几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上有着丰富的PostgreSQL资源供用户参考。
最新进展
Greenplum 被EMC公司收购,将其整合到EMC云计算战略中。
简而言之:GP是在开源的PostgreSQL基础上开发的。GP不是开源的,是商业版的,PostgreSQL是开源的。
oracle虽然可以搭建集群 但是当数据量达到一定限度之后查询处理速度会变得很慢 且对机器性能要求很高
其实这两个东西不是同类 hadoop是一个分布式云处理架构,倾向于数据计算 而oracle是一个关系型数据库,倾向于数据存储。要说比较可以比较hbase与oracle。
hbase是一种nosql数据库,列式数据库,支持海量数据存储,支持列的扩展,但是查询操作较复杂,不如oracle这类关系型数据库简单,且只支持一个索引,但是Hbase在表结构设置合理情况下,查询速度跟数据量大小没有太大关系,即数据量的大小不会影响到查询速度,顺便说句Hbase查询速度可以达到ms级
PostgreSQL
PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为POSTGRES,版本 4.2为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、MVCC。同样,PostgreSQL 可以用许多方法扩展,比如, 通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言。并且,因为许可证的灵活,任何人都可以以任何目的免费使用、修改、和分发 PostgreSQL,不管是私用、商用、还是学术研究使用。
Greenplum
当前使用的 OLTP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。
软件优势
数据存储
当今是个数据不断膨胀的时代,采取MPP架构的数据库系统才能对海量数据进行管理。
Greenplum支持50PB(1PB=1000TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。
高并发
随着商业智能在企业内的快速发展,BI 用户对信息分析平台的访问频率和查询复杂度也快速提升,因此要求相应的数据库系统对高并发查询进行支持。Greenplum利用强大并行处理能力提供并发支持。
Greenplum提供资源管理功能(workload managemnt)来管理数据库资源,利用资源队列管理可实现按用户组的进行资源分配,如Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。
线性扩展
Greenplum与其他分布式大数据产品如Yonghong Z-DataMart一样采用了通用的MPP并行处理架构,在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单,在很短时间内就能完成数据的重新分布。
Greenplum线性扩展支持为数据分析系统将来的拓展给予了技术上的保障,用户可根据实施需要进行容量和性能的扩展。
高性价比
Greenplum数据库软件系统节点基于业界各种开放式硬件平台,如SUN/HP/DELL等厂商的PC Server等,在普通的x86 Server上就能达到很高的性能,因此性价比很高,相比于其他封闭式数据仓库专用系统,Greenplum每TB的投资是前者的1/5甚至更低。同样,Greenplum产品的维护成本相比同类厂商也低许多。
反应速度
我们面对的是一个瞬息变化的市场,谁能首先感知到市场的需求和变化,就能在竞争中先行一步,获得主动权,在竞争中立于不败之地。
Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析-“Just In Time BI”,能够让企业敏锐感知市场的变化,加快决策支持反应速度。
高可用性
Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外,Greenplum还提供数据库层Mirror机制保护,即每个节点数据在另外的节点中同步镜像,单个节点的错误不影响整个系统的使用。
对于主节点,Greenplum提供Master/Stand by机制进行主节点容错,当主节点发生错误时,可以切换到Stand by节点继续服务。
系统易用
Greenplum产品是基于流行的PostgreSQL之上开发,几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上有着丰富的PostgreSQL资源供用户参考。
最新进展
Greenplum 被EMC公司收购,将其整合到EMC云计算战略中。
简而言之:GP是在开源的PostgreSQL基础上开发的。GP不是开源的,是商业版的,PostgreSQL是开源的。
发表评论
-
Mysql中DATE_SUB 使用方法结合查询一天内,一周内,一月内的信息实例讲解
2018-02-07 09:05 765在对数据查询或菜单时经常要对指定的时间或时间段进行查询,例 ... -
MySQL里获取当前week、month、quarter的start_date/end_date
2018-02-06 13:51 666select curDate(); #获取当前日 ... -
查看数据库
2018-01-28 20:38 522---mysql查看用户名和密码 select Hos ... -
数据导入到数据库
2018-01-09 20:23 442数据导出当数据量大时最好是dump文件,sql文件过大不好执行 ... -
使用数据库客户端工具Oracle SQL Developer加载第三方驱动连接mysql的方法
2018-02-28 09:20 1244用Oracle SQL Developer时遇到no oc ... -
数据连接符
2018-02-28 09:32 517不同的数据库中字符串连接符不同,下面列举几种数据库的连接符 ... -
commit
2018-01-08 10:12 0刚接触SQLSERVER,刚才insert了一条记录,为什么 ... -
Redis操作命令总结
2017-10-25 12:43 1679redis-cli 中。 使用命令 ... -
PostgreSQL中表名、字段名大小写问题
2017-10-21 20:59 0学习hibernate的时候,数据库用了PostgreSQL ... -
怎么解决Greenplum中用pg
2018-07-19 09:51 469基本思路是为ns1.table1设置分布策略:root登陆 ... -
mysql unrecognized service问题解决
2017-10-21 20:34 0unrecognized 英 [ʌnˈrekəgna ... -
Oracle创建视图、通过视图创建表
2017-10-21 19:11 1135创建视图: [sql] view plain c ... -
PostgreSQL中表名、字段名大小写问题
2017-10-19 10:48 1281如果有视图依赖该表则该表不能删除 学习hibern ... -
关于性能测试几个名词概念的说明
2017-10-11 10:05 432什么是性能测试 在一定的负载下,系统的响应时间 ... -
数据库性能优化详解
2017-10-11 09:59 8321.数据库访问优化法则 要正确的优化SQL,我们需 ... -
Oracle怎样把varchar2型转成number型
2017-09-23 11:13 1650varchar2型转成number型的前提条件是varch ... -
oracle中字符串的大小比较,字符串与数字的比较和运算
2017-09-23 11:08 2758Oracle比较字符串是根据ASCII码来的,第一个字母的 ... -
greenplum 程序开发优化原则
2017-09-22 14:07 710greenplum 程序开发优化原则 1、批量数据处理后, ... -
PostgreSQL 时序最佳实践 - 证券交易系统数据库设计 - 阿里云RDS PostgreSQL最佳实践
2017-09-22 01:06 1277PostgreSQL , 证券 , 时序数据 , JSON ... -
PostgreSQL 时序最佳实践
2017-09-21 12:26 1162以股票交易为例,一共 ...
相关推荐
通过这份福州大学数据库期末考卷,我们可以看到数据库系统原理、数据库查询语言、数据库设计、数据库安全、数据库应用、数据库管理、数据库技术、数据库应用场景等几个方面的知识点,涵盖了数据库的基本概念、数据库...
小型数据库比较 小型数据库是指可以免费再分发的数据库,常见的有Access、MSDE 2000、Embedded Firebird、SQLite 等。这些数据库都有其特点和优缺点。下面是对这些小型数据库的比较: 1. Access:Access 是一个...
数据库比较主要涉及以下几个方面: 1. **结构比较**:这是数据库比较的核心部分,工具会对比两个数据库的表结构、字段、索引、视图、存储过程、触发器等元素,找出它们之间的差异。这对于数据库升级、迁移或整合是...
几种常见的数据库比较 在当前的数据库市场中,存在多种类型的数据库管理系统,每种数据库管理系统都有其自己的特点和优缺点。在本文中,我们将比较几种常见的数据库管理系统,包括SQL Server、Oracle、MySql、...
### 几种常见数据库比较的知识点详述 #### 一、引言 随着信息技术的不断发展,数据库管理系统(DBMS)作为信息存储与管理的核心组件,在各行各业的应用越来越广泛。本篇文章将基于给定文档中的内容,详细介绍几种常见...
### WEB数据库中几种数据库连接方法比较 #### 一、引言 随着互联网技术的迅猛发展,特别是电子商务领域的兴起,数据库技术已成为网络应用的核心技术之一。为了实现网站与数据库之间的高效连接,开发人员需要掌握...
使用数据库比较工具时,需要注意以下几点: - **版本兼容性**:确保比较的两个数据库版本兼容,避免因版本差异导致的结构不匹配问题。 - **权限设置**:确保有足够的权限访问和操作数据库,以进行完整的比较和同步...
数据库比较工具 MSSQL 是一款专为 SQL Server 设计的强大软件,用于比较和同步不同数据库之间的结构和数据。在IT行业中,数据库管理是一项至关重要的任务,而数据库比较工具则扮演着优化这一过程的角色。MSSQL ...
数据库比较工具主要功能包括: 1. 表结构对比:工具可以对比两个数据库实例中的表结构,展示字段名、字段顺序、数据类型的差异,以及主键、外键、索引等约束的区别。 2. 快速识别差异:通过颜色标记或突出显示的...
使用数据库比较工具时,应确保以下几点: - 在开始比较前,备份待测数据库,以防意外情况。 - 理解生成的SQL脚本内容,避免未经审查的批量执行,防止对数据造成不可逆的损害。 - 对于大型数据库,可能需要考虑性能...
“比较ACCESS数据库”这个任务通常涉及以下几个方面: 1. **数据一致性检查**:比较两个数据库中的表结构是否一致,包括字段数量、字段类型、主键设置等,确保数据模型的兼容性。 2. **数据差异分析**:比较两...
### 几种数据库加密方法的研究与比较 #### 引言 随着信息技术的飞速发展,数据库作为信息系统的核心组成部分,在日常生活及各行各业的应用日益广泛。数据库安全的重要性也随之凸显,尤其是在存储敏感或机密信息的...
两者之间的比较主要围绕以下几个方面: 1. 数据结构:SQL数据库基于表格形式,数据以行和列的形式组织,适合结构化的数据;而AS数据库通常支持半结构化和非结构化数据,更适合处理多样性信息。 2. 查询能力:SQL...
* 关系型数据库系统以关系代数为理论基础,经过几十年的发展和实际应用,技术越来越成熟和完善。 * 代表产品有Oracle、IBM公司的DB2、微软公司的MS SQL Server以及Informix等。 * 关系型数据库提供了用户从桌面访问...
数据库比较器 v0.3 是一款专为数据库管理和维护设计的应用软件,其核心功能在于帮助用户轻松对比并恢复已修改的数据库。通过简洁的操作流程,它使得数据库的比对工作变得简单高效。以下是对该软件及其相关知识点的...
数据库比较是IT行业中一个至关重要的任务,特别是在数据库管理和软件开发过程中。"databasecompare" 就是一款这样的小工具,专门设计用于对比不同环境下的两个数据库中相同表的字段差异。这个工具能够帮助数据库管理...
南华大学数据库原理实验报告 本实验报告是南华大学数据库原理课程的一部分,涵盖了数据库技术与应用的实验内容。实验报告共分为三部分:单表查询、多表连接查询和实验要求。 单表查询部分涉及到以下几个方面: 1....
CSIQ数据库主要包括以下几部分: 1. **原始图像(Original Images)**:这些是未经处理的高质量图像,用作比较的标准。 2. **失真图像(Distorted Images)**:通过对原始图像应用不同的失真方法生成,包括但不...
以下我们将详细探讨几个关键的SQL概念及其在SQL Server 2000中的应用。 1. **数据定义语言(DDL)**:包括CREATE、ALTER和DROP等命令,用于创建、修改和删除数据库对象,如表、视图、索引等。例如,CREATE TABLE...
使用dbcompare进行数据库比较时,有几点需要注意: 1. 在进行大规模数据比较时,可能会消耗较多的时间和资源,因此需谨慎操作。 2. 工具的输出结果通常会包含增、删、改等差异信息,用户需要仔细审查并根据业务需求...