`

SQL数据库和Hadoop 区别

阅读更多
SQL(结构化查询语言)是针对结构化数据设计的,而Hadoop最初的许多应用针对的是文本这种非结构化数据。

主要区别如下:
1. 用向外扩展代替向上扩展
Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至数百台计算机。而不是专注于提高单台服务器的性能

2. 用键/值对代替关系表
SQL 针对结构化查询语句 是结构化数据,hadoop针对的是非结构化数据,文本形式
关系数据库是 有一定格式,而存放文本、图片和xml文件  则应该用键值对的方式

3. 用函数式编程(MapReduce)代替声明式查询(SQL)
hadoop读取出的数据,可以建立复杂的模型或者改变图片格式

4. 用离线批量处理代替在线处理
Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式。
分享到:
评论

相关推荐

    SQL for Apache Hadoop

    标题中提到的“SQL for Apache Hadoop”指向一种通过SQL语言访问和操作Apache Hadoop存储的数据的能力。Hadoop是一个开源的框架,最初由Apache软件基金会开发,设计用于存储和处理大量数据。Hadoop主要采用分布式...

    Impala A Modern, Open-Source SQL Engine for Hadoop.pdf

    其核心设计目标是结合传统分析型数据库的熟悉SQL支持和多用户性能,同时提供Apache Hadoop的可扩展性和灵活性,以及Cloudera Enterprise级的生产安全和管理扩展。Impala旨在处理大数据环境下的读取密集型BI/分析查询...

    SQL数据库心得资源下载

    本资源包“SQL数据库心得”聚焦于分享关于SQL数据库的一些重要概念、最佳实践和常见问题,旨在帮助用户提升SQL技能。 首先,SQL的基本操作包括数据的增、删、改、查(CRUD)。创建(Create)数据库和表结构,通过...

    分布式数据库和Hadoop都不够好,于是我们设计了分布式SQL计算系统

    为了解决分布式数据库下,复杂的SQL(如全局性的排序、分组、join、子查询,特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop实际应用经验的基础上,对比两者的优点和不足,加上...

    sql数据库设计教程

    在SQL数据库设计领域,理解和掌握相关知识是至关重要的。本教程——"sql数据库设计教程",旨在帮助初学者以及有一定基础的学习者深化对SQL数据库的理解,提升设计能力。以下是本教程可能涵盖的一些核心知识点: 1. ...

    基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip

    基于hadoop伪分布式hdfs系统完成的云盘项目基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统...

    Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计+sql数据库(高分毕设)

    Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计+sql数据库(高分毕设),含有代码注释,新手也可看懂,个人手打98分项目,导师非常认可的高分项目,毕业设计、期末大作业和课程设计高分必看,下载下来,...

    基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip

    环境启动 hadoop hive2元数据库 sql导入 导入hivesql脚本,修改application.yml 启动主程序 HadoopApplication 基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip启动方式 环境启动 hadoop hive2元数据库...

    课程设计-基于javaweb和hadoop实现的图书推荐系统源码+sql数据库+项目使用说明.zip

    课程设计-基于javaweb和hadoop实现的图书推荐系统源码+sql数据库+项目使用说明.zip 实验目的: 随着 Hadoop 与 Spark 产生的影响越来越深,各种基于 Hadoop 与 Spark 平台的数据分析系统也随之出现。本次实验要求...

    SQL标准2003 数据仓库 HADOOP

    这一版本的SQL扩展了对数据库语言的功能,引入了许多新特性,如窗口函数、游标改进、递归查询等,提升了数据库管理系统(DBMS)的灵活性和处理复杂查询的能力。 数据仓库是用于存储和分析历史数据的系统,通常用于...

    SQL-on-Hadoop: Full Circle Back to Shared-Nothing Database Architectures

    - **Impala**:代表了新一代SQL-on-Hadoop系统的出现,Impala采用了共享无(Shared-Nothing)并行数据库架构,该架构允许每个节点独立管理自己的资源,从而提高了系统的可扩展性和性能。Impala支持Parquet文件格式,...

    行业分类-设备装置-基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法.zip

    6. **数据转换**:由于PG数据库和Hadoop的数据模型不同,数据在同步过程中可能需要进行格式转换。例如,PG中的表格结构可能需要转化为Hadoop中的Hive表或者HBase表,这通常通过ETL(提取、转换、加载)工具来完成。 ...

    基于Hadoop的分布式SQL数据库索引设计与实践.pdf

    SQL数据库广泛应用于企业和网站的数据存储和处理。 数据库索引:数据库索引是一种数据结构,它能够快速定位数据库表中某条记录的位置,提高数据检索速度。索引好比书的目录,使得检索数据时无需扫描整个表,大大...

    扫盲专用 sql数据库基础知识

    掌握SQL数据库基础知识,不仅可以帮助我们理解计算机系统的工作原理,还能让我们在信息化时代更好地利用和管理信息资源,为工作和生活带来便利。无论是开发人员、管理人员还是普通用户,理解和运用数据库技术都是一...

    SQL Server数据库应用技术PPT

    此外,SQL Server 2016引入了PolyBase,允许查询和分析Hadoop和Azure Blob存储的数据。 **结论** 通过学习和实践这个SQL Server数据库应用技术的PPT,你将能够全面掌握SQL Server的核心功能,从数据库设计到管理,...

    SQL Server数据库管理精品电子书

    《SQL Server数据库管理精品电子书》是一本专为IT专业人士准备的深度学习资源,由51CTO提供,旨在帮助读者全面掌握SQL Server数据库的管理和优化技巧。这本书涵盖了SQL Server数据库的基础知识、高级特性和实战应用...

    Microsoft SQL 数据库学习笔记

    在数据库领域,Microsoft SQL Server 是一种广泛使用的、关系型数据库管理系统,由微软公司开发和维护。SQL(Structured Query Language)是用于管理关系数据库的标准编程语言,它允许用户进行数据查询、更新、插入...

    大数据 数据库hadoop-2.5.1 、2.7.1组件包大集合

    标题中的“大数据 数据库hadoop-2.5.1 、2.7.1组件包大集合”指的是一份包含Hadoop不同版本(2.5.1和2.7.1)组件的综合资源包,这个包可能包含了Hadoop生态系统中的多个组件,如HDFS、MapReduce、YARN等,旨在支持大...

Global site tag (gtag.js) - Google Analytics