`

将现有的SQL工作负载迁移至hadoop竟然如此简单!

阅读更多

想迁移现有的数据仓库到Hadoop平台?想在Hadoop上重用其他RDMBS的SQL技能?有何方案能帮助您解决这类问题,答案是IBM Big SQL。

Big SQL是IBM的SQL on Hadoop解决方案,它充分利用了IBM在RDBMS领域数十年的经验,是业界最成熟、最完善,性能最好的SQL引擎。除此之外,Big SQL还具有其他产品无法比拟的的SQL兼容性。正是这种兼容性,Big SQL成为Offload和整合RDBMS的终极平台。 

在BigInsights 4.2中,Big SQL能兼容DB2、Oracle、Netezza的绝大部分语法。这意味着,您可以轻松地利用BigInsights运行现有的SQL工作负载,轻松地在Hadoop平台上继续使用您最熟悉的SQL处理数据。

大数据时代
  • Big SQL支持将表建在HDFS(共享Hive的HCatalog)上,支持各种开源文件格式(如Parquet,ORC等),专门针对Read和Scan操作进行优化;支持创建基于HBase的BigSQL表,为Insert/Update/Delete/Lookup并发读写操作而优化;Big SQL还能与Spark共享元数据,使得Spark SQL能够访问Big SQL表。
  • 通过联邦技术,Big SQL能一个SQL语句中同时访问(包括读取和关联等各种SQL操作)本地的Hive/HBase表和其他远程的数据库的表。
  • 支持Oracle、DB2、Netezza的SQL语法,轻松兼容已有的SQL应用和技能。

由于Big SQL支持ANSI SQL标准,兼容Oracle和Netezza等的通用SQL自然不在话下。让您眼前一亮的是,它能运行其他大部分Oracle和Netezza的语法,如:

大数据时代
大数据时代

当然,这种兼容性不是100%的,但兼容绝大部分常用的语法和持续的改进,Big SQL会让您尝到迁移现有SQL工作负载到Hadoop的便利性。

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

0
0
分享到:
评论

相关推荐

    基于Hadoop2.5.0的集群搭建

    基于Hadoop2.5.0的集群搭建 本文详细记录了基于Hadoop2.5.1的集群安装过程,包括JDK、Hadoop、Hive、ZK、MySql、Sqoop等组件的安装和配置。该集群由一主节点和多个从节点组成,实现了高可用性和高性能的数据处理...

    hadoop培训资料

    它支持数据导入导出,帮助用户轻松地将结构化数据迁移到Hadoop,或从Hadoop导出到RDBMS。 6. **ZooKeeper**:ZooKeeper是一个分布式协调服务,用于管理集群中的配置信息、命名服务、分布式同步和组服务。在Hadoop...

    spark-2.4.6-bin-hadoop2.6.tgz

    这种兼容性使得Spark可以在现有的Hadoop生态系统中无缝集成,避免了数据迁移的困扰。 总的来说,Spark-2.4.6是一个强大且全面的大数据处理工具,适用于大规模数据处理、实时流计算、机器学习和图计算等多种场景。这...

    hadoop权威指南

    它可以高效地将大量结构化数据迁移到Hadoop,或者从Hadoop导出到RDBMS,为大数据分析与传统数据库之间的数据交换提供了便利。 Flume则是一个用于日志收集、聚合和传输的系统,特别适合从各种分布式应用中收集大量...

    实验6-7《Hadoop集群部署》详解.docx

    2. **YARN** - 资源管理器,负责集群中资源的分配和调度,使得Hadoop能处理更多种类的工作负载,如批处理、交互式查询、流处理等。 3. **MapReduce** - 计算模型,通过Map和Reduce两个阶段实现大规模数据处理。Map...

    SQL-DFS:一种基于HDFS的海量小文件存储系统.pdf

    通过将部分 DataNode 文件块的校验工作交由元数据存储集群完成,进一步降低了 NameNode 节点的负载压力. 最终通过搭建 HDFS 和 SQL-DFS 实验平台,对 HDFS 和 SQL-DFS 2 种架构进行了小文件读写的对比测试,实验结果...

    SQL_DFS_一种基于HDFS的海量小文件存储系统_马志强.pdf

    通过将部分DataNode 文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode 节点的负载压力. 最终通过搭建HDFS 和SQL-DFS 实验平台,对HDFS 和SQL-DFS 2 种架构进行了小文件读写的对比测试,实验结果表明:...

    SQL-DFS:一种基于HDFS 的海量小文件存储系统

    通过将部分DataNode 文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode 节点的负载压力. 最终通过搭建HDFS 和SQL-DFS 实验平台,对HDFS 和SQL-DFS 2 种架构进行了小文件读写的对比测试,实验结果表明:...

    常用大数据工具学习实战,包含Hadoop、HBase、Kafka、Click-bigdata-practice.zip

    HBase利用Hadoop的HDFS作为底层存储,并通过RegionServer进行数据分区和负载均衡,确保数据访问的效率和一致性。 Kafka是一款高吞吐量的分布式消息系统,最初由LinkedIn开发,现已成为Apache项目。Kafka主要用于...

    Apache的sqoop项目

    Sqoop的工作原理基于MapReduce,它将数据导入导出的过程分解为一系列的小任务,由Hadoop集群中的多个节点并行处理,从而实现了大规模数据的高效迁移。Sqoop支持多种数据类型,包括BLOB、CLOB等,同时提供了丰富的...

    spoop大数据交换工具

    1. **数据分析**:将历史数据从RDBMS迁移到Hadoop进行离线分析。 2. **数据仓库**:定期更新数据仓库中的数据,保持与源系统的同步。 3. **实时数据流**:结合Apache Flume或Kafka,实现实时或近实时的数据导入。 ...

    Hbase 高可用分布式搭建

    2. RegionServer冗余:多台RegionServer部署,当某台宕机时,其上的Region会自动迁移至其他节点。 3. Zookeeper集群:至少三台机器构成,提供高可用的协调服务。 4. 数据复制:开启HBase的多版本特性,可以设置WAL...

    impala-2.1

    每个Impala节点都包含一个查询引擎,负责接收查询请求,解析SQL语句,并将工作负载分发到数据存储节点。数据节点则直接在HDFS或HBase上执行计算,减少了数据传输的开销。 三、部署与使用 1. 集群准备:首先,需要...

    基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程(2021新课)

    尽管随着云计算的发展,许多工作负载已经迁移到云服务上,但理解Hadoop的基本原理对于理解云上数据湖的底层架构仍然至关重要。 课程内容可能包括以下部分: 1. Flink基础:事件时间处理、窗口概念、状态管理、容错...

    SQLServer2019:此仓库从此处https://bit.lyAlwattarIT具有SQL Server 2019课程的所有代码

    6. **云集成**:SQL Server 2019与Azure紧密集成,支持在本地和Azure云之间轻松迁移工作负载,实现了混合云部署的灵活性。 7. **性能监视和优化**:SQL Server 2019提供了更强大的性能监视工具,如SQL Server ...

    Niki-SQL:下一代SQL

    8. **弹性伸缩**:为了适应动态变化的工作负载,Niki-SQL可能具有自动伸缩的能力,能够在需要时增加资源,不需要时释放资源。 9. **云原生**:作为一个现代的SQL解决方案,Niki-SQL很可能是为云环境设计的,能够...

    AWS数据库上云最佳实践.pptx

    AWS数据库上云最佳实践涉及到多个方面,包括...通过这些服务,AWS提供了一整套解决方案,帮助用户轻松地将现有的数据库和应用程序迁移到云上,同时利用云的弹性、可扩展性和成本效益,实现商业智能和机器学习的新洞察。

    大数据开源框架集锦.pdf

    可视化的UI界⾯中⽅便地管理 配置和监控Hadoop以及其它所有相关组件 简单来说将⼗⼏个hadoop开源项⽬集成在⼀起 HDP 基于hadoop⽣态系统开源组件构建的⼤数据分析平台 2 集群管理与监控 Cloudera Manager ⽤于部署和...

    oracle海量数据库架构设计.zip

    通过Oracle与Hadoop的集成,可以将Oracle作为数据源,利用Hadoop进行大规模数据预处理和分析,然后再将结果回写到Oracle数据库中。 此外,资料中的PPT可能涵盖了Oracle的分区技术,如范围分区、列表分区、哈希分区...

    制造业MES产线IoT平台架构 (2).pdf

    Oracle Exadata数据库云平台是针对结构化数据处理的高性能解决方案,能够处理各种类型的数据库负载,包括在线事务处理(OLTP)、数据仓库(DW)以及混合工作负载。Exadata的设计强调性能、成本效益和高可用性,确保关键...

Global site tag (gtag.js) - Google Analytics