不知道哪天开始了, hadoop nosql开始不停的闯入眼帘,对hadoop充满了好奇与神往,最近有点闲功夫,于是弄了下hadoop, 不弄不知道,一弄吓一跳,不停的折腾worcount, wordcount,终于明白了MR, 原来hadoop差点把我带进沟里去了!!其实我最初的想法不是MR, 而是分布式存储于计算,我更加关心hadoop dfs -copyFromLocal 这样的命令是怎么实现的,我才不关心MR!说的现实点,我更关心的是lucene底层支撑的文件系统怎么通过HDFS来支撑(不是移植lucene,我没那闲工夫来写MR后的lucene)?
hadoop不适合实时性系统,我不知道是不是指hadoop对于web这样的交互式系统是不是也不适合,反正我知道hive没有索引(我目前还不知道怎么回事),我的第一印象是hive的效率无法和oracle等相提并论,所以我怀疑nosql对我来说是不是很有意义,我更期望真正的"云oracle"!这个云oracle不仅仅能在大数据方面有优越性,在一般数据面前也不应该丧失它原来固有的性能。
我当前的问题不是MR,而是要我现在的商业逻辑在大数据面前继续可以可靠运行,至于MR的事情就交给那些有能力搞OS的人去做吧,我想能搞OS的人不是百里挑一,千里挑一,而至少应该是万里、十万里挑一的人了!所以我去弄什么MR,还是弄我的业务逻辑吧。
分享到:
相关推荐
5. **基于数据仓库平台的改造变迁**:随着业务发展,传统的数据仓库(如MySQL、Oracle)无法满足大数据需求,Hadoop提供了新的解决方案,实现大规模个性化服务。 **Hadoop的核心组件** 1. **HDFS(Hadoop ...
- **关系数据库**: MySQL、SQL Server 和 Oracle 均属于关系数据库,它们采用 SQL 作为标准查询语言,支持 ACID 特性(原子性、一致性、隔离性和持久性)。 - **非关系数据库**: 指的是不采用表格形式来组织数据的...
8. 大数据处理:Oracle 支持大型数据库和大数据解决方案,如Oracle NoSQL数据库和Oracle Big Data SQL,可以跨Hadoop和其他大数据平台执行SQL查询。MySQL 7在大数据处理方面可能不如Oracle强大,但可以通过连接到...
4. **连接器支持**:支持多种常见的 RDBMS,如 MySQL、Oracle、PostgreSQL、SQL Server 等,同时也支持 NoSQL 数据库如 Cassandra 和 MongoDB。 5. **命令行接口**:提供直观易用的命令行工具,使得数据迁移任务配置...
8. **SQL与大数据**:随着大数据的发展,SQL与NoSQL数据库的结合使用成为趋势,如Hadoop与Hive、Spark SQL等,使得SQL在大数据处理中依然发挥重要作用。 9. **SQL的进阶知识**:窗口函数、递归查询、子查询优化、...
Sqoop(Sql to Hadoop)是数据接口,主要用于关系型数据库(MySQL、Oracle等)和Hadoop之间数据的传输。它可以将一个关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS中的数据导出到关系型数据库。 Hadoop...
标题中的"jedis mongo mysql.zip"表明这是一个关于大数据技术中三种不同数据库操作工具的压缩包。其中,Jedis是用于操作Redis的Java客户端,Mongo Java Driver是连接MongoDB的Java驱动程序,而mysql-connector-java...
正如传统数据库(如Oracle、MySQL和SQL Server)一样,Hadoop在未来有望成为处理大量非结构化数据的标准工具。随着大数据时代的到来,Hadoop的重要性将日益凸显。 #### 6. 功能丰富且不断扩展 Hadoop不仅仅是一款...
1. MySQL Driver: 支持与MySQL数据库的连接,适用于MySQL Community Server、MariaDB等。 2. Oracle Driver: 提供与Oracle数据库的连接,适用于各种Oracle版本。 3. Microsoft SQL Server Driver: 用于连接Microsoft...
描述中提到的"亲测可用,kettle连接mysql、oracle、sqlserver jar驱动"意味着这个压缩包中包含了用于连接MySQL、Oracle和SQL Server这三种主流关系型数据库的JAR驱动。这些驱动使得Kettle可以顺利地与这些数据库进行...
3. **数据库**: Hadoop不仅与传统的SQL数据库如MySQL、Oracle等交互,还支持NoSQL数据库,例如HBase、Cassandra。HBase是一个基于Hadoop的分布式、版本化、列族存储的数据库,适用于实时读写操作。Cassandra则是一个...
20.基于Oracle的SQL优化典型案例分.pdf 21.赢在起点–谈数据库设计规范.pdf 22.大型业务系统Oracle数据库 10G升级11G实践.pdf 23.基于Oracle数据库的数据防护.pdf 24.Oracle ASM的IO架构优化实践.pdf 25.SQLAUTO——...
SquirrelSQL是一款强大的开源数据库管理工具,它支持多种数据库系统,包括MySQL、Oracle、PostgreSQL、HBase等。在标题中提到的"squirrelsql-4.1.0-standard.zip"是一个压缩包,其中包含了SquirrelSQL的4.1.0标准...
基于SQL Server的大数据解决方案设计及实现 .pdf 混合型企业数据访问架构设计.pdf 百度大规模存储系统.pdf Oracle ExaData 一体机的高效备份之道.pdf 基于网络监听的数据库安全审计技术.pdf 数据库防御技术全揭秘...
基于SQL Server的大数据解决方案设计及实现 .pdf 混合型企业数据访问架构设计.pdf 百度大规模存储系统.pdf Oracle ExaData 一体机的高效备份之道.pdf 基于网络监听的数据库安全审计技术.pdf 数据库防御技术全揭秘...
基于SQL Server的大数据解决方案设计及实现 .pdf 混合型企业数据访问架构设计.pdf 百度大规模存储系统.pdf Oracle ExaData 一体机的高效备份之道.pdf 基于网络监听的数据库安全审计技术.pdf 数据库防御技术全揭秘...
通过对MySQL、Oracle和NoSQL数据库的对比,我们可以看到每种数据库都有其独特的优点和适用范围。MySQL适合中小型企业,Oracle适用于大型企业,而NoSQL则在大数据和分布式应用中展现出色表现。在实际选择中,需要根据...
5. **使用Oracle SQL*Loader**:Oracle数据库系统提供了SQL*Loader工具,专门用于快速加载大量数据。 其次,大数据导入则涉及到更复杂的情况,通常数据量巨大,可能超过单台服务器的处理能力。在这种情况下,分布式...
在"etl实现不同数据库实时备份"这个主题中,我们将探讨如何使用ETL工具来实现实时地备份Oracle、SQL Server和MySQL这三种主流数据库的数据。 1. 数据抽取:ETL过程的第一步是数据抽取。对于Oracle、SQL Server和...
- **关系型数据库**:如 Oracle、MySQL、SQL Server,以表格形式存储数据,支持 ACID 属性,适用于高度事务性的场景。 - **文档数据库**:如 MongoDB,存储JSON、XML等格式的文档,具有良好的灵活性,适用于网站...