qmkemail
- 浏览: 162184 次
- 来自: ...
-
文章分类
- 全部博客 (151)
- Liferay.in.Action (3)
- 集群 (12)
- web (5)
- jna (2)
- 数据库 (7)
- Terracotta (11)
- xml (1)
- Hibernate (3)
- Jdbc (2)
- DDD (10)
- nosql (7)
- 云存储 (3)
- 云产品 (7)
- 云计算 (26)
- Hadoop (11)
- 虚拟化 (5)
- REST (3)
- 程序人生 (11)
- google (2)
- 安全应用 (5)
- LDAP (0)
- 安全技术 (5)
- android (4)
- 网络妙语 (1)
- HTML5 (1)
- 搜索引擎 (1)
- 架构设计 (5)
- redis (3)
- Cassandra (2)
最新评论
-
liwanfeng：
情况是这样的，你的文件我觉得还是比较小，我现在需要处理的XML ...
dom4j处理大文件
原文 http://www.iteye.com/news/24811
10gen（MongoDB数据库开发商）今天发布了MongoDB Hadoop Connector 1.0 正式版本。
MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中，以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求，继续完善对Hadoop生态系统中组件的支持。
10gen称，1.0版是一个长期支持版本，将提供超过1年的维护，并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。
该版本还提供了如下功能：
源码地址：https://github.com/mongodb/mongo-hadoop
MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中，以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求，继续完善对Hadoop生态系统中组件的支持。
10gen称，1.0版是一个长期支持版本，将提供超过1年的维护，并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。
该版本还提供了如下功能：
- 从Apache Pig（大数据集分析平台）写入到MongoDB
- 从Flume分布式日志系统写入到MongoDB
- 在MapReduce中使用Python，并通过Hadoop Streaming读取和写入MongoDB数据
源码地址：https://github.com/mongodb/mongo-hadoop
分享到：
发表评论
-
Cassandra 分布式数据库详解，第 1 部分：配置、启动与集群
2012-08-01 11:13 945原文 http://www.ibm.com/devel ... -
Cassandra 分布式数据库详解，第 2 部分：数据结构与数据读写
2012-08-01 11:11 944原文 http://www.ibm.com/develope ... -
让 WordPress 使用 Redis 缓存来进行加速
2012-08-01 11:00 987原文 http://www.oschina.net/quest ... -
Linux 下 Redis 安装详解
2012-08-01 10:54 874原文 http://www.oschina.net/qu ... -
Redis作者：深度剖析Redis持久化
2012-08-01 10:37 880原文 http://www.iteye.com ... -
Hadoop学习笔记之在Eclipse中远程调试Hadoop+0700错误的处理
2012-08-01 00:15 0原文 http://www.blogjava.net/y ... -
华为称IT业五年内面临变革 云计算列入核心战略
2012-07-31 10:32 0原文 http://www.hadoopor.com/ ... -
Google在新的内容索引系统中放弃MapReduce
2012-07-31 10:30 879原文 http://www.hadoopor.co ... -
微软展开“大数据”蓝图，推进Hadoop至Azure和Windows Server
2012-07-31 10:13 930原文 http://www.iteye.com/news/23 ... -
Hadoop分布式文件系统：架构和设计要点
2012-07-31 10:07 811摘自 http://www.blogjava.net/ ... -
淘宝数据魔方技术架构解析
2012-07-31 10:09 791原文 http://www.programmer.com.c ... -
Apache Hadoop 2.0 Alpha 版发布
2012-07-30 16:10 1897原文 http://www.iteye.com/news/25 ... -
VMware发布开源项目Serengeti，支持云中部署Apache Hadoop
2012-07-30 15:55 815原文 http://www.iteye.com/news/25 ... -
安全第一！VMware云安全八项新举措
2012-07-30 16:03 941云与安全，就这 ... -
EMC与VMware和Intel联手云安全
2012-07-28 14:05 707原文 http://security.zdnet.com.cn ... -
剖析开源云
2012-07-28 13:11 696原文 http://www.oschina.net/q ... -
怎样部署基于Spring与数据库的应用到CloudFoundry
2012-07-26 15:16 812原文 http://www.oschina.net/q ... -
深度剖析CloudFoundry的架构设计
2012-07-26 15:17 789原文 http://qing.weibo.com/22 ... -
Cloud Foundry——Azure杀手?
2012-07-25 09:54 1054原文 http://cloud.csdn.net/a/ ... -
业界首个开放式云服务平台Cloud Foundry
2012-07-25 09:52 1007原文 http://sd.csdn.net/a/201 ...
相关推荐
The MongoDB Connector for Hadoop is a library which allows MongoDB (or backup files in its data format, BSON) to be used as an input source, or output destination, for Hadoop MapReduce tasks....
【文件系统、MongoDB、Hadoop 存取方案分析】 在大数据时代，高效的数据存取方案至关重要。本文将深入探讨三种常见的数据存取方案：文件系统、MongoDB 和 Hadoop，以及它们各自的特点和适用场景。 一、文件系统 ...
MongoSpark是一个基于Maven的Java项目，它显示了使用Mongodb Hadoop Connector将Spark与MongoDb集成。 最初，它不包含任何bigData分析，但将在不久的将来包含。 最初，该项目仅将一个馆藏的所有文档复制到另一个...
MongoDB 是一款流行的开源、分布式、面向文档的 NoSQL 数据库系统，因其强大的查询语言、灵活性和高性能而在现代Web开发中被广泛采用。本课程讲义将带你深入了解 MongoDB 的核心概念、安装启动流程以及基本的增删改...
Spring-data-mongodb的文档太少了，基本都是网页版，我把网页做成了chm方便开发人员查看，文档是英文原版，是从官网抓下来的
MongoDB CDC Connector 实现原理和使用实践 Flink CDC MongoDB Connector 是一种实时数据同步解决方案，旨在解决 MongoDB 数据变更捕获和实时数据同步问题。本文将详细介绍 MongoDB CDC Connector 的实现原理和使用...
如何在centos 7.2上面安装mongodb数据库 单机版安装 已经亲自测试安装成功。
MongoDB Connector 作为一个桥梁，连接了 MongoDB 和 Hadoop，使得两者之间的数据交换更加便捷。 - **数据同步**：实现实时数据同步，确保 Hadoop 能够及时获取最新的 MongoDB 数据。 - **数据转换**：支持数据格式...
该方案通过MongoDB Cluster、MongoDB-Connector for Hadoop和MapReduce Cluster的整合，实现了对非结构化数据的高效处理。 首先，MongoDB Cluster承担对非结构化数据的分片存储工作，而MapReduce Cluster负责并行...
【标题】"Bset507同学录程序 v1.0 正式版"是一个针对学生群体设计的应用程序，主要用于管理班级或集体内的个人信息，帮助成员保持联系并记录珍贵的回忆。这个正式版本可能经过了多轮测试和优化，旨在提供稳定、安全...
Hadoop与MongoDB的整合主要通过中间件Hadoop Connector来实现，它允许Hadoop MapReduce作业可以直接访问MongoDB中的数据。这种方式可以让Hadoop引擎处理数据，然后将结果存储回MongoDB，或者将MongoDB中的数据读取到...
MongoDB Hadoop连接器 目的 用于HadoopMongoDB连接器是一个库，该库允许将MongoDB（或数据格式为BSON的备份文件）用作Hadoop MapReduce任务的输入源或输出目标。 它旨在提供更大的灵活性和性能，并使MongoDB中的数据...
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 编辑本段特点 它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有： *面向集合...
版本1.0的发布，标志着该库已经经过充分测试和优化，为开发者提供了可靠的稳定性和性能保障。这个库不仅包含了对MongoDB基本操作的支持，还引入了一些高级特性，使得数据管理更加灵活。 首先，php_mongo支持连接和...
《MongoDB和Hadoop》这本书主要探讨了两个大数据领域的关键组件——MongoDB和Hadoop，它们在现代数据处理和分析中扮演着重要角色。MongoDB是一款流行的开源文档型数据库，而Hadoop则是一个用于大规模数据处理的开源...
【MongoDB&Hadoop技术交流】 本篇技术交流主要探讨了MongoDB和Hadoop两种在大数据处理领域中广泛应用的技术。MongoDB是一种NoSQL数据库，而Hadoop是分布式计算框架，两者在处理大规模数据方面有着各自的优势。 **...
Geoserver发布MongoDB矢量数据地图服务 Geoserver是一款功能强大且开源的地理信息系统（GIS）服务器，能够实现空间数据的存储、处理和发布。MongoDB是一款NoSQL数据库，能够存储大量的矢量数据。本文将介绍如何使用...
MongoDB 是一个流行的开源、基于分布式文件存储的数据库系统，主要设计用于处理大量数据的分布式环境。C# 驱动是 MongoDB 提供的一种客户端库，允许 .NET 开发者与 MongoDB 数据库进行交互。标题提到的是 MongoDB 的...
MongoDB和Hadoop是当前大数据处理领域中的两个关键工具，它们各自在数据存储与处理方面发挥着重要作用。这里，我们分别深入探讨这两个技术的核心概念、功能以及如何在实际应用中利用它们。 首先，MongoDB是一种...