阅读更多

7顶
0踩

数据库

原创新闻 MongoDB Hadoop Connector 1.0 正式版发布

2012-04-11 14:41 by 副主编 wangguo 评论(5) 有9501人浏览
10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。

MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求,继续完善对Hadoop生态系统中组件的支持。


10gen称,1.0版是一个长期支持版本,将提供超过1年的维护,并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。

该版本还提供了如下功能:

  • 从Apache Pig(大数据集分析平台)写入到MongoDB
  • 从Flume分布式日志系统写入到MongoDB
  • 在MapReduce中使用Python,并通过Hadoop Streaming读取和写入MongoDB数据
详细信息参阅:10gen博客

源码地址:https://github.com/mongodb/mongo-hadoop
  • 大小: 53.3 KB
7
0
评论 共 5 条 请登录后发表评论
5 楼 zihou 2013-03-13 16:51
        
4 楼 flysunmicro 2012-04-12 11:13
3 楼 倚地屠蛇 2012-04-12 10:04
占领地板
2 楼 jialeadmin 2012-04-12 09:27
占领板凳
1 楼 paomo30000 2012-04-12 09:16
占领沙发

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 大数据Hadoop之——Spark SQL+Spark Streaming

    大数据Hadoop之——计算引擎Spark,官方文档:https://spark.apache.org/sql/ 二、SparkSQL版本 1)SparkSQL的演变之路 1.0以前: Shark(入口:SQLContext和HiveContext) SQLContext:主要DataFrame的构建以及...

  • Apache Hadoop

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲...

  • Hadoop生态圈技术概述

    装完hadoop2.6.0-cdh5.5.2后put命令不好使,并且装完hive后导入本地数据也报错,put命令一直报这个错: hadoop@debian:~$ hadoop fs -put he.tt /aaa 17/01/02 23:37:52 WARN hdfs.DFSClient: DataStreamer ...

  • Hadoop2.X管理与开发

    Hadoop 2.X 管理与开发 一、Hadoop的起源与背景知识 (一)什么是大数据 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、...

  • 阿里Java面经大全(整合版)

    8.问我jdk看的第几版,嘴贱了一下,说了 1.8,然后问我hashmap默认的数据结构,果不其然问到了红黑树,然后问红黑树插入,果断不会,这太套路了 红黑树的增删改查都比较复杂,但是就是先操作,然后进行树的调整,...

  • 阿里云MongoDB与EMR的HelloWorld

    越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是...

  • (转)-Java-NIO

    Java NIO提供了与标准IO不同的IO工作方式: Channels and Buffers(通道和缓冲区):标准的IO基于字节流和字符流进行操作的,而NIO是基于通道(Channel)和缓冲区(Buffer)进行操作,数据总是从通道读取到...

  • Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

    ▼ 关注「ApacheFlink」视频号,遇见更多大咖▼摘要:本文通过实例来演示怎么通过 Flink CDC 结合 Doris 的 Flink Connector 实现从 Mysql 数...

  • 大数据时代,数据实时同步解决方案的思考—最全的数据同步总结

    public class CanalClientExample { public static void main(String[] args) { while (true) { //连接canal CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils....

  • 大数据实训

    01 计算框架 离线计算:Hadoop MapReduce、Spark 实时计算:Storm、Spark Streaming、Flink 02 存储框架 文件存储:Hadoop HDFS、Tachyon、KFS NOSQL数据库:HBase、MongoDB、Redis 全文检索:ES、Solr 03 资源管理 ...

  • 17家国产数据库厂商的2020年度事件大盘点:项目签约与验收、新版本发布等

    每月月初,我们都会在墨天轮发布当月的数据库排行,总结数据库行业最新的发展动向以及行业人员应对变化的一些建议与思考。如今,2020年已过,除了新冠病毒疫情对全球各行各业带来了不少的消极影响...

  • 技术与时代并行丨DBAplus Newsletter(2017年2月)

    本期要闻:从DB-Engines近几年的趋势看数据库的变革;...MongoDB 3.4通过行业最严格的分布式数据库测试;Redis最新漏洞和修复……更多资讯请阅读全文。 本期目录一、推出DBAplus Newsletter的想法 二、DB-Eng...

  • Linkis1.0.2 安装及使用指南

    3.5.2.3.1 Kafka Connector 3.5.2.3.2 Mysql Connector 3.5.2.3.3 Mysql CDC Connector 3.5.2.3.4 Elasticsearch Connector 3.5.2.4 自定义开发 Connector 3.5.2.4.1 Redis Connector 3.5.2.4.2 MongoDB Connector ...

  • 大数据之MapReduce离线计算架构

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲计算...

  • 大数据技术之 Flink-CDC

    Flink CDC 2.3.x 支持的数据库版本: Connector Database Driver mongodb-cdc MongoDB: 3.6, 4.x, 5.0 MongoDB Driver: 4.3.1 mysql-cdc MySQL: 5.6, 5.7, 8.0.x RDS MySQL: 5.6, 5.7, 8.0.x PolarDB MySQL: 5.6, ...

  • MTPA数值求解:双法探究,MTPA数值求解详解:两种方法的比较与应用探索,MTPA数值求解两种方法 ,MTPA数值求解; 方法一; 方法二;,MTPA数值求解的两种高效方法

    MTPA数值求解:双法探究,MTPA数值求解详解:两种方法的比较与应用探索,MTPA数值求解两种方法 ,MTPA数值求解; 方法一; 方法二;,MTPA数值求解的两种高效方法

  • 为什么你的switch总出bug?90%新手不知道的break语句隐藏规则.pdf

    # 踏入C语言的奇妙编程世界 在编程的广阔宇宙中,C语言宛如一颗璀璨恒星,以其独特魅力与强大功能,始终占据着不可替代的地位。无论你是编程小白,还是有一定基础想进一步提升的开发者,C语言都值得深入探索。 C语言的高效性与可移植性令人瞩目。它能直接操控硬件,执行速度快,是系统软件、嵌入式开发的首选。同时,代码可在不同操作系统和硬件平台间轻松移植,极大节省开发成本。 学习C语言,能让你深入理解计算机底层原理,培养逻辑思维和问题解决能力。掌握C语言后,再学习其他编程语言也会事半功倍。 现在,让我们一起开启C语言学习之旅。这里有丰富教程、实用案例、详细代码解析,助你逐步掌握C语言核心知识和编程技巧。别再犹豫,加入我们,在C语言的海洋中尽情遨游,挖掘无限可能,为未来的编程之路打下坚实基础!

  • 避坑指南:DeepSeekAPI常见错误代码解析与解决方案.pdf

    在日常的工作和学习中,你是否常常为处理复杂的数据、生成高质量的文本或者进行精准的图像识别而烦恼?DeepSeek 或许就是你一直在寻找的解决方案!它以其高效、智能的特点,在各个行业都展现出了巨大的应用价值。然而,想要充分发挥 DeepSeek 的优势,掌握从入门到精通的知识和技能至关重要。本文将从实际应用的角度出发,为你详细介绍 DeepSeek 的基本原理、操作方法以及高级技巧。通过系统的学习,你将能够轻松地运用 DeepSeek 解决实际问题,提升工作效率和质量,让自己在职场和学术领域脱颖而出。现在,就让我们一起开启这场实用又高效的学习之旅吧!

  • 视频缩略图生成组件,图像格式转换另存为jpg, png, gif, bmp格式

    'Function 生成视频缩略图(ByVal 视频文件 As String, ByVal 保存缩略图的文件路径 As String, Optional ByVal jpg图像品质 As Long = 80, _ ' Optional ByVal 缩略图宽度 As Long = 500, Optional ByVal 缩略图高度 As Long = 500 _ ' , Optional 返回图像实际宽度 As Long, Optional 返回图像实际高度 As Long) As Boolean Public Function SaveImageAs(LoadImgFile As String, ByVal SaveAsImgFile As String, _ Optional ByVal JpgQuality As Long = 80, Optional hPal As Long, Optional Resolution As Single) As Boolean

Global site tag (gtag.js) - Google Analytics