阅读更多

7顶
0踩

数据库

原创新闻 MongoDB Hadoop Connector 1.0 正式版发布

2012-04-11 14:41 by 副主编 wangguo 评论(5) 有9491人浏览
10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。

MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求,继续完善对Hadoop生态系统中组件的支持。


10gen称,1.0版是一个长期支持版本,将提供超过1年的维护,并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。

该版本还提供了如下功能:

  • 从Apache Pig(大数据集分析平台)写入到MongoDB
  • 从Flume分布式日志系统写入到MongoDB
  • 在MapReduce中使用Python,并通过Hadoop Streaming读取和写入MongoDB数据
详细信息参阅:10gen博客

源码地址:https://github.com/mongodb/mongo-hadoop
  • 大小: 53.3 KB
7
0
评论 共 5 条 请登录后发表评论
5 楼 zihou 2013-03-13 16:51
        
4 楼 flysunmicro 2012-04-12 11:13
3 楼 倚地屠蛇 2012-04-12 10:04
占领地板
2 楼 jialeadmin 2012-04-12 09:27
占领板凳
1 楼 paomo30000 2012-04-12 09:16
占领沙发

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 大数据Hadoop之——Spark SQL+Spark Streaming

    大数据Hadoop之——计算引擎Spark,官方文档:https://spark.apache.org/sql/ 二、SparkSQL版本 1)SparkSQL的演变之路 1.0以前: Shark(入口:SQLContext和HiveContext) SQLContext:主要DataFrame的构建以及...

  • Apache Hadoop

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲...

  • Hadoop生态圈技术概述

    装完hadoop2.6.0-cdh5.5.2后put命令不好使,并且装完hive后导入本地数据也报错,put命令一直报这个错: hadoop@debian:~$ hadoop fs -put he.tt /aaa 17/01/02 23:37:52 WARN hdfs.DFSClient: DataStreamer ...

  • Hadoop2.X管理与开发

    Hadoop 2.X 管理与开发 一、Hadoop的起源与背景知识 (一)什么是大数据 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、...

  • 阿里Java面经大全(整合版)

    8.问我jdk看的第几版,嘴贱了一下,说了 1.8,然后问我hashmap默认的数据结构,果不其然问到了红黑树,然后问红黑树插入,果断不会,这太套路了 红黑树的增删改查都比较复杂,但是就是先操作,然后进行树的调整,...

  • 阿里云MongoDB与EMR的HelloWorld

    越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是...

  • (转)-Java-NIO

    Java NIO提供了与标准IO不同的IO工作方式: Channels and Buffers(通道和缓冲区):标准的IO基于字节流和字符流进行操作的,而NIO是基于通道(Channel)和缓冲区(Buffer)进行操作,数据总是从通道读取到...

  • Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

    ▼ 关注「ApacheFlink」视频号,遇见更多大咖▼摘要:本文通过实例来演示怎么通过 Flink CDC 结合 Doris 的 Flink Connector 实现从 Mysql 数...

  • 大数据时代,数据实时同步解决方案的思考—最全的数据同步总结

    public class CanalClientExample { public static void main(String[] args) { while (true) { //连接canal CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils....

  • 大数据实训

    01 计算框架 离线计算:Hadoop MapReduce、Spark 实时计算:Storm、Spark Streaming、Flink 02 存储框架 文件存储:Hadoop HDFS、Tachyon、KFS NOSQL数据库:HBase、MongoDB、Redis 全文检索:ES、Solr 03 资源管理 ...

  • 17家国产数据库厂商的2020年度事件大盘点:项目签约与验收、新版本发布等

    每月月初,我们都会在墨天轮发布当月的数据库排行,总结数据库行业最新的发展动向以及行业人员应对变化的一些建议与思考。如今,2020年已过,除了新冠病毒疫情对全球各行各业带来了不少的消极影响...

  • 技术与时代并行丨DBAplus Newsletter(2017年2月)

    本期要闻:从DB-Engines近几年的趋势看数据库的变革;...MongoDB 3.4通过行业最严格的分布式数据库测试;Redis最新漏洞和修复……更多资讯请阅读全文。 本期目录一、推出DBAplus Newsletter的想法 二、DB-Eng...

  • Linkis1.0.2 安装及使用指南

    3.5.2.3.1 Kafka Connector 3.5.2.3.2 Mysql Connector 3.5.2.3.3 Mysql CDC Connector 3.5.2.3.4 Elasticsearch Connector 3.5.2.4 自定义开发 Connector 3.5.2.4.1 Redis Connector 3.5.2.4.2 MongoDB Connector ...

  • 大数据之MapReduce离线计算架构

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲计算...

  • 大数据技术之 Flink-CDC

    Flink CDC 2.3.x 支持的数据库版本: Connector Database Driver mongodb-cdc MongoDB: 3.6, 4.x, 5.0 MongoDB Driver: 4.3.1 mysql-cdc MySQL: 5.6, 5.7, 8.0.x RDS MySQL: 5.6, 5.7, 8.0.x PolarDB MySQL: 5.6, ...

  • 白色简洁风格的学术交流会议源码下载.zip

    白色简洁风格的学术交流会议源码下载.zip

  • 基于交变电流场测量技术的水下结构缺陷可视化与智能识别方法

    内容概要:本文提出了利用交变电流场测量(ACFM)技术对水下结构中的缺陷进行可视化和智能识别的方法。通过对缺陷引起畸变磁场的分析,开发了梯度成像算法作为图像预处理方法,突显了缺陷的视觉形态。实验验证了梯度成像算法的有效性,并利用卷积神经网络(CNN)深度学习算法识别预处理后的灰度图样本。实验结果显示,电流扰动理论澄清了特征信号与缺陷形态之间的关系,单裂纹、不规则裂纹和腐蚀等缺陷可以被智能识别和准确评估。 适合人群:从事水下结构检测的研究人员和技术人员,以及对非破坏性检测技术感兴趣的工程领域人士。 使用场景及目标:① 海洋钻井平台、管道、海底油气处理设施等水下结构的缺陷检测;② 利用交变电流场测量技术和图像处理技术提高缺陷识别的准确性和智能化程度。 其他说明:本文不仅提出了交变电流场测量技术的新方法,还通过实验证明了这些方法的有效性,为实际应用提供了技术支持。

  • Neck Deep - In Bloom [mqms2].mgg2.flac

    Neck Deep - In Bloom [mqms2].mgg2.flac

  • (176109030)基于ESO的永磁同步电机无感FOC1.采用线性扩张状态观测器(LESO)估计电机反电势,利用锁相环从反电势中提取位置和转速信息

    基于ESO的永磁同步电机无感FOC 1.采用线性扩张状态观测器(LESO)估计电机反电势,利用锁相环从反电势中提取位置和转速信息,从而实现无位置传感器控制; 2.提供算法对应的参考文献和仿真模型。 购买赠送PMSM控制相关电子资料。 仿真模型纯手工搭建,不是从网络上复制得到。 仿真模型仅供学习参考。内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。

Global site tag (gtag.js) - Google Analytics