资讯月刊下载
[数据库] 开源力量公开课第58期:Hadoop核心系统原理、生态系统 ...
开源力量公开课第58期:Hadoop核心系统原理、生态系统介绍和实用场景解析 时间: 2014-05-27 20:00 直播地址:http://www.osforce.cn/openclass/79/show?fr=iteye 价格:线上免费 线下免费 开源力量公开课,每周二,晚八点,让我们一起向大牛们学习! 课程背景: 随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的 ...
[开源软件] Apache Nutch v1.8发布,Java实现的网络爬虫
Apache Nutch v1.8已经发布了,建议所有使用1.X系列的用户和开发人员升级到这个版本。这个版本的依赖库Crawler Commons升级到了0.3版本,Apache Tika也升级到了1.4版本,同时还修复了35个BUG,提供了18项改进。详细内容请看更新日志,下载地址,Nutch官网。 Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro ...
[数据库] HBase 0.98发布,安全和性能提升
Apache软件基金会今天发布了HBase 0.98版本。 HBase(Hadoop Database)是一个分布式的、面向列的开源数据库,是Google Bigtable的开源实现,是Apache Hadoop项目的子项目。不同于一般的关系数据库,HBase适合于非结构化数据存储,此外,HBase采用基于列的而不是基于行的模式。 新版本中包含了一些新的安全特性:cell可见性标签、cell ...
[开源软件] 【企业开源系列】Twitter:收发一条推文的背后
Twitter被称为“互联网的短信服务”,允许用户发布不超过140个字的微博客,该创意来自Twitter的联合创始人Jack Dorsey,这个在7年前被分析师称为“有史以来最愚蠢”的创意,不料如今已经成为了风靡全世界的社交网络和微博客服务,月活跃用户达到了2.183亿人,每天大约有5亿条推文(tweet)被发送,几乎每秒钟就产生了超过6000条推文。 2013年11月7日,Twitter正式在纽 ...
[数据库] Apache HBase 0.96发布,支持Windows平台
Apache软件基金会近日宣布推出HBase 0.96版本。据开发团队称,该版本修复了超过2000个问题,并包含了大量的功能改进。 HBase(Hadoop Database)是一个分布式的、面向列的开源数据库,是Google Bigtable的开源实现,是Apache Hadoop项目的子项目。不同于一般的关系数据库,HBase适合于非结构化数据存储,此外,HBase采用基于列的而不是基于行 ...
[开源软件] Hadoop v2 时代正式到来
Apache基金会近日正式发布了Hadoop 2.2版本,该版本是Hadoop 2.x分支中的首个稳定版本(2.0.x为alpha版本,2.1.x为beta版本),标志着Hadoop 2时代的正式到来。 Apache建议用户升级至最新版本,因为这个版本更加稳定,并保持与之前版本API和相关协议条款的兼容。与Hadoop 1.x相比,Hadoop 2的主要亮点如下: 新的Hadoop MapR ...
[开源软件] Nutch:从搜索引擎到网络爬虫——开源力量公开课第31 ...
开源力量公开课第31期课程题目——Nutch:从搜索引擎到网络爬虫 开课时间:2013年9月17日 19:00 - 21:30 现场或线上参课: 现场参加(免费):北京市海淀区海淀西大街70号 , 3W咖啡二楼(海淀图书城籍海楼对面) (上海的同学注意了!:本期公开课在北京举行,不在上海,上海的同学需要通过线上参与) 线上直播(免费):邮件报名后将即时提供线上参课网址 现场或线上参课:htt ...
[编程语言] Spring for Apache Hadoop 2.0 M1发布,支持Hadoop 2 ...
SpringSource社区今天发布了Spring For Apache Hadoop 2.0的首个里程碑版本。 Spring For Apache Hadoop项目主要致力于将Spring的一些特性引入到了基于Apache Hadoop技术的应用开发中,它为基于Hadoop的项目提供了一个一致的编程、配置模型。无论是编写独立的MapReduce应用,从多个数据存储中交互操作数据,还是调度复杂的H ...
[开源软件] Hadoop 2.1.0 beta 版发布,HDFS SnapShot 特性一览
Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚,以防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍,其他的文章在来介绍Snapshot 本身的实现机制。 HDFS Snapshot有以下几个特性: Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间 只有当修改SnapShot时,才会有额外的内存 ...
[数据库] Mongo-Hadoop 1.1发布,利用Hadoop并行处理MongoDB中 ...
Hadoop擅长分析和处理大型数据集,而MongoDB擅长存储应用程序的大型数据集,这两者结合到一起,就诞生了Mongo-Hadoop——MongoDB主要负责存储和查询,Hadoop主要负责批处理。 今天Mongo开发团队发布了Mongo-Hadoop 1.1版本。 项目地址:https://github.com/mongodb/mongo-hadoop Mongo-Hadoop可以很容易地 ...
[开源软件] 10 大引导世界技术革新的开源项目
技术发展依赖于创新举措。没有那些脱离束缚的好想法,技术发展将停滞不前。与此同时,创新也促进了企业与社会的进步。很多人想当然地认为大多数创新举措都必须依附于闭源软件及开发商,但在多数情况下这一观点并不正确。 成千上万个开源项目为我们带来各个领域的技术创新成果。其中有一些项目的规模非常小,它们在大多数项目都是大规模、全球化的商业环境中显得格外突出。在浩如烟海的开源项目当中,Linux专家Jack Wa ...
[数据库] Hortonworks正式推出Windows版Hadoop数据平台
Apache Hadoop的主要贡献者Hortonworks近日正式发布了Windows平台版本的Hortonworks数据平台(HDP),这是一个100%开源的由Apache Hadoop驱动的数据平台。 Hadoop大多运行于Linux平台,此次HDP for Windows的发布,为Windows用户带来了与Linux平台一致的体验。 HDP for Windows允许企业组织能够获取、 ...
[数据库] MySQL推出Applier,可实时复制数据到Hadoop
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下,如果从服务器不再局限为一个MySQL服务器,而是其他任何数据库服务器或平台,并且复制事件要求实时进行,是否可以实现呢? MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。 用途 例如,复制事件中的从 ...
[互联网] 国内首套免费的大数据技术(Hadoop)视频教程上线
Hadoop作为Nutch的重要组成部分,在《Nutch相关框架视频教程》中具有举足轻重的地位。 目前Hadoop部分已经上线的内容为第9-16共8讲,主要内容有: cygwin下使用hadoop运行nutch、Hadoop单机本地模式 Ubuntu上的Hadoop单机伪分布式模式 Windows上的HADOOP单机伪分布式模式 Ubuntu上的Hadoop多机完全分布式模式 Hadoop分散 ...