资讯月刊下载
[开源软件] bboss 大数据抽取工具 v4.0.9 发布
bboss 大数据抽取工具 4.0.9 发布 相较上一版本(v4.0.8),v4.0.9增加了以下特性: 按照按日期字段切分任务,抽取db数据到hdfs,可以在第一次切分任务的基础上,将日期范围任务块进一步切分为更小的任务块 在数据库表分区的基础上,可以按照分区字段类型将分区切分为日期范围任务块或者数字范围任务块,同时可以将已经切分的任务快进行二次切分 增加为作业处理节点中的作业添加指 ...
[开源软件] Hadoop 2.1.0 beta 版发布,HDFS SnapShot 特性一览
Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚,以防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍,其他的文章在来介绍Snapshot 本身的实现机制。 HDFS Snapshot有以下几个特性: Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间 只有当修改SnapShot时,才会有额外的内存 ...
[数据库] MySQL推出Applier,可实时复制数据到Hadoop
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下,如果从服务器不再局限为一个MySQL服务器,而是其他任何数据库服务器或平台,并且复制事件要求实时进行,是否可以实现呢? MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。 用途 例如,复制事件中的从 ...
[互联网] 国内首套免费的大数据技术(Hadoop)视频教程上线
Hadoop作为Nutch的重要组成部分,在《Nutch相关框架视频教程》中具有举足轻重的地位。 目前Hadoop部分已经上线的内容为第9-16共8讲,主要内容有: cygwin下使用hadoop运行nutch、Hadoop单机本地模式 Ubuntu上的Hadoop单机伪分布式模式 Windows上的HADOOP单机伪分布式模式 Ubuntu上的Hadoop多机完全分布式模式 Hadoop分散 ...