博客首页 → Mapreduce

最新文章列表

MaxCompute按量计费计算任务消费监控告警

MaxCompute 按量计费资源为弹性伸缩资源，对于计算任务，按任务需求提供所需资源，对资源使用无限制，同时MaxCompute按量计费的账单为天账单，即当天消费需要第二天才出账，因此，有必要对计算任务的消费进行监控以免超预期消费而不可知。 本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。 背景知识： *   云监控统计计算消费主要为标准SQL和MapReduc ...
mapreducesql 
大涛学长 评论(0) 有358人浏览 2019-12-02 15:39

数据一致性检测的应用场景与最佳实践

随着业务规模的扩张，企业系统变得越来越复杂，在这种复杂的分布式系统架构下，难免会出现远程调用失败，消息发送失败，并发 bug 等等问题，这些问题最终会导致系统间的数据不一致，导致用户体验受损，用户利益受损，对平台来说就是产生资损。因此如何持续保障系统的业务稳定性对于企业来说是一个很重要的课题，本文旨在介绍一些常见业务应用场景下的业务数据一致性保障最佳实践。 离线or在线,事前or事后 ------ ...
mapreduce领域模型hadoop 
大涛学长 评论(0) 有397人浏览 2019-11-19 15:32

数据中台的存储系统和计算平台枚举

作者：向师富 转自：阿里巴巴数据中台官网 [https://dp.alibaba.com](https://dp.alibaba.com/)  **采集&传输层** *   Sqoop      Hadoop、关系型数据库之间传输 ...
阿里巴巴apachemapreducehadoop 
大涛学长 评论(0) 有433人浏览 2019-11-04 15:33

MapReduce实现与自定义词典文件基于hanLP的中文分词详解

  前言： 文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapr ...
mapreducehadoop 
adnb34g 评论(0) 有826人浏览 2018-10-15 13:42

mongdb之mapreduce操作

统计sn,mac地址在栏目下的点播时长和点播次数 db.getCollection('collectcontents').mapReduce( function() { emit( {'sn':this.sn,'mac':this.mac,'columnID':this.actionInfo.columnID}, {'sn':this.sn,'mac':this.mac, ...
mapreduce 
jiandequn 评论(0) 有514人浏览 2018-08-27 19:23

MapReduce输入输出格式

常用输入格式 输入格式 特点 使用的RecordReader 是否使用FileInputFormat的getSplits TextInputFormat 以行偏移量为key，以换行符前的字符为Value LineRecordReader 是
HadoopMapReduce大数据 
cboss8 评论(0) 有1575人浏览 2018-08-10 16:15

学习Hadoop权威指南之MapReducer气象数据分析

气象数据集 关于MapReduce MapReduce是一种可用于数据处理的编程模型，它本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，这里我们先看一个数据集。我们今天的目的是：在大批量的气象数据中，获取每年每月的最高气温。 数据格式 我们使用的数据来自于权威指南提供的美国国家气候数据中心，该 ...
hadoopMapReduce 
cboss8 评论(0) 有2166人浏览 2018-08-09 14:05

推荐系统架构详解

背景介绍： 对于推荐系统，大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时，如在京东上购物，对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢，这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时，你会发现，系统不断动态展现你喜欢的内容，这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中，每个人浏览的内容都是根据个人的 ...
推荐系统mapreducespark streamingstorm 
nethub2 评论(0) 有1311人浏览 2018-05-10 14:33

IDEA+maven构建hadoopMR开发环境

总结一下IDEA+maven构建的开发环境。 我的环境是WIN7(64位） hadoop2.8,3台虚拟机的hadoop集群，两个做datanode，一个nameNode. IDEA是2016.1 ,maven 3.9,java1.7 IDEA+maven 很简单了，跟着引导创建一个新maven项目就可以了。 下面是pom.xml <?xml version="1.0" ...
IDEAHADOOPMapReduce 
zxp209 评论(0) 有2525人浏览 2017-11-02 10:35

MapReduce之WordCount单词计数（下）

一 代码 Wordcount.java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWr ...
MapReduce 
cakin24 评论(0) 有1141人浏览 2017-10-20 20:35

利用MapReduce进行排序

一 排序原理     二 测试样例 输入 file1： 2 32 654 32 15 756 65223 file2： 5956 22 650 92 file3： 26 54 6 输出： 1 12 2 6 3 15 4 22
MapReduce 
cakin24 评论(0) 有973人浏览 2017-10-19 20:58

MapReduce之WordCount单词计数

一 代码 Wordcount.java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntW ...
MapReduce 
cakin24 评论(0) 有774人浏览 2017-10-19 20:48

MapReduce之WordCount单词计数（上）

一 需求 1、计算文件中出现每个单词的频数 2、输出结果按照字母顺序进行排序   二 测试样例     三 Map过程     四 Reduce过程    
MapReduce 
cakin24 评论(0) 有780人浏览 2017-10-19 20:47

MapReduce的原理

一 基本原理 分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce）。   二 原理示意图     三 应用举例 100GB的网站日志文件，找出访问次数最多的IP地址      
MapReduce 
cakin24 评论(0) 有530人浏览 2017-10-18 21:35

MapReduce的运行流程

一 基本概念 1、job & Task 2、jobTracker 3、TaskTracker   二 Hadoop MapReduce体系结构     三 JobTracker的角色 1、作业调度 2、分配任务、监控任务执行 ...
MapReduce 
cakin24 评论(0) 有613人浏览 2017-10-18 21:33

【转】Map Reduce & YARN

Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和 ...
mapreduceyarn 
商人shang 评论(0) 有904人浏览 2017-10-10 19:14

一个伟大愿景：让深度学习更简单

阅读全文http://click.aliyun.com/m/23529/ 当15年前推出MapReduce时，它展示了整个世界对于未来的不屑一瞥。硅谷科技公司的工程师第一次可以分析整个互联网。然而，MapReduce提供了非常低级API，结果使这个“超级力量”成为了奢侈品，只有极少数的高学历的，有很多资源的工程师才可以使用它。 今天，深度学习已经达到了“MapReduce”当时的地位：它已经显示出 ...
mapreduce工作互联网框架 
liangyan9966 评论(0) 有631人浏览 2017-06-19 13:44

MapReduce框架详解

Hadoop学习笔记：MapReduce框架详解 http://blog.jobbole.com/84089/    
mapreduce 
孤狼18 评论(0) 有851人浏览 2017-06-16 16:14

如何快速扩展MySQL数据量？

阅读原文请点击：http://click.aliyun.com/m/22991/ 摘要： 在一些评估里，我们（Pinterest）的发展比先前任何初创公司都要快。大约在2011年9月份，我们的基础设 ...
mysqlnosqlcassandramapreducemongodb 
骑猪逛街666 评论(0) 有859人浏览 2017-06-12 13:41

最近博客热门TAG

浏览器(34332) Blog(32212) Google(26471) 网络应用(23512) IE(21696) 互联网(13881) QQ(11035) Firefox(9275) 网络协议(9099) 搜索引擎(8705) 百度(7940) BBS(4716) Gmail(3793) 防火墙(3687) Chrome(3205) 360(3012) 云计算(2849) 腾讯(2715) Yahoo(2236) WordPress(2094)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics