本月博客排行
年度博客排行
-
第1名
宏天软件 -
第2名
龙儿筝 -
第3名
青否云后端云 - wallimn
- vipbooks
- gashero
- wy_19921005
- benladeng5225
- fantaxy025025
- zysnba
- ssydxa219
- e_e
- javashop
- sam123456gz
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- xiangjie88
- wiseboyloves
- ganxueyun
- lemonhandsome
- xyuma
- sichunli_030
- wangchen.ily
- jh108020
- zxq_2017
- jbosscn
- Xeden
- zhanjia
- johnsmith9th
- forestqqqq
- luxurioust
- lzyfn123
- ajinn
- nychen2000
- wjianwei666
- daizj
- hanbaohong
- 喧嚣求静
- ranbuijj
- silverend
- kingwell.leng
- lchb139128
- kristy_yy
- lich0079
- jveqi
- java-007
- sunj
- yeluowuhen
最新文章列表
【转】亿级Web系统的容错性建设实践
转载:http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=402841629&idx=1&sn=f598fec9b370b8a6f2062233b31122e0&scene=4#wechat_redirect
亿级Web系统的容错性建设实践
2016-04-04 徐汉彬 架构师 架构师
架构 ...
3.spark streaming Job 架构和容错解析
一.Spark streaming Job 架构
SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。
Spark Streaming的Job 分为两大类:
每隔BatchInterval时间片就会产生的一个个Job,这里的Job并不是Spark Core中的Job,它只是基于DStreamGraph而生成的RDD的DAG而已;从 ...
14.RDD深度解析
开篇:spark各种库,sparksql,sparkmachicelearning,等这么多库底层都是封装的RDD。意味着
1:RDD本身提供了通用的抽象,
2:spark现在有5个子框架,sql,Streaming,流式处理,机器学习,图计算,sparkR。可以根据具体领域的内容建模,建第6个库,第7个库。必须掌握spark的这个通用抽象基石-RDD.
分布式文件系统HDFS简介
本文转自http://storage.chinabyte.com/107/12416607.shtml。
Hadoop 分布式文件系统 (HDFS) 是运行在通用硬件上的分布式文件系统。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为各大网站等在线服务公司的海量存
(转)谷歌三大核心技术(一)Google File System中文版
谷歌三大核心技术(一)Google File System中文版
The Google File System中文版
译者:alex
摘要
我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS