jiezhu2007
- 浏览: 245526 次
- 性别:
- 来自: 深圳
-
最新评论
-
letian611：
...
滴滴背后的大数据应用 -
MCLoginandPwd：
分享一款代码生成器，拖拽式组件结合流式处理，很容易的访问数据库 ...
Docker和hadoop -
rashly：
可以跟你加个好友吗
智能调度：Stanford的Quasar -
rashly：
请问你有没有quasar的源代码
智能调度：Stanford的Quasar -
jiezhu2007：
主要讲架构的书
为什么写《大数据架构详解》这本书
文章列表
2015-12-27 朱洁 hadoop技术学习
微软历史上一共3任ceo，很好的将微软分为3个时代。
盖茨时代，微软是桌面时代的霸主，当时的微软如日中天，是一个赚钱机器，windows系列桌面占有率超过了90%，微软太成功，以至于被 ...
2015-12-03 朱洁 hadoop技术学习
现在是国内凌晨3点，为了抵挡睡意，还是写写技术博客。今天和大家讨论下大数据仓库中的更新技术。
数据仓库里面存储引擎是非常重要的，存储引擎的好坏，基本决定了整个数仓的基础。
kudu目标
cloudera公司最近发布了一个kudu存储引擎。按照cloudera的想法，kudu的出现是为了解决，hbase,parquet不能兼顾分析和更新的需求，所以需要一个新的存储引擎可以同时支持高吞吐的分析应用以及少量更新的应用。cloudera 的设计目标是：（http://blog.cloudera.com/blog/2015/09/kudu-new-apache-hadoop-storage-for-fast-analytics-on-fast-data/）
• Stro ...
大数据仓库－场景
2015-10-24 朱洁 hadoop技术学习
传统OLTP/OLAP之分
数据仓库里面有OLTP/OLAP之分，OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
大数据数据仓库—概念
2015-10-18 朱洁 hadoop技术学习
大数据经过反复炒作之后，慢慢的降温下来。大家不再大谈几个v了，落
Cloud_Native概念最近比较火，因此研究下到底讲的是什么含义。
Cloud_Native从概念上讲核心说的是传统的应用部署在数据中心上的架构不适合云化的环境，要充分利用云基础设施的可编程性和扩展性，又要规避云基础设施的不可靠，cloud_native核心改变是fit app to infra，而不是fit infra to app。
什么样的应用才算是Cloud_Native呢？open data center alliance(ODCA)一篇论文Best Practices: Architecting Cloud-Aware Application ...
技术源头
简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案，Docker container和普通的虚拟机Image相比, 最大的区别是它并不包含操作系统内核。因此非常轻量。
普通虚拟机将整个操作系统运行在虚拟的硬件平台上, 进而提供完整的运行环境供应用程序运行, 而Docker则直接在宿主平台上加载运行应用程序. 本质上他在底层使用LXC启动一个Linux Container,通过cgroup等机制对不同的container内运行的应用程序进行隔离,权限管理和quota分配等，每个container拥有自己 ...
微服务架构越来越火，有必要学习一下。
软件开发过程中碰到什么问题
一个简单的应用会随着时间推移逐渐变大。在每次的sprint中，开发团队都会面对新“故事”，然后开发许多新代码。几年后，这个小而简单的应用会变 ...
智能、自动化是对系统孜孜不倦的追求，尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法，如DRF,capacity scheduler，fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路，要求应用提出资源的需求，而在现实中往往是不现实的。不现实在两个方面：
job需要的资源和需要处理的数据量，过程的复杂度强相关。而这两者在实际的生产系统中都不是一成不变的，所以往往预留的资源要么多大，要么过小。
单个job
最近看到亚马逊第一次单独公布AWS财报，一年营收57亿美元，市场份额占比第一。混合云市场，2014年，IBM以综合的IT能力，收入70亿夺魁。云计算喊了这么多年，不知不觉已经变成了几十亿美元的大生意。云计算时代真的来了！
...
先从马云说起，马云最近几件事很闹心，阿里的股票从最高的119跌倒了81块，跌去了三分之一，年初取消了全员红包搞得民怨沸腾，天猫总裁乔峰被免职，网上传言纷纷，甚至还有小道消息是天猫团队周末不加班导致。经过前面两年吹泡泡之后，淘宝还是要终归回归企业发展的本质来，就是要赚钱。前面我写过一篇文章《泼一泼阿里的冷水，阿里几大隐忧》，我还是维持我当时的看法淘宝仍能估值太高。
最近在研究数据中心的数据管理和性能优化，看了一篇2010的论文Nectar:Automatic Management of Data and Computation in Datacenters，还是有一定的启发的，简要介绍给大家。详细的建议大家download论文下来看下。
Nectar核心思路有两个：
国内的技术人员知道netflix这家公司的可能并不多。Netflix是一家美国公司，在美国、加拿大提供互联网随选流媒体播放，定制DVD、蓝光光碟在线出租业务。该公司成立于
腾讯大数据最近做了几件事，上线了一个官方网站http://data.qq.com/，将TDW(腾讯大数据库仓库）开源了，封闭的企鹅难得开放了一回。大数据网站上有一些资料，我看到一个叫Hermes爱马仕的系统挺有意思的，今天介绍下。
关于实时分析系统我前面写个几篇文章分析，包括《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是 大数据实时分析系统 未来的选择吗？》《一套数据，多种引擎（impala/Hive/kylin）》《
最近在考虑新一年的架构的时候，我就在想一个大数据平台核心竞争力到底是什么？每个平台发展的阶段可能不太一样，所以所需要的核心竞争力不同。但是做架构，做设计的朋友一定要常常思考下你负责的平台到底核心竞争 ...