"阿里Hadoop集群架构及服务体系"分享总结

概述：

此分享是关于阿里Hadoop集群架构及服务体系的分享汇总

 

汇总点：

集群按需申请，分组管理，同时计费；
集群数据共享(原始表/中间表/元数据)，避免重复计算和存储成立阿里巴巴数据交换中心；
集群共享(生产\开发\测试\预发)，避免数据在不同集群间拖动；
涉及生态系统包括：Hive，Streaming，Mahout，Pig和HBase；
资源调度改造：增加JobLevel概念，支持异构操作系统调度和服务端控制Reduce启动时机；
动态调整slots配置；
增加密码认证；
权限扩展UGO权限即：user  group  other;
NameNode改进：RPC 改造，Listener 拆分出多个 Reader，使用读写锁，提高并发度和写操作等待sync时释放 handler；
JobTracker改进：Scheduler调度算法重写，从O(n2)降低到O(1)、一次心跳分配多个Task、Job History改造成异步写和Out-of-bound heartbeat提高调度的效率 ；
Hook机制：pre-job hook(作业提交前执行,配置JobLevel,自动优化Shuffle参数和自动设置Reduce个数)和post-job hook(作业结束后执行,收集Job运行数据);
集群用户门户  一站式Portal;
TimeTunnel，分布式日志收集工具;
DataX，前台数据库<=>云梯 (双向同步);
DBsync，增量，大表的快速同步 ;
数据开发包括：数据分析，知识管理(元数据/数据字典/数据订阅/表字段血缘分析 )和存储管理（数据生命周期，数据保留策略：周期性删除/极限存储/压缩/HDFS）；

 

图解：

 

更多分享参见附件