阅读更多
开源力量公开课第58期:Hadoop核心系统原理、生态系统介绍和实用场景解析

时间: 2014-05-27 20:00
直播地址:http://www.osforce.cn/openclass/79/show?fr=iteye
价格:线上免费 线下免费

开源力量公开课,每周二,晚八点,让我们一起向大牛们学习!

课程背景:

随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言,已经成为一项必备的技能,但是要用好大数据,除了工具本身之外,还包括运维、优化、分布式等方面的知识,形成了全新的挑战,其中对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。

课程目标:
了解Hadoop在国内的应用场景及Hadoop的未来。掌握Hdoop的分布式文件系统HDFS的原理、Hadoop的分布式计算MapReduce、Hadoop的Key-Value数据库Hbase、Hadoop的Key-Value数据库Hbase、Hadoop的生态系统介绍。

课程大纲:

大数据的概念
大数据的”4V”特性
传统海量数据的存储和计算解决方案
Hadoop的发展史
Hadoop的生态系统介绍
Hadoop在国内的应用场景
Hadoop的未来

Hdoop的分布式文件系统HDFS的原理
1)HDFS的架构
2)NameNode的功能
3)DataNode的功能
4)SNN的功能
5)HDFS的安全问题

Hadoop的分布式计算MapReduce
1)MapReduce的原理
2)MapReduce的架构
3)MapReduce的Mapper抽象类详解
4)Reducer抽象类详解

Hadoop的Key-Value数据库Hbase
1)Hbase的原理
2)Hbase的架构图
3)Hbase的数据模型
4)Hbase的使用场景介绍

Hadoop的生态系统介绍
1)FlumeNG介绍
2)Sqoop介绍
3)Hive介绍
4)Pig的介绍
5)Oozie介绍

讲师介绍:

刘刚:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

刘刚曾就职于国内最大CDN厂商蓝汛、阿里等知名IT企业,担任Hadoop高级工程师、云计算架构师,目前就职于高德软件的云平台架构中心负责海量数据云平台架构的搭建。同时兼任北京大学软件所负责的“核高基”8-6课题,以及高性能企业级应用服务器的开发(PKUAS2010),《Hadoop应用开发技术详解》的作者,开源框架EasyHDFSWeb和EasyHDFSControl的作者。在我国Hadoop技术圈内非常活跃,经常在国内外各种大型技术研讨会和技术峰会和沙龙上做技术演讲与经验分享,深受欢迎。
5
0
评论 共 5 条 请登录后发表评论
5 楼 weijunbao 2014-05-28 12:23
[/size]ze=xx-large]122[align=center][/align]
4 楼 ljz0898 2014-05-26 11:24
开源框架EasyHDFSWeb和EasyHDFSControl的作者??怎么网上找不到这两个开源项目的源码啊???求提供
3 楼 pi88dian88 2014-05-26 09:34
2 楼 dongbiying 2014-05-23 17:04
1 楼 fat1 2014-05-23 16:04
我听了好几期了,不错

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 一节课轻松通关 Spark

    三节课轻松通关 Spark (一)前言第01讲: MapReduce:计算框架和编程模型第02讲:Hadoop:集群的操作系统第03讲:如何设计与实现统一资源管理与调度系统第04讲:解析 Spark 数据处理与分析场景第05讲:如何选择 ...

  • 左耳听风——笔记二:程序员练级攻略

    文章目录 入门篇 操作系统入门 Linux 编程技能 专业基础篇 编程语言 Java 语言 学习 Go 语言 理论学科 数据结构和算法 其它理论基础知识 系统知识 C10K 问题 实践项目 软件设计篇 编程范式 一些软件设计的相关原则 ...

  • 机器学习相关资料推荐 http://blog.csdn.net/jiandanjinxin/article/details/51130271

    机器学习数据挖掘免费电子书 斯坦福《自然语言处理》课程视频 介绍:ACL候任主席、斯坦福大学计算机系Chris Manning教授的《自然语言处理》课程所有视频已经可以在斯坦福公开课网站上观看了(如Chrome不行,可用IE...

  • 机器学习,深度学习的资料和工具库大全

    介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工

  • AI 工程师职业指南

    这方面基础理论的学习,除了 Andrew Ng 的著名课程以外,《 Learning from Data 》这门公开课也非常值得大家学习,这门课没有任何背景要求,讲授的内 容是在所有模型之下的基础中的基础,非常地靠近机器学习的内核...

  • 栋的月结 | 第二回合(定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇)[含泪总结.. 憋泪分享!]

    以下是我在 2020 年 2 月 1 日至 29 日的所见、所闻、所学和所悟。 现在,我把它们安利给你们。   定期更新 原创专栏: 一文搞定 Linux 管理员手册:既简单又深刻 官方授权: Baeldung Java 周评 符合...

  • Java架构师,大数据架构师,高并发设计模式,机器学习知识点分享

    第一章:java精品课程目录大全 1、亿级流量电商详情页系统的大型高并发与高可用缓存架构实战 1课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西?32分钟 2基于大型电商网站中的商品详情页系统贯穿的...

  • 期末考试题库3

    311.小明在一家IT教育公司做运营工作,经常听到同学聊到MaxCompute核心概念,但又不知其意,下列哪些选项( ABCDE )能帮助小明更好的了解MaxCompute。 A:Project(项目)项目是MaxCompute的基本组织单元,类似于...

  • 《云计算与大数据技术应用》

    云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的...

  • 机器学习及深度学习相关资料汇总

    Github上同学总结的机器学习和deeplearning方面的很全的资料: 原文地址:ty4z2008/Qix 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM...

  • 机器学习(Machine Learning)&深度学习(Deep Learning)资料

    机器学习(Machine Learning)&深度学习(Deep ...介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Ne...

  • go技术文章梳理(2018)

    Gin和React构建Web应用程序 https://hakaselogs.me/2018-04-20/building-a-web-app-with-go-gin-and-react/ 5. 机器学习的实用方法 https://github.com/GokuMohandas/practicalAI gocn_news_2018-12-12 1. Go分布式...

  • python从入门到精通 清华大学出版社-清华大学出版社 python

    JetBrains大中华区市场部经理赵磊作序!超过300个实战案例,10万行源代码,22个综合实战项目,... Python解析库 ? Python数据存储 ? Python异步数据抓取 ? Python移动App数据抓取 ? Python可见即可爬 ? Python Scra...

  • 关于Mongodb的全面总结

    MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚买了《MongoDB TheDefinitive Guide》的影印版,还没来得及看,本文原作者将其书中一些关于MongoDB内部现实方面的一些知识介绍...

  • MongoDB 全面总结

    ...    MongoDB的内部构造《MongoDB The Definitive Guide》 ...MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚买了《MongoDB TheDefinitive Guide》的影印版,还...

  • 级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均

    级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略:电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿,级联H桥svg无功补偿statcom,采用三层控制策略。 (1)第一层采用电压电流双闭环pi控制,电压电流正负序分离,电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定,电流内环采用前馈解耦控制; (2)第二层相间电压均衡控制,注入零序电压,控制通过注入零序电压维持相间电压平衡; (3)第三层相内电压均衡控制,使其所有子模块吸收的有功功率与其损耗补,从而保证所有H桥子模块直流侧电压值等于给定值。 有参考资料。 639,核心关键词: 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制 以上十个关键词用分号分隔的格式为:不

  • GTX 1080 PCB图纸

    GTX 1080 PCB图纸,内含图纸查看软件

  • 深度优化与应用:提升DeepSeek润色指令的有效性和灵活性指南

    内容概要:本文档详细介绍了利用 DeepSeek 进行文本润色和问答交互时提高效果的方法和技巧,涵盖了从明确需求、提供适当上下文到尝试开放式问题以及多轮对话的十个要点。每一部分内容都提供了具体的示范案例,如指定回答格式、分步骤提问等具体实例,旨在指导用户更好地理解和运用 DeepSeek 提升工作效率和交流质量。同时文中还强调了根据不同应用场景调整提示词语气和风格的重要性和方法。 适用人群:适用于希望通过优化提问技巧以获得高质量反馈的企业员工、科研人员以及一般公众。 使用场景及目标:本文针对所有期望提高 DeepSeek 使用效率的人群,帮助他们在日常工作中快速获取精准的答案或信息,特别是在撰写报告、研究材料准备和技术咨询等方面。此外还鼓励用户通过不断尝试不同形式的问题表述来进行有效沟通。 其他说明:该文档不仅关注实际操作指引,同样重视用户思维模式转变——由简单索取答案向引导 AI 辅助创造性解决问题的方向发展。

  • 基于FPGA与W5500实现的TCP网络通信测试平台开发-Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivad

    基于FPGA与W5500实现的TCP网络通信测试平台开发——Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivado 2019软件的扩展开发,基于FPGA和W5500的TCP网络通信 测试平台 zynq扩展口开发 软件平台 vivado2019.2,纯Verilog可移植 测试环境 压力测试 cmd命令下ping电脑ip,同时采用上位机进行10ms发包回环测试,不丢包(内部数据回环,需要时间处理) 目前实现单socket功能,多路可支持 ,基于FPGA; W5500; TCP网络通信; Zynq扩展口开发; 纯Verilog可移植; 测试平台; 压力测试; 10ms发包回环测试; 单socket功能; 多路支持。,基于FPGA与W5500的Zynq扩展口TCP通信测试:可移植Verilog实现的高效网络通信

  • Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储,报表生成与打印一体化解决方案 ,Labview液压比例阀

    Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储,报表生成与打印一体化解决方案。,Labview液压比例阀伺服阀试验台多功能程序:PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警管理及实验自动化,labview液压比例阀伺服阀试验台程序:功能包括,同PLC通讯程序,液压动画,手动控制及调试,传感器标定,报警设置及报警记录,自动实验,数据处理曲线处理,数据库存储及查询,报表自动生成及打印,扫码枪扫码及信号录入等~ ,核心关键词:PLC通讯; 液压动画; 手动控制及调试; 传感器标定; 报警设置及记录; 自动实验; 数据处理及曲线处理; 数据库存储及查询; 报表生成及打印; 扫码枪扫码。,Labview驱动的智能液压阀测试系统:多功能控制与数据处理

Global site tag (gtag.js) - Google Analytics