Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)
适合人群:中级
课时数量:42课时
用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop
涉及项目:电商业日志流量分析项目
咨询qq:1840215592
课程大纲及内容简介:
第一章(9讲)
·cloudera manager 介绍和安装
·chd4.1 介绍
·chd4.1 安装
·chd4.1 集群环境搭建、相关组件安装
·cloudera manager管理集群
·cloudera manager下集群高级管理
第二章(约10讲)
·Hive原理
·Hive元数据管理
·Hive数据表和数据存储
·Hive的Java扩展开发
·Hive UDF和UDAF开发
·Hive JDBC连接
·Hive常见场景,实战练习
·Hive -f 传参框架开发
由于hive自带命令hive -f无法传参数,导致hive跨文件的使用基本瘫痪,
无法大量推广。该框架可以任意传参,让hive企业级应用开发更高效和简洁。
第三章(约5讲)
·Sqoop原理
·Sqoop使用详解
·用Sqoop实现HDFS/Hive与关系数据库的数据交互
·用Sqoop实现HBase与关系数据库的数据交互
第四章(约8讲)
·Hbase原理
·Hbase系统架构
·Hbase存储机制
·Hbase基本使用
·Hbase表设计思路和方案
·常见应用场景
·和Hive交互
·Java访问、WEB开发
第五章 项目实战(约8讲)
电商业日志流量分析项目,互联网企业对海量日志的分析是Hadoop应用的一个重要用途,也是对网站流量、客户行为分析的重要途径。该项目整合Hive、Hbase、Sqoop等常用组件,涉及从后台处理到前台呈现的每一个技术环节。
包括:
·业务需求介绍
·数据建模
·后台算法设计
·后台业务处理
·前台WEB展示等
...
课程详细大纲列表:
第一讲:Cloudera Manager介绍与安装
第二讲:Cloudera Manager详解
第三讲:CDH4.1介绍与环境搭建一
第四讲:CDH4.1环境搭建二
第五讲:Hadoop工作原理、调度策略
第六讲:Hadoop开发作业形式
第七讲:CM下CDH4.1集群高级管理一
第八讲:CM下CDH4.1集群高级管理二
第九讲:小结及Hadoop工作原理
第十讲:Hive工作原理和基本使用
第十一讲:Hive元数据管理和语法详解
第十二讲:Hive表和存储结构
第十三讲:运维案例分享_单机存储均衡和坏block处理
第十四讲:Hive QL 一
第十五讲:Hive QL 二
第十六讲:UDF和UDAF开发
第十七讲:UDAF开发和JDBC访问
第十八讲:Hive优化规则总结
第十九讲:Hive数据压缩技术
第二十讲:Hive-f封装支持传参一
第二十一讲:Hive-f封装支持传参二
第二十二讲:Sqoop使用一
第二十三讲:Sqoop使用二
第二十四讲:Sqoop作业调度
第二十五讲:HBase体系结构
第二十六讲:HBase 表设计案例
第二十七讲:HBase数据加载(Sqoop和Java)
第二十八讲:HBase存储机制
第二十九讲:Java操作HBase一
第三十讲:Java操作HBase二
第三十一讲:Java操作HBase三
第三十二讲:hbase与Hive接口及项目介绍
第三十三讲:订单在线实时查询_Schema设计和HBase数据加载
第三十四讲:订单在线实时查询_DAO层实现
第三十五讲:订单在线实时查询_DAO层和前台实现
第三十六讲:电商日志流量分析_项目介绍
第三十七讲:电商日志流量分析_业务实现一
第三十八讲:电商日志流量分析_业务实现二
第三十九讲:电商日志流量分析_业务实现三
第四十讲:电商日志流量分析_业务实现四
相关推荐
根据给定的文件信息,以下是对Cloudera Hadoop安装指南中的关键知识点的详细解析。 ### 关于Cloudera Hadoop安装指南 Cloudera Hadoop安装指南是为那些希望在自己的环境中部署并运行Cloudera Hadoop软件的用户提供...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
根据提供的文件信息,本文将详细介绍Cloudera Hadoop开发员培训教材的核心知识点。这些内容覆盖了Hadoop平台开发员在学习和工作中需要掌握的主要技能和理论基础。 首先,Hadoop平台是分布式存储和处理大数据的一种...
作为业界最领先的企业级数据平台软件,Cloudera企业版除了包含业界最流行的基于开源Hadoop及其生态组件构建的CDH核心,还包含了大量为支撑企业级业务的高级管理特性。 借助于Cloudera企业版的整体解决方案,企业可以...
Cloudera是一家著名的从事大数据服务的公司,提供包括Hadoop、Spark在内的大数据平台解决方案。Hadoop是一个开源的分布式存储和计算系统,而Spark则是一个大数据处理框架,它们在大数据处理领域都占据着举足轻重的...
出此书的目的就是为了帮助新人快速进入大数据行业,市面上有很多类似的书籍都是重理论少实践,特别缺少一线企业实践经验的传授,而这个手册会让您少走弯路、快速入门...里面包含有hadoop生态圈介绍以及机器学习算法介绍
Cloudera Manager大数据平台视频教程,25讲,附课件+代码,百度网盘下载
Cloudera hadoop官方文档 Cloudera Enterprise 5.11.x Documentation https://www.cloudera.com/documentation/enterprise/latest.html
在本文中,我们将深入探讨如何在CentOS 6.2环境下安装Cloudera's Hadoop Distribution (CDH) 4.3版本。CDH是Cloudera公司提供的一款开源大数据处理平台,它集成了Hadoop生态系统中的多个组件,如Hadoop、Zookeeper和...
Cloudera Manager大数据平台视频教程 特点如下: 统一化的可视化界面 自动部署和配置,大数据各类组件安装、调优极其便捷 零停机维护(免费版本不具有弹性升级) 多用户管理(权限控制,支持ldap) 稳定性极好(部分...
cloudera连接自定义MySQL数据库,cloudera集成hadoop以及所有组件
cdh5-vagrant, 准备使用,手动调整 Cloudera Hadoop发行版 5已经置备集群 Hadoop发行版 5的 Vagrant脚本这个脚本提供了一个完整的自动方式来在完全分布式的node 中安装 Cloudera,无需用户干预。 因为我在互联网上...
hadoop入门学习教程 之10.Hive工作原理和基本使用,出自《Cloudera Hadoop 4 实战课程》,hadoop入门学习教程用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop, Hadoop培训视频教程涉及项目:电商业日志流量...
Cloudera Manager 4 二. 下载地址 4 三. 安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭...
hadoop海量数据处理平台,大数据时代的到来,海量数据已成为下一步的发展趋势,所以我们要把数据做好,分析好!
本指南主要介绍了戴尔(Dell)与Cloudera联合提供的Apache Hadoop部署解决方案,旨在帮助用户更好地理解和实施Hadoop集群部署。该文档覆盖了从硬件配置到软件安装、再到系统监控与报警等全方位的内容。以下是针对该...
Centos7 安装Cloudera。本文适用于安装最新版本的Cloudera Manger,在1.2 节中请选择最近版本的 Cloudera manager相关rpm安装包下载,并在后面的步骤中使用对应的rpm安装。否则在3.3节中安装 cm服务到40%时会卡住不...