阅读更多
写道
数据获取是大数据分析的基本功,那么到底数据该如何获取?本次直播将通过4个课时,让你学会如何获取数据,获取的数据怎么进行分析,以及最终该如何呈现。

CSDN联合大数据实战专家徐培成老师共同出品,意在通过项目实例,让大家快速切入,重点讲解内容,让大家真正掌握。

直播时间:4月12日开始起的每周三 晚上20:00开始,连续4周。

直播平台:CSDN学院 下方微信群!

主讲嘉宾:徐培成
IT十八掌创始人兼首席大数据开发技术金牌讲师,曾任驿统金(上海)网络技术有限公司总经理,主导与光大银行总行重点合作的阳光驿站金融结算系统的研发,并指导团队在阿里公有云上规划、部署Hadoop大数据集群,以对用户的金融交易日志进行存储和分析,完成从传统RDMBS数据到大数据集群的移植和升级。                                                                                                                                                        

 

 

第一周:整体架构分析

 

分析内容(2017.04.12)

1.hadoop体系架构与ha配置方案

2.hbase体系架构与ha配置方案

3.flume实时收集架构方案

4.SSM实现前端web实现以及与后端HBase的交互架构方案

5.hive+oozie实现的周期任务调度

6.Spark streaming实现窗口化敏感词实时监控方案

 

第二周hbase中callLogs表的设计与实现

 

分享内容(2017.04.19 )

1. 通话信息的内容分析与常用场景分析以及对rowkey的设计与实现

2. 重点讲解盐析的原理与热点问题的解决。rowkey的设计原则与实战中技巧

 

第三周协处理原理与应用实战讲解

 

分享内容(2017.04.26

1. 被叫通话记录的设计思想讲解,及通过协处理器方式实现callog日志主叫记录被主换位与同步写入

2. 在callog是表中数据的存储序列与双向查询方方式的一致性透明结果处理

 

第四周Hadoop以及HBase的HA集群配置与实战

 

分享内容(2017.05.03 

1.使用solr实现海量数据精准查询

2.使用hbase实现海量数据快速查询

3.项目总结

 

本课程适合哪些用户? 写道
1.有java编程经验
2.对大数据相关技术有基础认知
3.了解hbase架构和工作原理,熟悉编程API

 

扫一扫入群

 

 

群满加我,拉您入群

 

备注大数据,否则无法拉入群!切记切记)

备注大数据,否则无法拉入群!切记切记)

0
0
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 带你彻底了解浏览器缓存!

    带你彻底了解浏览器缓存!

  • Windows下的cache-浏览器缓存

    文章目录cache解释操作一操作二学习相关网站总结 cache 解释 cache 即缓存,是 IT 领域一个重要的技术。我们此处提到的 cache 主要是浏览器缓存。 根据 HTTP 报文的缓存标识进行的浏览器缓存主要是用于性能优化中。简单高效的工作方式可以缩短网页请求资源的距离,减少延迟,同时缓存文件可以重复使用,因此对于节约资源,降低网络负荷也有一定的作用。 操作一 打开 Chrome 或 Firefox 浏览器,访问 https://qige.io ,接下来敲 F12 键 或 Ctrl + Shift

  • Cache浏览器

    对Cache进行浏览并管理。例子 //http://aspalliance.com/aldotnet/examples/cacheviewer.aspx//http://scottwater.comprivate void Page_Load(object sender, System.EventArgs e){ if(!IsPostBack) {  hlRefresh.NavigateUrl =

  • 浏览器缓存cache

    浏览器缓存cache一、简介二、操作四、参考资料 一、简介 ✍ cache 即缓存,是 IT 领域一个重要的技术。我们此处提到的 cache 主要是浏览器缓存。 浏览器缓存是根据 HTTP 报文的缓存标识进行的,是性能优化中简单高效的一种优化方式了。一个优秀的缓存策略可以缩短网页请求资源的距离,减少延迟,并且由于缓存文件可以重复利用,还可以减少带宽,降低网络负荷。 二、操作 2.1 打开 Chrome 或 Firefox 浏览器,访问 https://qige.io ,接下来敲 F12 键 或 Ctrl +

  • cache 浏览器中的几个参数

    Pragma: no-cache:跟Cache-Control: no-cache相同, Pragma: no-cache兼容http 1.0 , Cache-Control: no-cache是http 1.1。 Pragma: no-cache可以应用到http 1.0 和http 1.1,而Cache-Control: no-cache只能应用于http 1.1. 注意如

  • 磁盘存储容量计算

    磁盘上的数据都存放于磁道上。磁道就是磁盘上的一组同心圆,其宽度与磁头的宽度相同。为了避免减少干扰,磁道与磁道之间要保持一定的距离(inter-track gap),沿磁盘半径方向,单位长度内磁道的数目称之为道密度(道/英寸,TPI),最外层为0道。 沿磁道方向,单位长度内存储二进制信息的个数叫做位密度。为了简化电路设计,每个磁道存储的位数都是相同的,所以其位密度也随着从外到内而增...

  • 浏览器缓存原理总结

    一、浏览器缓存基本认识分为强缓存和协商缓存1、浏览器在加载资源时,先根据这个资源的一些http header判断它是否命中强缓存,强缓存如果命中,浏览器直接从自己的缓存中...

  • 深入理解浏览器的缓存机制

    一、前言缓存可以说是性能优化中简单高效的一种优化方式了。一个优秀的缓存策略可以缩短网页请求资源的距离,减少延迟,并且由于缓存文件可以重复利用,还可以减少带宽,降低网络负荷。对于一个数据请求来说,可以分为发起网络请求、后端处理、浏览器响应三个步骤。浏览器缓存可以帮助我们在第一和第三步骤中优化性能。比如说直接使用缓存而不发起请求,或者发起了请求但后端存储的数据和前端一致,那么就没有必要再将数据回传回来...

  • 使用jQuery判断一个数组中是否包含某个值

    1、当需要在前端为数组去重的时候,可以使用jQuery的inArray方法来判断。 2、具体操作如下: var array = ['a','ab','abc']; $.inArray('abc',array);下标从0开始,若结果为-1则表示此数组中不存在这个值。

  • cache(缓存)浅析

    cache 缓存

  • 使用浏览器Cache和http状态码304实现的客户端缓存

    Cache就是浏览器的缓存技术,大家肯定不陌生,浏览器在每次加载一个文件的时候,都要去自己的缓存文件夹里面去查找是否存在可用缓存,如果存在,则不再去服务器下载而直接使用本地内容,这是一个很好的节省服务器性能和流量的方式,在网站不做任何设置的情况下,浏览器会根据用户的设置来确定是否使用缓存,可见浏览器的“Internet选项”的“浏览历史纪录”的“设置”部分。  通常来讲,Cache设置有两种方

  • 操作系统 — 了解CPU cache

    CPU cacheCache一词源自法语,其原意为"藏匿处,隐藏的地方". Cache被应用于计算机科学之后,专指CPU与主内存之间的存储器高速缓冲器,Cache的出现是为了缓解CPU的存储需求与主内存的存取性能之间越来越大的差距.现代CPU的Cache都是集成在片内的,越靠近CPU流水线的Cache由于需要极其快速的存取速度,只能保持越小的容量,并且单位容量的成本越高.因此,为了进一步缓解需求与...

  • 深入理解Cache

    存储器是分层次的,离CPU越近的存储器,速度越快,每字节的成本越高,同时容量也因此越小。寄存器速度最快,离CPU最近,成本最高,所以个数容量有限,其次是高速缓存(缓存也是分级,有L1,L2等缓存),再次是主存(普通内存),再次是本地磁盘。                          寄存器的速度最快,可以在一个时钟周期内访问,其次是高速缓存,可以在几个时钟周期内访问,普通内存可以在几十个或几...

  • 浏览器的缓存机制cache-control

    在web网站的开发过程中,浏览器缓存机制是一个比较重要的话题,了解这方面有助于开发以及网站性能的提高. 浏览器缓存分类 1.强缓存: 指浏览器直接从浏览器缓存中读取资源,不请求服务器,状态码显示200,并且size显示from disk cache或from memory cache; 2.协商缓存 指浏览器向服务器发送请求,并且根据request headers中携带的数据判断是否需要从缓存...

  • 对于浏览器cache理解

    今天看了coolshell.cn/articles/6470.html 这篇文章   其中有介绍前端的优化,其中包括将多个css或js文件写成一个,这样可以减少客户端浏览器的tcp连接请求。   用firfox的内置功能(右键点击查看详情),查看了下连接请求,发现现在12306确实有50多个请求。   从请求列表中可以发现先发送get请求主页,然后浏览器分别请求js或css文件。   浏览

  • 浏览器查看cache

    浏览器cache查看

  • 第一课,ARM芯片的时钟体系

    注:以下内容学习于韦东山老师arm裸机第一期视频教程    一. 2440时钟简介        1.1 2440是一个SOC(system on chip)系统,不仅有很多CPU,还有很多外设,在2440芯片手册有系统框架图如下:                            2440框架图中,不仅有CPU,而且有很多外设,其中外设分为两部分,一部分是AHB总线,一部分是APB总线   ...

  • 磁盘容量的计算公式

    公式: 有效储存区域=(外直径-内直径)÷2 磁道数= 圆柱面数量=有效储存区域×磁道密度 总磁道数= 记录面数×磁道密度×有效储存区域 每磁道的信息量=内层位密度×内层周长 面信息量=磁道数×每磁道信息量 非格式化盘组总容量=面信息量×面数 格式化容量=总磁道数×每道扇区数×扇区容量 平均数据传输速率=最内圈直径×3.14×位密度×盘片转速 平均等待时间 eg: 如...

Global site tag (gtag.js) - Google Analytics