基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建

Hadoop生态 sparksteaming 实时流处理

随着公司业务发展，对大数据的获取和实时处理的要求就会越来越高，日志处理、用户行为分析、场景业务分析等等，传统的写日志方式根本满足不了业务的实时处理需求，所以本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStreaming框架实时获取数据并清洗，将结果多维度的存储进HBase数据库。

2018-06-08 22:27
浏览 487
评论(0)
分类:数据库

深度:Hadoop对Spark五大维度正面比拼！

Hadoop spark 对比大数据框架

每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你? 如果想批处理流量数据，并将其导入HDFS或使用Spark Streaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗? 为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性 ...

2018-06-05 19:23
浏览 617
评论(0)
分类:企业架构

CODING 代码托管架构升级之路

coding Java 架构

原文链接：blog.coding.net 说起架构的话，稍微有点写程序经验的人来说，都可以理解架构对于整个服务的重要性。架构最核心的三个点就是：稳定性、扩展性、性能。一个好的架构主要通过这三点来看。会不会宕机，你的服务会不会因为自身或者第三方的原因突然之间中断。可拓展性，当你的访问量增长的时候，你的服务能不能迅速的 Copy 出很多个副本出来以适应快速增长的业务。再一个就是比如说你要做电商啊秒杀啊之类的功能的时候，能不能扛得住这种压力。这就是评价一个架构好坏的三个基本点。我们可以想想一下，一个架构比较乱是什么样子。就好像一个机房管理员面前所有的线乱成一团。

2018-05-21 14:20
浏览 701
评论(0)
分类:企业架构

Dubbo从入门到实战视频教程

dubbo dubbo教程框架阿里巴巴工作

Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。这里整理了一套关于dubbo的视频教程分享给大家，包含了dubbo入门，dubbo&dubbox进阶、dubbo分布式项目实战等教学视频，领取方式请到文末查看。主要核心部件 Remoting: 网络通信框架，实现了 sync-over-async 和 request-response 消息机制.

2018-04-10 17:56
浏览 1097
评论(0)
分类:编程语言

关于学习大数据最受关注的五大问题

大数据学习大数据大数据从业

随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员，大数据就是最大的浪潮，借浪潮之势而为之。这里通过网上看到大家的疑问分析，这里整理了5个大家相对比较关心的问题。在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数据相关的人才却非常地有限，在未来若干年内都会是供不应求的状况。一、大数据是什么？怎么理解大数据？如果把数据比作地球上的水，单个数据就是一滴水，大数据就象地球上的海洋， ...

2018-04-09 17:31
浏览 526
评论(0)
分类:互联网

Redis从入门到高可用，分布式实践

Redis 分布式高可用数据

...

2018-04-04 16:35
浏览 673
评论(0)
分类:企业架构

嘿~ 这里有Oracle干货分享！

oracle sql Derby 数据挖掘 HBase

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的适应高吞吐量的数据库解决方案。视频课程包含：Oracle PL_SQL从入门到精通高级开发课程视频，《Oracle从入门到精通》，韩顺平 oracle，价值1.67万的Oracle视频课程，oracle安装包；目录 Oracle PL_SQL从入门到精通 ...

2018-04-01 11:09
浏览 761
评论(0)
分类:数据库

想学习Python和Python爬虫？满足你！

Python 爬虫学习网络爬虫学习Python

大家想必经常听到Python的大名，还有爬虫等一些相关技术也常常出现在各大网站新闻和帖子上。各位小伙伴想必有不少对Python语言和一些技术非常感兴趣，这里我给大家整理了一套Python学习视频和爬虫项目实战，大家都可以 ...

2018-03-24 16:15
浏览 673
评论(0)
分类:编程语言

spring boot入门与进阶教程

springboot 微服务 spring

SpringBoot入门、SpringBoot进阶、Spring Cloud微服务、Spring Ecosystem 微服务相关、Spring Boot 入门 IDEA 版本、Spring Boot集成Dubbo示例等。下载方式:翻阅到文章底部目录 00、SpringBoot入门 01、SpringBoot进阶 02、Spring Cloud微服务 03、Spring io New 04、Spring Ecosystem 微服务相关 06、Spring Boot 入门 IDEA 版本获取方式:

2018-03-24 16:13
浏览 563
评论(0)
分类:企业架构

机器学习基础教程整理分享

机器学习 Python AI

Python从入门到实战教程视频、AI干货资料包、python基础语法讲解、python之mysql教程、龙星计划_机器学习_课程视频、小甲鱼零基础入门Python87集、Python 编程实践教学视频全集附带源码配套电子书等等！这里给大家按照一定思路整理了全套机器学习基础教程视频，涵盖机器学习基础全部知识点。下载方式:翻阅到文章底部目录 AI干货资料包 Python从入门到实战教程视频 python基础语法讲解 python之mysql教程龙星计划_机器学习_课程视频

2018-03-21 16:03
浏览 1051
评论(0)
分类:数据库

MySQL DBA教程全套视频资料

数据库 MySQL MySQL实战

MySQL基础入门、MySQL多实例安装与企业应用场景、MySQL应用管理及进阶实战操作、MySQL乱码问题及字符集实战、MySQL备份-增量备份及数据恢复基础实战、MySQL主从复制原理及实战部署、MySQL主从复制企业级深入高级应用实战、MySQL备份与恢复实战案例及生产方案、MySQL服务日志详细介绍及增量恢复命令实践、MySQL常用引擎及优缺点-应用场景-调优详解、MySQL高可用工具heartbeat实战、MySQL高可用工具drbd实战、MySQL高可用综合实现实战、MySQL数据库优化思想与优化实战、MySQL业务变更流程与安全管理思想、老顽童MySql 目录 01-第一 ...