博客首页 → kafka

最新文章列表

RocketMQ与Kafka对比 【转】

转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 引用淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，K ...
中间件kafkaRocketMQ 
yjsmask 评论(0) 有443人浏览 2017-05-08 16:41

JEESZ分布式系统环境安装

 1.环境准备    1.开发工具： Eclipse IDE（建议使用高一点的版本）    2.JDK版本：JDK1.7    3.项目管理： Maven3.1.1 2.安装步骤   1.安装jdk1.7并配置环境变量（相信大家都会做，这里不再做重复的说明）    2.安装maven：maven安装过程就是解压缩的过程（我已经帮大家解压了, 目录：E:\myprj\jeesz-mave ...
spring mvc+my batisdubbo+zookeeperkafkarestful redis分布式缓存 
IT使命 评论(0) 有32人浏览 2017-04-28 14:51

基于redis分布式缓存实现

第一：Redis 是什么？   Redis是基于内存、可持久化的日志型、Key-Value数据库 高性能存储系统，并提供多种语言的API.     第二：出现背景   数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率 性能需求, 随着读操作的量的上升需要解决，经历的过程有: 数据库读写分离(M/S)–>数据库使用多个Sl
spring mvc+my batisdubbo+zookeeperkafkarestful redis分布式缓存javaee 
IT使命 评论(0) 有18人浏览 2017-04-28 14:41

JEESZ分布式框架--单点登录集成方案

JEESZ分布式框架单点登录集成方案第一节：单点登录简介第一步：了解单点登录SSO主要特点是: SSO应用之间使用Web协议(如HTTPS) ，并且只有一个登录入口.S ...
spring mvc+my batisdubbo+zookeeperkafkarestful redis分布式缓存javaee 
IT使命 评论(0) 有22人浏览 2017-04-28 14:34

kafka 常用命令

---查看生成和消费队列的消息数量 kafka-run-class.bat kafka.tools.ConsumerOffsetChecker --topic test --zookeeper localhost:2181 --group  test1 格式：kafka-run-class.bat kafka.tools.ConsumerOffsetChecker --topic 标题 --zook ...
kafka 
gjp014 评论(0) 有1366人浏览 2017-04-18 15:36

kafka收发消息demo

使用原生态方式发送、接受消息 pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.1.1</version> </dep ...
kafka 
wsdtq123 评论(0) 有1054人浏览 2017-03-14 14:40

jeesz分布式架构-FastDFS安装、配置、部署（一）

声明：对于分布式的一些技术点在网上都可以查到，这边对于一些基本的操作做了些相关的总结，并作为分布式框架技术的支持文档，希望可以帮助到大家 FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站 FastDFS有两个角色：跟踪服务(tracker)和存储服务( ...
fastdfskafkadubbo+zookeeper分布式jeesz 
2042849237 评论(0) 有9人浏览 2017-02-23 17:15

jeesz企业分布式架构-kafka集群安装

1. 在根目录创建kafka文件夹（service1、service2、service3都创建） [root@localhost /]# mkdir kafka   2.通过Xshell上传文件到service1服务器：上传kafka_2.9.2-0.8.1.1.tgz到/software文件夹 3.远程copy将service1下的/software/kafka_2.9.2-0.8.1 ...
kafkazookeeperdubbo分布式消息中间件springmvc+mybatis 
2042849237 评论(0) 有11人浏览 2017-02-23 17:09

JEESZ-kafka消息服务平台实现

JEESZ的消息服务平台已经抛弃了之前的ActiveMQ，改用高吞吐量比较大的Kafka分布式消息中间件方案  JEESZ-kafka消息平台使用spring+kafka的集成方案，详情如下： 1. 使用最高版本2.1.0.RELEASE集成jar包：spring-integration-kafka 2. Zookeeper、Kafka分布式集群使用init.properties配置化方案 ...
kafkadubbo zookeeperspringmvc+mybatisredis 
2042849237 评论(0) 有12人浏览 2017-02-17 17:13

关于SparkStreaming的checkpoint的弊端

框架版本 spark2.1.0 kafka0.9.0.0 当使用sparkstreaming处理流式数据的时候，它的数据源搭档大部分都是Kafka，尤其是在互联网公司颇为常见。 当他们集成的时候我们需要重点考虑就是如果程序发生故障，或者升级重启，或者集群宕机，它究竟能否做到数据不丢不重呢？ 也就是通常我们所说的高可靠和稳定性，通常框架里面都带有不同层次的消息保证机制，一般来说有三种就是： ...
sparkstreamingkafka 
qindongliang1922 评论(0) 有3264人浏览 2017-02-11 17:59

如何收集项目日志统一发送到kafka中？

上一篇（http://qindongliang.iteye.com/blog/2354381 ）写了收集sparkstreaming的日志进入kafka便于后续收集到es中快速统计分析，今天就再写一篇如何在普通应用程序实时收集日志，上一篇写的毕竟是分布式环境下的操作，有一定的特殊性，如MapReduce，Spark运行的日志和普通项目的日志是不太一样的。 所谓的普通程序就是web项目的或者非we ...
kafka日志收集 
qindongliang1922 评论(0) 有2800人浏览 2017-02-07 19:07

如何收集SparkSteaming运行日志实时进入kafka中

用过sparkstreaming的人都知道，当使用sparkstreaming on yarn模式的时候，如果我们想查看系统运行的log，是没法直接看的，就算能看也只是一部分。 这里的log分： （1）spark本身运行的log （2）代码里面业务产生的log spark on yarn模式，如果你的hadoop集群有100台，那么意味着你的sparkstreaming的log有可能 ...
sparksteamingkafka 
qindongliang1922 评论(0) 有4758人浏览 2017-01-21 18:22

SparkStreamingj集成Kafka的几个重要参数

sparkstreaming集成kafka时的maven的pom依赖： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2. ...
sparkkafkasparkstreming 
qindongliang1922 评论(0) 有4178人浏览 2017-01-20 09:45

flume-kafka 实例 详细

  flume 下载：http://download.csdn.net/download/knight_black_bob/9454497   spring-kafka 接受消息实例   http://knight-black-bob.iteye.com/blog/2344424   flume kafka 安装 详细 http://knight-black-bob.iteye.com ...
flumekafka实例详细 
knight_black_bob 评论(0) 有1688人浏览 2017-01-12 15:49

kafka的文件格式和副本的Leader选举

一、kafka的文件存储     在kafka中,一个topic可以有多个分区,分区在物理上是单独存放的,为了数据安全,一个分区可以有多个副本,而每个分区都有单独的leader来负责读写请求。我们可以通过命令  bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 3 - ...
kafka文件格式leader选举副本 
农村外出务工男JAVA 评论(1) 有3197人浏览 2017-01-09 16:39

Kafka相关资料

相关资料链接： Windows操作系统上安装运行Kafka ： http://geek.csdn.net/news/detail/52976 创建多个集群：http://www.linuxidc.com/Linux/2014-07/104470p2.htm Kafka中文教程 ： http://orchome.com/kafka/index
kafka 
slnddd 评论(0) 有575人浏览 2017-01-05 17:51

使用storm trident消费kafka消息

一、前言    storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。    ...
stormtridentkafka 
农村外出务工男JAVA 评论(0) 有6614人浏览 2017-01-05 08:10

最近博客热门TAG

Java(141746) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics