博客首页 → kafka

最新文章列表

调优Apache Kafka集群

　　使用默认的Kafka参数配置你就能够从零搭建起一个Kafka集群环境用于开发及测试之用，但默认配置通常都不匹配你的生产环境，因此必须要做某种程度的调优。毕竟不同的使用场景有着不同的使用需求和性能指标。而Kafka提供的各种参数就是为了优化这些需求和指标的。Kafka提供了很多配置供用户设置以确保搭建起来的Kafka环境是能够满足需求目标的，因此详细地去调研这些参数的含义以及针对不同参数值进行测 ...
kafka大数据调优 
yuqingshui 评论(0) 有430人浏览 2019-07-14 10:55

Kafka如何实现每秒上百万的超高并发写入？

Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。 页缓存技术 + 磁盘顺序写 首先 Kafka 每次接收到数据都会往磁盘上去写，如下图所示： 那么在这里我们不禁有一个疑问了，如果把数据基于磁 ...
kafka大数据架构 
yuqingshui 评论(0) 有470人浏览 2019-07-08 11:12

kafka producer性能调优

1. 介绍 原文来自linkedin的一篇PPTproducer-performance-tuning-for-apache-kafka。 2. 本文的一些前提 讨论的kafka版本为0.10.0 没有broker端的再压缩 消息都有8字节的时间戳介绍信息 3. 优化目标 给定一个要发送的数据集，在满足持久性、有序性的前提下优化以下两点： 吞吐量 延迟
kafka 
yuqingshui 评论(0) 有1841人浏览 2019-07-04 22:23

Kafka源码分析 Producer客户端

Kafka的Producer新客户端API实现(JAVA) 导读 本节从新的Producer API示例开始， Producer 生产者线程：异步发送消息，提供一个Callback；同步发送消息，则调用Future.get()会Block住直到结果返回。 1 2 3
大数据kafka消息队列源码 
yuqingshui 评论(0) 有436人浏览 2019-07-04 21:57

Kafka凭什么速度那么快？

本文来源 | www.cnblogs.com/binyue/p/10308754.html 作者 | 邴越   Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。   即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kaf ...
kafka 
壹佰案例 评论(0) 有432人浏览 2019-05-21 13:54

大规模使用 Apache Kafka 的20个最佳实践

 Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息，而且其数据聚合率接近1 Tbps。 可见，Kafka大幅简化了对于数据流的处理，因此它也获得了 ...
kafkaKafka 的20个最佳实践 
357029540 评论(0) 有626人浏览 2019-05-06 16:25

linux 日志kafka 写mongodb

  linux 日志kafka 写mongodb    1. 安装 java    jdk-8u151-linux-x64.tar.gz scp -r *.tar.gz zkkafka@10.156.50.36:/home/zkkafka/ scp -r *.tar.gz zkkafka@10.156.50.37:/home/zkkafka/ tar xf jdk-8 ...
linux日志zookeeperkafkamongodb 
knight_black_bob 评论(0) 有1204人浏览 2019-04-25 16:32

Kafka部署及使用(单节点/集群)

从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上 三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置 ...
kafkasinkzookeeperBrokerConsumer 
flylynne 评论(0) 有1922人浏览 2019-04-14 23:40

kafka 伪分布式集群搭建、排错

kafka 伪分布式集群搭建、排错 1.基于zookeeper集群 2.修改基本参数，启动即可   3.kafka、zookeeper关系（https://blog.csdn.net/u012635648/article/details/82498366）   ...
kafkakafka集群 
TableMiao 评论(0) 有921人浏览 2018-12-24 16:42

大数据日志传输之Kafka实战

大数据日志传输之Kafka实战 本套课程围绕Kafka架构详细讲解kafka的核心 架构组件,broker,consumer,producer,以及日志的分段存储,稀疏索引,副本平衡,重分区, 数据同步,Kafka的核心组控制器和消费者控制器等机制. 全面讲解java 最新版的api ,指定分区消费,流控制,手动commit,异步Callback,同步的按照Partition进行批量commi ...
kafka 
天台没有爱情 评论(0) 有1148人浏览 2018-12-14 16:24

Kafka多节点环境安装

4.3.1 安装多节点ZooKeeper集群 目前来说Kafka可以说是强依赖ZooKeeper的，因此生产环境中一个高可用、高可靠的ZooKeeper集群也必不可少的。ZooKeeper集群通常被称为一个ensemble。只要这个ensemble中的大多数节点存活，那么ZooKeeper集群就能正常提供服务。显然，既然是大多数，那么最好使用奇数个服务器，即2n+1个服务器，这样整个ZooKe ...
kafka分布式环境多节点部署 
拓子轩 评论(0) 有842人浏览 2018-11-25 16:10

Kafka伪分布式环境安装

     单节点的伪分布式环境是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成。   4.2.1 安装Java 从Oracle官网下载JDK，建议下载JDK8及以上版本，如： wget --no-check-certificate --no-cookie --header "Cookie:oraclelicense=accept-secureba ...
Kafka环境安装分布式消息 
拓子轩 评论(0) 有810人浏览 2018-11-25 16:05

Kafka的Consumer主要参数

3.2.2.1 bootstrap.servers 同生产者bootstrap.servers参数。   3.2.2.2 group.id 该参数指定的是consumer group的名字，它能够唯一标识一个consumer group。通常设置一个有业务意义的名字就可以了。   3.2.2.3 key.deserializer consumer代码从broker端获取的任何消息都 ...
Kafkaconsumer消息消费端 
拓子轩 评论(0) 有1637人浏览 2018-11-25 15:56

Kafka的Consumer构建

3.2.1.1 消息消费的demo代码 消息消费的demo代码如下： package com.tuozixuan.kafka.demo;   import java.util.Arrays; import java.util.Properties;  
Kafkaconsumer消息 
拓子轩 评论(0) 有1083人浏览 2018-11-25 15:52

Kafka的Producer主要参数

  1 bootstrap.severs   该参数指定一组host:post对，用于创建向Kafka broker服务器的连接，比如k1:9092,k2:9092,k3:9092。如果Kafka集群中机器数很多，那么只需要指定部分broker即可，不需要列出所有的机器。因为不管指定几台机器，producer都会通过该参数找到并发现集群中所有的broker。为该参数指定多台机器只是为了故障 ...
Kafkaproducer消息参数 
拓子轩 评论(0) 有1585人浏览 2018-11-17 16:48

Schema Registry

https://docs.confluent.io/current/schema-registry/docs/index.html#   什么是Schema Registry?    Schema Registry 主要用于管理Avro的Schema. Schema不断的演变，Schema Registry可以把它的版本变化管理起来。同时它提供了一个Restful API接口，你可以通过这 ...
AvroSchema RegistryKafka 
tomboxfan 评论(0) 有1220人浏览 2018-09-10 12:40

Kafka入门

  kafka下载：http://kafka.apache.org/downloads 解压下载下来的文件，bin目录下是常用命令，config目录下是配置文件。 kafka已经内置了一个zookeeper环境，可以 ...
kafka消息系统消息发布订阅分布式集群 
fly_ever 评论(0) 有1844人浏览 2018-08-15 00:24

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics