`

kafka生成者实例

阅读更多
1. 配置文件 producer.properties

#kafka broker list
metadata.broker.list=master:9092,slave1:9092,slave2:9092,slave3:9092
#异步
producer.type=sync
#压缩方式
compression.codec=0
#序列化
serializer.class=kafka.serializer.StringEncoder
#batch.num.messages=100

2.生产者代码

import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
/**
 * 生产者
 */
public class TestProducer {
 public static void main(String[] args) throws FileNotFoundException, IOException, InterruptedException {
  /**
   * 1、读取配置文件
   */
  Properties properties = new Properties();
  //properties.load(new FileInputStream(new File("producer.properties")));
  properties.load(TestProducer.class.getClassLoader().getResourceAsStream("producer.properties"));
  //2、传入配置文件,创建配置
  ProducerConfig config = new ProducerConfig(properties);
  //3、通过配置文件,创建生产者
  Producer<String, String> producer = new Producer<String, String>(config);
  for (int i = 0; i < 50; i++) {
   //4、创建消息,传入topic和消息实体
   KeyedMessage<String, String> km = new KeyedMessage<String, String>("test-topic","this is a msg"+i);
   //5、发送消息
   producer.send(km);
   Thread.sleep(300);
  }
 
 }
}

分享到:
评论

相关推荐

    kafka生产者消费者实例

    **生产者** 在 Kafka 中扮演着数据生成者的角色。生产者负责将数据(消息)发送到特定的主题(Topic)。Kafka 提供了多种方式来配置生产者的行为,例如批处理大小、发送策略(同步或异步)和重试机制。生产者API允许...

    kafka实例 消费者生产者

    **生产者**是负责生成数据并发送到Kafka集群的应用程序。在Kafka中,生产者可以将消息批量发送到一个或多个主题,以提高效率。生产者通过API与Kafka集群交互,选择消息的存储位置,并确保数据的顺序。 **消费者**则...

    kafka 生成消费dome

    "Kafka 生成消费dome"项目提供了创建和消费Kafka消息的基本示例。通过理解Kafka的核心概念,如主题、分区、生产者和消费者,以及如何使用生产者和消费者API,开发者可以轻松构建自己的数据处理系统。这个项目不仅...

    kafka 实例

    生产者可以是任何生成数据的应用程序,它们将数据写入Kafka的特定主题。生产者API允许开发者控制消息发送的方式,如批处理、同步或异步发送,以及消息的路由策略。 3. **消费者**: 消费者是Kafka中的接收者,它们从...

    kafka测试推送实例

    这通常涉及连接到Kafka集群,创建生产者实例,然后将消息封装成ProducerRecord对象并发送。 4. **消息构造**:测试消息可以根据需求定制,可以是简单的文本,也可以是结构化的JSON或XML数据。 5. **运行生产者**:...

    Kafka中生产者和消费者java实现

    在Kafka中,生产者负责生成消息并将其发布到主题(topics),而消费者则订阅这些主题并消费其中的消息。本篇文章将深入探讨如何在Java环境中使用IDEA,通过Maven构建工具来实现Kafka的生产者和消费者。 首先,我们...

    kafka生产数据工程

    它可能是整个数据生产流程的核心,包含了数据生成逻辑和Kafka生产者实例的封装。 总之,“Kafka生产数据工程”项目是一个涵盖了数据生成、序列化、发送以及异常处理等多个环节的完整流程,对于理解和实践大数据实时...

    kafka消息队列样例

    在"Kafka消息队列样例"中,生产者负责生成数据并将其发送到指定的主题。生产者可以决定如何分配消息到不同的分区,这可以通过自定义分区器实现。此外,Kafka生产者支持批量发送,以提高效率并降低网络I/O开销。 2. ...

    kafka_2.11-1.0.0 版本,java,spring连接实例程序

    - 创建Kafka消费者:同样,定义配置属性,如group.id、bootstrap servers,以及订阅的主题,然后创建`KafkaConsumer`实例。 - 发布和接收消息:使用生产者的`send()`方法发送消息,消费者通过循环调用`poll()`方法...

    扩展logback将日志输出到Kafka实例扩展源码

    标题中的“扩展logback将日志输出到Kafka实例扩展源码”指的是在Java应用程序中,使用logback作为日志框架,并通过自定义appender(输出模块)将日志信息发送到Apache Kafka的消息队列中。Logback是SLF4J(Simple ...

    conflent kafka net 依赖库.zip

    然后调用`Build()`方法生成实际的生产者实例。 2. 发送消息: 通过生产者实例的`ProduceAsync`或`Produce`方法,可以将消息发送到指定的主题。 3. 创建Kafka消费者: 同样,使用`ConsumerBuilder`类配置消费者,...

    Kafka .Net Framework4.0 版本

    使用Kafka .Net库,你可以创建生产者和消费者实例,它们是与Kafka集群交互的基本单元。生产者负责生成消息并将其发布到特定的主题,而消费者则订阅这些主题并处理接收到的消息。Kafka .Net支持同步和异步消息发送,...

    kafka java maven例子

    这个“kafka java maven例子”是针对初学者的一个很好的起点,旨在帮助理解如何使用Java和Maven来操作Kafka。下面将详细阐述这个实例中涉及的核心知识点。 1. **Apache Kafka**: Kafka是一个高吞吐量、分布式的发布...

    kafka_producer.rar

    “kafka_test1.0”可能是测试代码或者一个简单的示例应用,用来演示如何实例化生产者,创建消息并发送到Kafka。这个测试程序可能会包含一些硬编码的配置参数,如broker地址、主题名等,以及protobuf或avro消息的创建...

    kafka examples source code

    生产者负责生成消息并发送到主题,消费者则从主题中读取消息。主题是逻辑上的分类,而分区是物理上的存储单位,确保了数据的顺序性和一致性。 在"Kafka-examples-0.10.1.0-sources.jar"中,我们可以找到丰富的示例...

    kafka中文文档0.10.pdf

    Kafka引入了消费者组的概念,一个主题的消息只会分发给组内的一个消费者实例,从而既可以实现传统队列模式,也可以实现发布订阅模式。 在API方面,Kafka提供了生产者API和消费者API,允许生产者和消费者进行消息的...

    spring-kafka文档.zip

    2. ConsumerFactory与ProducerFactory:这两个工厂类用于创建Kafka消费者和生产者的实例,它们可以根据配置动态地生成连接到Kafka集群的客户端。 3. Container配置:MessageListenerContainer是Spring Kafka处理...

    kafka-starter-app-maven:Kafka生产者,消费者和消费者群体入门

    在Java中,我们使用`org.apache.kafka.clients.consumer.KafkaConsumer`类创建消费者实例。消费者负责反序列化消息,并通过组ID进行分组,以便于数据的并行处理。消费者可以使用逐条消费或者批量消费的方式处理消息...

    storm集成kafka插demo.zip

    【标题】"storm集成kafka插demo.zip"指的是一个演示如何将Apache Storm与Apache Kafka集成的实例项目。这个压缩包包含了一个示例,用于展示如何在Storm拓扑中消费和处理Kafka的消息。 【描述】"storm集成kafka插件...

    集成开发 Kafka 权威指南.. 完整版

    - **创建生产者实例**:使用 Kafka 的生产者 API 创建生产者对象,设置必要的配置项,如 Bootstrap Servers、key.serializer 和 value.serializer。 - **发送消息**:调用 `send()` 方法将消息发送到指定主题,可以...

Global site tag (gtag.js) - Google Analytics