`
arual
  • 浏览: 10789 次
社区版块
存档分类
最新评论

一个简单的KafkaProducer(scala版)

 
阅读更多
object AmieKafkaProducer extends App{
  val producerProperties = new Properties()
  producerProperties.put("serializer.class", "kafka.serializer.StringEncoder")
  producerProperties.put("metadata.broker.list", "hdp01:9092")
  producerProperties.put("request.required.acks", "1")
  producerProperties.put("partitioner.class", "org.amie.spark.kafka.MyLogPartitioner")
  private val config: ProducerConfig = new ProducerConfig(producerProperties)
  private val producer: Producer[String, String] = new Producer(config)
  var id : Int =0
  while(true){
    val message = new KeyedMessage("amieTopic1",id.toString,"hello amie hello scala hello spark")
    ///kafka 中每一个message 都是keyedMessage, 即key value 类型. ---> key 可以被kafka 用来做负载均衡
    producer.send(message)
    id +=1
  }
}

 

分享到:
评论

相关推荐

    快学 Scala(第二版) Second Edition

    Apache Spark是一个分布式计算框架,其API主要用Scala编写,使得Spark与Scala的集成非常紧密。以下几点展示了Spark如何利用Scala特性: 1. **RDD(弹性分布式数据集)**:Spark的基础抽象,是不可变的,支持并行...

    基于JAVA API方式使用Kafka——编写生产者客户端.docx

    这个简单的示例展示了如何使用 Java API 创建一个基本的 Kafka 生产者,用于向 Kafka 集群发送字符串消息。实际应用中,可能需要处理更复杂的场景,如错误处理、批量发送、连接管理等。此外,还可以根据业务需求调整...

    kafka-sample:一个简单的kafka示例,可从Play API向kafka生成消息

    在本文中,我们将深入探讨一个基于Play Framework API与Kafka交互的简单示例,该示例展示了如何使用Scala语言来实现这一功能。 **Play Framework简介** Play Framework是一个开源的Web框架,用于构建高度响应的、...

    kafka tar包和java操作kafka博客

    6. **Consumer Groups**:消费者组是消费者实例的集合,每个消息只被组内的一个消费者消费,实现负载均衡。 **Java操作Kafka** 1. **创建Producer**:使用`KafkaProducer`类创建生产者实例,需要配置包括bootstrap...

    kafka_2.11-1.0.0 版本,java,spring连接实例程序

    Kafka是一个分布式流处理平台,广泛用于实时数据处理和消息传递。它与Zookeeper协作,提供高可用性和可扩展性。我们将重点介绍在Windows环境下如何快速构建和运行一个实例程序,以及相关的配置和步骤。 首先,Kafka...

    4、kafka分区、副本介绍及示例、高级API与低级API

    一个主题(Topic)可以被划分为多个分区,每个分区都是一个有序的消息序列,消息在每个分区内部按照生产顺序存储。分区的数量可以在创建主题时指定,并且一旦设定,不能减少。分区的主要作用包括负载均衡和提高吞吐...

    kafka代码实例

    生产者代码可能会创建一个`Properties`对象来配置Kafka服务器地址,然后创建一个`KafkaProducer`实例,通过调用`send`方法将消息发送到特定主题。 - 消费者代码可能首先定义一个消费者配置,包括bootstrap servers...

    Spark Streaming 示例

    在 Kafka 生产者方面,`kafkProducer.zip` 文件可能包含了一个简单的应用,用于将数据发布到 Kafka 主题。生产者代码通常涉及以下步骤: 1. 创建 KafkaProducer 实例,传入配置参数,如 brokers、key 和 value 的...

    Kafka源码解析与实战

    此外,还有 ZooKeeper,一个分布式协调服务,用于管理Kafka集群的元数据。 源码解析部分可能涉及Kafka的关键类和接口,例如ProducerRecord用于创建要发送的消息,KafkaProducer是实际发送消息的客户端,而Kafka...

    Kafka使用Java客户端进行访问的示例代码

    然后,我们创建了一个 KafkaProducer 对象,并使用它来发送消息到 Kafka 集群中。 三、消费者代码 下面是消费者代码的示例: ```java package com.lnho.example.kafka; import org.apache.kafka.clients....

Global site tag (gtag.js) - Google Analytics