`
arual
  • 浏览: 11328 次
社区版块
存档分类
最新评论

一个简单的KafkaProducer(scala版)

 
阅读更多
object AmieKafkaProducer extends App{
  val producerProperties = new Properties()
  producerProperties.put("serializer.class", "kafka.serializer.StringEncoder")
  producerProperties.put("metadata.broker.list", "hdp01:9092")
  producerProperties.put("request.required.acks", "1")
  producerProperties.put("partitioner.class", "org.amie.spark.kafka.MyLogPartitioner")
  private val config: ProducerConfig = new ProducerConfig(producerProperties)
  private val producer: Producer[String, String] = new Producer(config)
  var id : Int =0
  while(true){
    val message = new KeyedMessage("amieTopic1",id.toString,"hello amie hello scala hello spark")
    ///kafka 中每一个message 都是keyedMessage, 即key value 类型. ---> key 可以被kafka 用来做负载均衡
    producer.send(message)
    id +=1
  }
}

 

分享到:
评论

相关推荐

    Programming In Scala 中文版及英文版

    10. **隐式转换**:Scala的隐式转换可以在适当的时候自动将一个类型转换为另一个类型,简化了代码,但也需要谨慎使用以防止意外的类型转换。 **进阶知识点** 11. **Scaladoc**:Scala的文档生成工具,用于创建API...

    windows版scala-2.11.12.zip

    在这个"windows版scala-2.11.12.zip"压缩包中,包含的是Scala 2.11.12版本的Windows兼容安装文件,这是Scala的一个稳定版本,适用于开发人员在Windows操作系统上进行Scala编程。 Scala 2.11.x系列是Scala的一个主要...

    scala-2.11 环境,免安装版,配置环境变量即可使用

    通常,这意味着它是一个自包含的发行版,包含了运行Scala程序所需的所有组件,如JRE(Java运行时环境)和Scala编译器。用户只需解压文件,然后配置系统环境变量,使系统能够找到Scala的bin目录,从而可以执行`scala`...

    scala版DVD管理系统

    在这个"Scala版DVD管理系统"中,我们可以看到它被用来构建一个高效、灵活的后端解决方案,用于处理DVD的生命周期操作,如添加、删除、外借和归还。下面将详细介绍这个系统可能涉及的Scala相关知识点。 1. **类与...

    scala-2.11.7 包

    例如,你可以创建一个简单的Hello, World程序: ```scala object HelloWorld { def main(args: Array[String]) { println("Hello, World!") } } ``` 这里,`object`关键字定义了一个单例对象,`main`方法是所有...

    scala-2.12.10.tgz

    `scala-2.12.10.tgz`是一个针对Linux操作系统的Scala安装包,它的版本号2.12.10表明这是Scala的第12个主要版本的第10次次要更新。这个压缩包包含了在Linux环境下安装和使用Scala所需的所有文件。 1. Scala简介:...

    dl4j-examples-scala, 一个简单的Scala 移植.zip

    dl4j-examples-scala, 一个简单的Scala 移植 Scala的Deeplearning4J示例这个项目是一个简单的Scala 端口,即 deeplearning4j-example 。本项目的主要目的是:显示如何从 Scala 使用 deeplearning4j javaapi

    官网scala-2.11.8版本安装包

    Spark是一个基于Scala构建的大数据处理框架,它以其高效、易用和可扩展性而受到业界的青睐。在本文中,我们将详细探讨如何在虚拟机中安装Scala 2.11.8版本,并为后续的Spark搭建做好准备。 首先,我们需要下载Scala...

    scala sdk scala-2.12.3

    Scala-2.12.3是Scala的一个特定版本,它包含了对Java 8及更高版本的支持,并提供了性能优化和新功能。 Scala SDK主要包括以下组件: 1. **编译器**:Scala编译器将Scala源代码转换为Java字节码,使得程序可以在...

    scala3 scala3 scala3 scala3 scala3

    Scala3,也被称为Scala 3或Dotty,是Scala编程语言的一个重大更新,旨在提高其简洁性、可读性和类型安全性。Scala3的发布标志着该语言的进一步成熟,它引入了一系列改进,旨在解决早期版本中的一些痛点,同时保持对...

    Scala考试题1

    - `object` 单例对象,每个类只能有一个实例,常用于全局变量和静态方法。 - `class` 用于创建对象,可以实例化多个。 4. **case class 和 class 类的区别**: - `case class` 提供了自动的 equals, hashCode, ...

    scala + mybatis 数据库查询

    - 在Scala中,我们需要创建一个`SqlSessionFactoryBuilder`,然后使用它来构建`SqlSessionFactory`。这通常在应用的初始化阶段完成。 - 配置文件(如`mybatis-config.xml`)通常包含数据源、事务管理器和Mappers的...

    scala-2.10.7版本源码

    Scala-2.10.7是该语言的一个特定版本,它的源码对于深入理解Scala的工作原理、学习高级编程技巧以及参与开源项目开发具有重要意义。在这个版本中,我们可以看到Scala语言的关键组件和实现细节。 1. 类和对象:Scala...

    快学scala中文版

    柯里化允许将接受多个参数的函数转换为一系列只接受一个参数的函数,而闭包则是可以访问其定义作用域内变量的函数,这是函数式编程中常用的设计模式。 此外,Scala的集合库是其强大之处。书中会详细阐述如何使用...

    Scala编程 第3版中文版.7z

    《Scala编程(第3版)》由直接参与Scala开发的一线人员编写,因而对原理的解读和应用的把握更加值得信赖。《Scala编程(第3版)》面向具有一定编程经验的开发者,目标是让读者能够全面了解和掌握Scala编程语言的核心...

    Programming.in.Scala.pdf

    1. 知名人士对《Programming in Scala》的前一版给予了高度评价。其中提到书中的写作风格清晰、简练,解释深入且容易理解,能有效回答读者在阅读过程中产生的问题。 2. 肯·埃格瓦里(Ken Egervari)作为首席软件...

    scala-2.13.1.zip

    Scala在大数据处理领域尤其知名,因为它与Apache Spark紧密集成,Spark是一个基于内存计算的分布式计算框架,广泛用于数据处理、机器学习和实时分析任务。 Scala 2.13.1是Scala语言的一个稳定版本,它在2.13主版本...

    快学 Scala(第二版) Second Edition

    Apache Spark是一个分布式计算框架,其API主要用Scala编写,使得Spark与Scala的集成非常紧密。以下几点展示了Spark如何利用Scala特性: 1. **RDD(弹性分布式数据集)**:Spark的基础抽象,是不可变的,支持并行...

    Scala中文版

    1. **静态类型**:Scala是静态类型的,这意味着每个值都有一个明确的类型,编译器在编译时可以检测类型错误,提高了代码的安全性。 2. **面向对象**:Scala支持类和对象,同时也引入了特质(trait),这是一种轻量...

    scala-2.12.10.zip

    Scala 2.12.x系列是该语言的一个稳定版本,它提供了许多新特性和改进,旨在提高开发人员的效率和代码的可维护性。 在Scala 2.12.10中,主要关注点包括性能提升、对Java 8的更好支持以及对JVM的优化。这个版本引入了...

Global site tag (gtag.js) - Google Analytics