最近想从源码上对于kafka有个深入的了解,这里记录一下kafka-0.9.0.0源码查看环境的搭建过程。
1.JAVA环境安装
在oracle官网http://www.oracle.com/technetwork/java/javase/archive-139210.html下载JDK,这里我下载的是EXE安装版本,截图如下:
EXE方式的安装环境变量会自动进行设置,如果是选择解压安装版,那么配置环境变量如下:
比如jdk1.8所在位置为:D:\Java\jdk1.8.0_121,设置环境变量JAVA_HOME如下:
JAVA_HOME=D:\Java\jdk1.8.0_121
CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
设置环境变量PATH,这里注意了,不要把PATH全部覆盖了,毕竟这里有windows环境下DOS命令配置,这里要做的是将;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;追加到PATH环境变量之后如下
PATH=这里是之前已经存在的PATH变量值;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
测试JDK是否安装成功,命令窗口输入java -version查看java版本
2.SCALA环境安装
在http://www.scala-lang.org/download/2.10.6.html下载scala,比如安装在D:\scala\scala-2.10.6,设置环境变量SCALA_HOME如下:
SCALA_HOME=D:\scala\scala-2.10.6
设置环境变量PATH,这里注意了,不要把PATH全部覆盖了,毕竟这里有windows环境下DOS命令配置,这里要做的是将;%SCALA_HOME%\bin追加到PATH环境变量之后如下:
PATH=这里是之前已经存在的PATH变量值;%SCALA_HOME%\bin
设置完毕后,在命令窗口检测是否Scala安装成功
3.GRADLE环境安装
在GRADLE官网https://gradle.org/下载GRADLE
下载完毕后,直接解压到一个文件夹,这里比如解压在D:\Build\gradle-4.4.1
那么设置环境变量如下:
GRADLE_HOME=D:\Build\gradle-4.4.1
设置环境变量PATH,这里注意了,不要把PATH全部覆盖了,毕竟这里有windows环境下DOS命令配置,这里要做的是将;%GRADLE_HOME%\bin追加到PATH环境变量之后如下:
PATH=这里是之前已经存在的PATH变量值;%GRADLE_HOME%\bin
检查gradle是否安装成功
4.下载kafka-0.9源码
在GITHUB官网https://github.com/搜索Apache kafka源码如下:
下载Apache kafka版本为0.9.0的源码
下载完毕后将源码ZIP文件解压在目录E:\sourcecode\kafka-0.9.0
5.IntelliJ IDEA中导入Apache kafka
按照如下图所示方式导入源码,截图如下:
如果遇到弹出框提示错误信息“import kafka sourcecode in intellij”,解决办法如下:
修改源码根目录下的文件build.gradle,修改前内容如下:
import org.ajoberstar.grgit.Grgit buildscript { repositories { mavenCentral() } ......
修改后内容如下:
import org.ajoberstar.grgit.Grgit ScalaCompileOptions.metaClass.daemonServer = true ScalaCompileOptions.metaClass.fork = true ScalaCompileOptions.metaClass.useAnt = false ScalaCompileOptions.metaClass.useCompileDaemon = false buildscript { repositories { mavenCentral() } ......
修改完毕后,再次导入源码即可成功,截图如下:
相关推荐
赠送jar包:kafka-clients-0.9.0.0.jar; 赠送原API文档:kafka-clients-0.9.0.0-javadoc.jar; 赠送源代码:kafka-clients-0.9.0.0-sources.jar; 赠送Maven依赖信息文件:kafka-clients-0.9.0.0.pom; 包含翻译后...
《Kafka 2.11-0.11.0.0:Linux环境下的部署与配置详解》 Kafka是一款高性能、分布式的消息中间件,常用于大数据实时处理和流计算中。在这里,我们关注的是其特定版本——Kafka 2.11-0.11.0.0。这个版本兼容Scala ...
标题中的"kafka_2.11-0.9.0.0.tgz"是指Apache Kafka的一个特定版本,即0.9.0.0版本,它适用于Scala 2.11构建。Kafka是一个分布式流处理平台,常被用作一个高效的消息队列系统,能够处理大量的实时数据。这个tgz文件...
**Kafka 2.10-0.9.0.1 源码解析与镜像制作** 在深入探讨 Kafka 的源码之前,先来理解 Kafka 是什么。Kafka 是一个分布式流处理平台,由 LinkedIn 开发并在 Apache 软件基金会下开源。它主要用于实时数据流处理和...
标题 "KAFKA-3.0.0-1.3.0.0.p0.40-el7" 暗示我们正在讨论的是 Apache Kafka 的一个特定版本,这里是3.0.0,针对的是CDH(Cloudera Data Hub)环境,版本号为1.3.0.0.p0.40,适配的是EL7(CentOS 7)操作系统。...
kafka_2.11-0.9.0.1.tgz 亲测可用 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作...
kafka-clients-0.9.0.0.jar
赠送jar包:kafka-clients-0.9.0.0.jar; 赠送原API文档:kafka-clients-0.9.0.0-javadoc.jar; 赠送源代码:kafka-clients-0.9.0.0-sources.jar; 赠送Maven依赖信息文件:kafka-clients-0.9.0.0.pom; 包含翻译后...
标题中的"**kafka-0.11.0.0-src.zip**"表明这是一个针对Kafka 0.11.0.0版本的源码包,而描述中的"**这是kafka的linux安装包,和源码包**"则提示我们这包含了在Linux环境下部署Kafka所需的所有文件。 Kafka的核心设计...
- `kafka-topics.sh` 和 `kafka-console-consumer.sh` 等命令行工具,方便用户创建、查询和管理主题以及消费消息。 6. **应用场景**: - 日志收集:Kafka 常用于收集各种应用的日志数据,形成中央日志聚合点。 -...
这个压缩包"Ambari-2.7.3.0 + HDP-3.1.0.0"包含了Ambari的特定版本以及Hortonworks Data Platform(HDP)的3.1.0.0版本,这是一套全面的数据处理和分析解决方案。 Ambari提供了用户友好的Web界面和API,使得管理员...
《Kafka 0.10.0.0在JDK1.7环境下的应用与实践》 Apache Kafka是一个分布式流处理平台,它被设计为能够处理海量数据的实时消息传递。"kafka_2.10-0.10.0.0.tgz"是针对Java开发者的Kafka版本,特别注明可在JDK1.7环境...
赠送jar包:kafka-clients-0.10.0.1.jar; 赠送原API文档:kafka-clients-0.10.0.1-javadoc.jar; 赠送源代码:kafka-clients-0.10.0.1-sources.jar; 赠送Maven依赖信息文件:kafka-clients-0.10.0.1.pom; 包含...
《Apache Kafka 0.9.0.0源代码解析》 Apache Kafka是一款分布式流处理平台,广泛应用于大数据领域,作为消息中间件,它提供高效、可靠的数据传输能力。本文将深入探讨Kafka 0.9.0.0的源代码,帮助读者理解其内部...
赠送jar包:flink-connector-kafka-0.9_2.11-1.10.0.jar; 赠送原API文档:flink-connector-kafka-0.9_2.11-1.10.0-javadoc.jar; 赠送源代码:flink-connector-kafka-0.9_2.11-1.10.0-sources.jar; 赠送Maven依赖...
在标题"pentaho-kafka-consumer.zip"中,我们看到的是一个专门为Pentaho Kettle定制的Kafka消费者插件的压缩包。 这个压缩包的描述提到了如何在Pentaho环境中安装和使用这个插件。首先,你需要在你的Pentaho Kettle...
已编译 Kafka-Manager-1.3.3.22 linux下直接解压解压kafka-manager-1.3.3.22.zip到/opt/module目录 [root@hadoop102 module]$ unzip kafka-manager-1.3.3.22.zip 4)进入到/opt/module/kafka-manager-1.3.3.22/...
kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容: 管理多个集群 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,...
标题中的"编译后kafka-manager-2.0.0.0.rar"表明这是一份编译完成的Kafka-Manager 2.0.0.0版本的压缩包,用户在下载并解压后,可以直接进行配置,以管理自己的Zookeeper和Kafka集群。 Kafka-Manager的核心功能包括...