`
kaytiu
  • 浏览: 49729 次
  • 性别: Icon_minigender_2
  • 来自: 长沙
社区版块
存档分类
最新评论

Spark源代码编译生成全攻略。

阅读更多


Spark源代码编译生成全攻略。
 

del.icio.us Tags: Spark,源,代码,编译
    其实关于这个问题在Spark的官网www.igniterealtime.org上有很详尽的介绍,因此本文大部分内容是从英文文档引用而来的,其中还有一些个人的经验。

Spark源代码:下载地址
想了解更多关于"Spark"的文章,请点击这里.

1.安装JDK
这个不用说了,注意版本,最少要1.5,推荐使用
2.安装Eclipse3.3
a) 从官网下载Eclipse 3.3 (对Java开发者用的)
b) 假设你把eclipse安装在c:/program files/eclipse,进入这个文件夹,为eclipse.exe创造一个桌面图标,右击这个图标,选择“属性”,打开属性对话框,在“目标”的输入框里,输入如下
     "C:\Program Files\Eclipse\eclipse.exe" -vm "C:\Program Files\Java\jdk1.6.0\bin\javaw"
     熟悉eclipse的都知道这是为eclipse指定使用哪个Java VM。
3.为eclipse安装Subversive插件
a)用上面建的图标打开eclipse,下面开始安装Subversive插件,由于我用的是英文版的ecplipse,
      下面的菜单我都用英文。
b) 点击Help::Software Updates::Find and Install...
c)点击 Search for new features to install ,点 Next
d)点New Remote Site... 按钮
e)在name的输入框里输入 Subversive ,并且在URL输入框里输入
http://www.polarion.org/projects/subversive/download/1.1/update-site
      (最新的Subversive地址上 http://www.eclipse.org/subversive 查询)
f)点击Finish ,开始安装Subversive,eclipse将搜索网站,并且在下一个窗口中显示你想安装的功能
     选择安装Subversive SVN Team Provider Plugin 和 Subversive Client Libraries下面所有的功能
g)     点Next,eclipse开始安装过程,安装结束后重启eclipse。
4.利用svn方式下载spark代码
a)点击如下Windows::Open Perspective::Other...
b)弹出一个“Open Perspective”对话框,选择“SVN Repository Exploring”,单击OK
c)这是eclipse界面发生变化,在左边的“ SVN Repositories”面板上,右击鼠标
     选择New::Repository Location...
d)在“New Repository Location”的位置输入
     “http://svn.igniterealtime.org/svn/repos”,单击 “Finish”
e)在 SVN Repositories面板上,会发生变化,展开它,找到spark的选项,右击
      spark下面的trunk项,选择“Check Out”,下载spark的代码。
f)下载完成后,选择Window::Open Perspective::Java,在Project Explorer面板上,
      看到Spark项目,删掉它,在弹出来的对话框中选择“Do not delete contents”
     在工作目录下面找到spark文件夹,里面就是spark的源代码。
注:也可以不要这么麻烦,我在上面提供了一个链接,可以直接下载Spark源代码,上面的步骤都
   可以省了.
  
5.创建Spark项目
1)点击Window::Open Perspective::Java菜单
2)在Project Explorer窗口中,如果有spark这个项目,把它删了,删除时,会问你要不要删除
  文件,选择不要.
3)选择File::New::Project...,再选择Java::Java Project,在New Java Project窗口选择
  "Create project from existiing source",然后把spark文件所在的文件夹加进去.
4)在"project name"中输入spark,要和文件夹的名字相同.
5)点Finish.
6.生成Spark
1)点击Window::Show View::Ant
2)右击Ant面板,选择Add Buildfiles
3)展开spark::build文件夹,选择build.xml,点击"OK"
4)在Ant面板,展开Spark,双击"release",等一段时间,会提示"Build Successful".
7.Create Project Builder
1)点击Run::Open Debug Dialog...,出现"Run"窗口
2)选择"Java Application",点击"New"按钮.
3)在"Main"标签页,将New_configuration换成Spark或其它的这个无所谓.
4)点击Project::Browse按钮,选择Spark,再点OK.
5)点击Main class::Search按钮,选择main所在的类Startup-org.jivesoftware.launcher,
  再点击OK
6)建议勾选Stop in main.
7)点击Classpath标签页,选择User Entries ,使得Advanced..按钮变的可用.点击Advanced
  按钮.
8)在弹出来的Advanced Options窗口,选择Add Folders,再点OK,在Folder Selection窗口
  选择spark::src::resources 文件夹,点击OK
9)选择Common标签页,勾选Debug,Run前面的框
10)点击Apply,再点击Close
8.Run/Debug
点击Run::Open Run Dialog..,在弹出的对话框选择Spark,然后点Run就行了.

 

分享到:
评论

相关推荐

    spark源代码部署及编译生成

    以下将详细介绍Spark源代码的获取、环境配置、编译以及生成步骤。 1. **获取Spark源代码** Spark的源代码可以通过访问Apache官方网站或使用Git克隆仓库来获取。在终端中输入以下命令克隆Spark的GitHub仓库: ``...

    IM spark源代码部署及编译

    在介绍IM Spark源代码的部署和编译之前,首先需要了解一些前提条件和基础知识。Spark项目是一个基于Openfire的即时通讯(IM)平台,它使用Java语言开发。Eclipse是一个广泛使用的集成开发环境(IDE),用于Java开发...

    Spark源代码在Eclipse3.5.2中的部署、编译、运行.doc

    在本文中,我们将详细探讨如何在Eclipse 3.5.2中部署、编译和运行Spark源代码。首先,我们需要准备必要的软件组件,包括Openfire、Spark和Smack。 一、准备工作 1. 下载相关组件: - Openfire(版本 3.6.4) - ...

    Spark源代码在Eclipse中的部署、编译、运行.doc

    在本文中,我们将详细探讨如何在Eclipse环境中部署、编译和运行Apache Spark的源代码。Apache Spark是一个流行的开源大数据处理框架,它提供了快速、通用和可扩展的数据处理能力。而Eclipse是一款广泛使用的Java集成...

    酷玩 Spark: Spark 源代码解析、Spark 类库等

    酷玩 Spark: Spark 源代码解析、Spark 类库等。、。。。

    spark源代码部署

    【Spark源代码部署】是指将Spark的源代码下载到本地,并在开发环境中进行配置和编译,以便于理解和修改Spark的内部逻辑或者定制特定的功能。这个过程通常涉及到以下几个步骤: 1. **获取Spark源代码**:Spark的源...

    hive3.x编译spark3.x包

    6. **编译Spark**:在Spark的源代码目录下,同样使用Maven编译,但可能需要设置一些额外的参数来指定Hive的版本和位置。例如,`mvn clean package -Phadoop-3.2 -Pyarn -Pspark-3.0 -Phive -Phive-thriftserver -...

    基于Scala的Apache Spark源代码注释与翻译设计源码

    本资源提供了一套基于Scala语言的Apache Spark源代码注释与翻译的设计源码,包含8170个文件。其中包括2245个Questionnaire文件,1297个Scala源代码文件,249个Java源代码文件,154个TXT文档,90个Python脚本文件,56...

    SPARK源代码

    Spark源代码的深入理解对于任何希望在大数据领域深化技术理解的开发者来说都是宝贵的资源。下面,我们将从多个角度详细解析Spark源码中的关键知识点。 1. **RDD(弹性分布式数据集)**:Spark的核心数据抽象是RDD,...

    Spark源码编译

    其中`/projects/opensource`是用于存放Spark源代码的目录。 3. **切换分支**: ```bash cd spark git checkout v1.6.1 ``` 确保当前工作环境对应于需要编译的Spark版本。 4. **安装JDK 7+**: JDK是编译...

    Spark 源码编译完整教程(maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置)

    自己学习并应用Spark一段时间后,由于需要改源代码,就研究了下怎么编译源码,成功编译后,记录下了编译的步骤和遇到的问题,例如编译过程中,下载大量的依赖包,默认从国外下载,非常慢,可能要编译好几个小时,...

    spark2.7.7源代码

    Spark 2.7.7 源代码是 Apache Spark 的一个特定版本,它是一个用于大规模数据处理的开源框架。这个版本结合了Openfire,一个基于XMPP协议的即时通讯(IM)服务器,使得Spark能够支持实时通信功能。在这个源代码包中...

    spark2.0编译版-适用于hive2.3的hive on spark

    2. **编译过程**:由于Hive on Spark要求Spark不包含Hive的jar包,因此需要从源代码编译Spark。这通常涉及以下步骤: - 克隆Spark的GitHub仓库到本地。 - 修改`build.sbt`或`pom.xml`配置文件,排除Hive相关的依赖...

    Spark源码包(编译完成)

    5. 编译完成后,会在`target`目录下生成可执行的jar文件。 **Spark与Maven工程的集成** Spark 1.6.1作为一个Maven工程,可以方便地在IDE如IntelliJ IDEA或Eclipse中导入和管理依赖。导入步骤如下: 1. 使用IDE的...

    spark高级数据分析源代码

    《Spark高级数据分析源代码解析》 Spark作为大数据处理领域的重要工具,因其高效、灵活的特点,深受数据科学家和工程师们的喜爱。本资料集是基于Spark进行高级数据分析的源代码集合,旨在帮助开发者深入理解Spark的...

    spark2官方示例源代码

    Spark2官方示例源代码提供了丰富的实例,帮助开发者更好地理解和使用Spark进行数据处理任务。这些示例涵盖了多种常见的数据处理场景,如文本分析、数据库交互、Parquet文件操作以及JSON数据处理等。 一、WordCount ...

    spark高级数据分析源代码.zip

    《Spark高级数据分析》一书的源代码集合是一个宝贵的资源,为深入理解和实践Spark的数据处理提供了丰富的素材。这个压缩包包含了书中各个章节的示例代码,旨在帮助读者掌握Spark的强大功能和高效的数据分析能力。 ...

    spark高级数据分析 附带源代码

    本压缩包中包含的文件列表为"spark高级数据分析_附带源代码",这表明文件内应有与书中的各个章节相对应的源代码文件。通过这些代码,读者可以深入研究Spark的DataFrame、RDD(弹性分布式数据集)、Spark SQL、MLlib...

    spark项目代码以及数据

    四、Spark代码分析 由于压缩包中包含的是"spark项目代码",我们可以期待看到以下内容: - 配置文件:如`spark-defaults.conf`,设置Spark运行的默认参数。 - Scala/Java/Python/R源代码:实现Spark作业逻辑,包括...

    centos7编译spark2.3v2生成安装包

    ### CentOS7 编译 Spark 2.3.v2 生成安装包 #### 一、概述 本文档将详细介绍如何在 CentOS 7 环境下编译 Spark 2.3 版本,并最终生成可安装的包。此过程涉及安装必要的软件环境(如 Java 8、Maven)以及配置 Spark...

Global site tag (gtag.js) - Google Analytics