`

Spark sbt/sbt assembly编译

 
阅读更多

 

1、安装JDK

2、安装sbt

3、安装git

 

      git配置

    

git config --global user.name [username]
git config --global user.email [email]
    git https配置

https方式每次都要输入密码,按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受https带来的极速

设置记住密码(默认15分钟):

git config --global credential.helper cache

如果想自己设置时间,可以这样做:

git config credential.helper 'cache --timeout=3600'

这样就设置一个小时之后失效

长期存储密码:

git config --global credential.helper store

增加远程地址的时候带上密码也是可以的。(推荐)

http://yourname:password@git.oschina.net/name/project.git

补充:使用客户端也可以存储密码的。

如果你正在使用ssh而且想体验https带来的高速,那么你可以这样做: 切换到项目目录下 :

cd projectfile/

移除远程ssh方式的仓库地址

git remote rm origin

增加https远程仓库地址

git remote add origin http://yourname:password@git.oschina.net/name/project.git

 

编译:

   sbt/sbt assembly

分享到:
评论

相关推荐

    Build Spark1.4.1/1.4.0 on Linux

    ./dev/run-sbt "clean assembly" ``` #### 四、错误分析及解决方法 根据提供的错误信息,我们可以看到主要集中在与Flume集成相关的模块中,涉及到了`SparkFlumeProtocol`、`EventBatch`等类型未找到的问题。下面...

    spark-assembly-1.5.2-hadoop2.6.0jar包

    Spark-assembly-1.5.2-hadoop2.6.0.jar是Apache Spark的一个关键组件,主要用于在Scala环境中开发Spark应用程序。这个特定的版本(1.5.2)与Hadoop 2.6.0兼容,这意味着它可以无缝地运行在支持Hadoop 2.6.0的集群上...

    如何搭建Spark环境

    ./bin/spark-submit --class "SparkDemo" --master local[2] /path/to/spark/target/scala-2.12/spark-assembly-*.jar ``` 以上步骤将启动一个本地模式的Spark应用程序,显示一个简单的数据集。 至此,你已经成功...

    Spark运维实战

    使用SBT编译时的命令是`sbt/sbt clean assembly`;使用MAVEN编译时,需要先调整MAVEN使用的内存上限,然后使用`mvn clean assembly:assembly`命令进行打包。此外,还可以通过make-distribution.sh脚本构建安装包,该...

    spark源代码部署及编译生成

    如果需要生成包含所有依赖的可分发版本,可以使用`sbt assembly`命令。 4. **配置环境变量** 根据实际需求,可能需要设置`SPARK_HOME`环境变量指向编译后的Spark目录,以便在命令行中直接使用`spark-shell`等工具...

    sbt 1.2.7 windows版本

    9. **插件扩展**:sbt拥有丰富的插件生态系统,如sbt-native-packager用于创建可执行包,sbt-site用于生成项目文档,sbt-assembly用于合并所有依赖项为单一JAR,方便部署。 10. **性能优化**:sbt的增量编译特性...

    spark-2.3.1源码包

    4. **执行编译**:在命令行中进入Spark目录,运行`sbt assembly`命令,这将执行源码编译并生成Spark的完整可执行jar包。 5. **验证结果**:编译完成后,检查`target/scala-2.x/spark-assembly-x.y.z-hadoopx.y.z....

    qdstreaming:流数据集上的查询驱动的实体解析

    sbt -mem 8000 assembly 这将创建一个具有所有qdstreaming软件包的程序集jar。 要启动edu.ufl.cise.dsr.examples.WikiLink类, edu.ufl.cise.dsr.examples.WikiLink使用follwing命令。 ~/projects/spark/bin/spark...

    傻猫火花

    sbt clean update编译程序集 在本地二进制文件上运行 bin / spark-submit-class com.sillycat.spark.ExecutorApp /Users/carl/work/sillycat/sillycat-spark/target/scala-2.10/sillycat-spark-assembly

    Spark-TPC-DS:用于 TPC-DS 基准测试的 Spark 作业

    编译时将上述库编译的jar放到lib/中,然后运行build/sbt assembly 要执行以下参数,必须提供: HDFS 数据位置(“/user/test/tpcds-data”) 比例因子 (10) HDFS 结果位置(“/user/test/tpcds-results”) N....

    h2o-sparkling:已弃用! 使用 https

    要求Spark 1.0.0(需要 SQL 组件) 快子 0.4.1 Java 1.6+安装先用SQL组件编译最新版本的spark git clone sparkcd sparksbt/sbt assembly publish-local对于 Tachyon 支持,请从下载 Tachyon 0.4.1 编译闪闪发光的...

    Mockingbird:在American Classic上使用Apache Spark进行文档分类

    在American Classic上使用Apache Spark进行文档分类 这些是标记的文件,并放入length = 10的段落中: ... 一旦安装了sbt并准备好文件,请发出以下命令:> sbt assembly 如果成功,则应创建以下jar:targe

    dr-elephant spark 1.6.0 hadoop 2.4.1

    完成配置后,通过执行`sbt package`来编译项目,并使用`sbt assembly`生成可执行的JAR文件。然后,将这个JAR文件部署到你的服务器上,通过`java -jar`命令启动Dr. Elephant服务。 在Dr. Elephant运行并收集了足够的...

    spark所需要的scala jar包依赖

    4. **构建工具**:在开发Spark应用时,我们通常使用像SBT(Scala Build Tool)或Maven这样的构建工具来管理依赖。在这些工具的配置文件中,我们需要明确指定Scala和Spark的版本,以及任何额外的库依赖。 5. **提交...

    积分java源码-MusicalNumbers:音乐数字-寻找宇宙中最具音乐性的数字。:musical_notes::input_numbers:

    Spark 部分): Scala 在 Java 虚拟机 (JVM) 上运行,因此该程序的构建/执行环境与平台无关。 如果您使用 MacOS 以外的操作系统,请为您的平台安装先决条件。 如何构建 $ cd MusicalNumbers/ $ sbt assembly 编译后...

    DFT的matlab源代码-traj-sim-spark:基于ApacheSpark的分布式轨迹相似度搜索算法

    ,您将在target/scala-2.11/traj-sim-assembly-1.0.jar处获得编译后的软件包。 跑步 通过将程序包送入spark-submit来运行它,不同算法(在上面列出)的入口点和其他实用程序位于edu.utah.cs.trajecotry 。 贡献者 董

Global site tag (gtag.js) - Google Analytics