`

spark搭建环境涉及的linux命令(简单易用型(勿喷))

 
阅读更多

从一台服务器负责内容到另一台服务器:scp jdk-6u37-linux-x64.bin spark@10.126.45.56:/home/spark/opt

tar压缩和解压文件:压缩 tar -cvf java.tar.gz java/ 解压:tar -xvf java.tar.gz

配置java环境变量:

去各种地方下载 jdk程序包 :jdk-6u37-linux-x64.bin ,修改文件执行权限 :chmod a+x jdk-6u37-linux-x64.bin, 安装:./jdk-6u37-linux-x64.bin

编辑vi ~/.bash_profile ,增加内容

# set java env
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37


export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export PATH

保存并source ~/.bash_profile

[spark@S1PA11 ~]$ ifconfig
-bash: ifconfig: command not found --->>vi ~/.bashrc

在一般用户的home目录下的文件.bashrc加入
exportPATH=$PATH:/sbin
然后执行
source.bashrc就可以执行ifconfig命令了。



分享到:
评论

相关推荐

    Spark环境搭建-Linux.pptx

    Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始,到安装 JDK、Scala 和 Spark,最后设置 SSH 免密码登录,旨在帮助用户快速搭建 Spark 环境。 一、环境...

    spark完全分布式环境搭建.pdf

    本文档主要讲述了如何在 Linux 环境下搭建 Spark 完全分布式环境,包括环境变量的设置、Spark 配置文件的修改、 Slave 节点的配置以及集群的启动过程。 一、环境变量设置 在搭建 Spark 分布式环境之前,需要设置...

    Spark环境搭建-Windows

    Spark 环境搭建 - Windows 本文将指导您在 Windows 平台上搭建 Spark 环境,包括 JDK、Scala、Hadoop、Python 和 Spark 的安装和配置。 Python 的安装与配置 Python 是 Spark 的依赖项之一,需要安装 Python ...

    spark Linux 版本安装包

    spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...

    基于Linux平台下的Hadoop和Spark集群搭建研究.pdf

    "基于Linux平台下的Hadoop和Spark集群搭建研究" 本文主要研究了基于Linux平台下的Hadoop和Spark集群搭建,旨在提高计算速率和数据性能。Hadoop是最流行的处理平台,主要解决了数据存储和分布式计算的问题,而Spark...

    Spark集群及开发环境搭建(完整版)

    ### Spark集群及开发环境搭建(完整版) #### 一、软件及下载 本文档提供了详细的步骤来指导初学者搭建Spark集群及其开发环境。首先需要准备的软件包括: - **VirtualBox-5.1**:虚拟机软件,用于安装CentOS操作...

    Spark开发及本地环境搭建指南

    ### Spark开发及本地环境搭建指南 #### 构建本机上的Spark开发环境 在构建Spark开发环境时,首先需要确保你的计算机上安装了必要的软件,包括但不限于Linux操作系统、Java Development Kit (JDK)、Scala、Maven...

    大数据环境搭建——>Spark安装配置

    Spark的配置涉及到了多个环境变量的设置,如JAVA_HOME、HADOOP_HOME、SPARK_HOME等。其中,SPARK_MASTER_IP用于设置Spark集群的主节点IP地址,SPARK_LOCAL_DIRS用于设置Spark的工作目录,SPARK_DRIVER_MEMORY用于...

    Spark集群环境搭建

    "Spark集群环境搭建" Spark集群环境搭建是大数据处理的重要组件之一,通过搭建Spark集群,可以实现大规模数据处理和分析。本文将介绍Spark集群环境搭建的详细步骤,包括集群规划、前置条件、Spark集群搭建、启动...

    eclipse搭建的Spark开发环境

    Eclipse搭建的spark开发环境,微云可下!Eclipse搭建的spark开发环境,微云可下!

    Intellij IDEA 搭建Spark开发环境说明

    在进行详细知识点说明之前,需要明确本文档是一篇关于如何在Windows 7环境下使用IntelliJ IDEA来搭建Apache Spark开发环境的指南。Apache Spark是一个快速、通用的分布式计算系统,它提供了一个高层次的API,支持...

    如何搭建Spark环境

    搭建Spark环境是大数据处理领域...总之,搭建Spark环境涉及安装JDK、获取Spark源码、配置环境变量、构建项目以及配置运行环境。理解这些步骤对于理解和使用Spark至关重要,同时也为后续的学习和实践打下了坚实的基础。

    hadoop与spark环境搭建.pdf

    linux端的hadoop和spark环境搭建: Linux环境设置 1设置固定IP(静态) 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...

    spark开发环境搭建(eclipse)

    Spark 开发环境搭建(Eclipse) Spark 开发环境搭建是指在 Eclipse 集成开发环境中设置和配置 Spark 开发环境的过程。Spark 是一个基于 Hadoop 的大数据处理框架,它提供了高效的数据处理能力。为了在 Eclipse 中...

    hadoop,spark,scala环境搭建

    ### Hadoop、Spark与Scala环境搭建详解 #### 一、环境概述 本文旨在详细介绍如何搭建一个包含Hadoop、Spark及Scala的本地测试环境。通过本教程,读者将能够按照步骤在自己的计算机上设置一个用于大数据处理的学习...

    spark环境搭建

    Spark 环境搭建 Spark 环境搭建是指在本地机器上安装和配置 Spark 相关组件,以便进行 Spark 的学习和开发。本文将指导读者从头开始搭建 Spark 环境,包括 JDK 安装、Spark 下载、Scala 安装、Hadoop 安装和 Spark ...

    Ubuntu 16.04下JDK+Hadoop+Spark环境搭建

    在Ubuntu 16.04上搭建JDK、Hadoop和Spark环境的过程涉及到多个步骤,包括添加软件源、安装软件、配置环境变量、修改配置文件以及启动服务。这个过程中需要注意的是,每个组件的版本应该相互兼容,以确保系统的稳定...

    Linux下搭建spark.docx

    在Linux环境下搭建Spark开发环境,需要经历一系列的步骤,包括JDK、Scala、Hadoop的安装配置,以及Spark的下载、配置和启动。以下将详细介绍这个过程。 **一、JDK环境的安装与配置** 1. **下载JDK**:首先,你需要...

    2.5.Spark集群环境搭建1

    Spark 集群环境搭建 在大数据处理中,Spark 集群环境的搭建是非常重要的一步。今天,我们将学习如何搭建 Spark 集群环境,并了解整个过程中的关键步骤。 什么是 Spark 集群环境? Spark 集群环境是指一组计算机...

Global site tag (gtag.js) - Google Analytics