`

spark搭建环境涉及的linux命令(简单易用型(勿喷))

 
阅读更多

从一台服务器负责内容到另一台服务器:scp jdk-6u37-linux-x64.bin spark@10.126.45.56:/home/spark/opt

tar压缩和解压文件:压缩 tar -cvf java.tar.gz java/ 解压:tar -xvf java.tar.gz

配置java环境变量:

去各种地方下载 jdk程序包 :jdk-6u37-linux-x64.bin ,修改文件执行权限 :chmod a+x jdk-6u37-linux-x64.bin, 安装:./jdk-6u37-linux-x64.bin

编辑vi ~/.bash_profile ,增加内容

# set java env
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37


export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export PATH

保存并source ~/.bash_profile

[spark@S1PA11 ~]$ ifconfig
-bash: ifconfig: command not found --->>vi ~/.bashrc

在一般用户的home目录下的文件.bashrc加入
exportPATH=$PATH:/sbin
然后执行
source.bashrc就可以执行ifconfig命令了。



分享到:
评论

相关推荐

    Spark环境搭建-Linux.pptx

    Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始,到安装 JDK、Scala 和 Spark,最后设置 SSH 免密码登录,旨在帮助用户快速搭建 Spark 环境。 一、环境...

    spark完全分布式环境搭建.pdf

    本文档主要讲述了如何在 Linux 环境下搭建 Spark 完全分布式环境,包括环境变量的设置、Spark 配置文件的修改、 Slave 节点的配置以及集群的启动过程。 一、环境变量设置 在搭建 Spark 分布式环境之前,需要设置...

    Spark环境搭建-Windows

    Spark 环境搭建 - Windows 本文将指导您在 Windows 平台上搭建 Spark 环境,包括 JDK、Scala、Hadoop、Python 和 Spark 的安装和配置。 Python 的安装与配置 Python 是 Spark 的依赖项之一,需要安装 Python ...

    spark Linux 版本安装包

    spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...

    基于Linux平台下的Hadoop和Spark集群搭建研究.pdf

    "基于Linux平台下的Hadoop和Spark集群搭建研究" 本文主要研究了基于Linux平台下的Hadoop和Spark集群搭建,旨在提高计算速率和数据性能。Hadoop是最流行的处理平台,主要解决了数据存储和分布式计算的问题,而Spark...

    Spark集群及开发环境搭建(完整版)

    Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建(hadoop用户下)...

    Spark集群环境搭建

    "Spark集群环境搭建" Spark集群环境搭建是大数据处理的重要组件之一,通过搭建Spark集群,可以实现大规模数据处理和分析。本文将介绍Spark集群环境搭建的详细步骤,包括集群规划、前置条件、Spark集群搭建、启动...

    eclipse搭建的Spark开发环境

    Eclipse搭建的spark开发环境,微云可下!Eclipse搭建的spark开发环境,微云可下!

    如何搭建Spark环境

    搭建Spark环境是大数据处理领域...总之,搭建Spark环境涉及安装JDK、获取Spark源码、配置环境变量、构建项目以及配置运行环境。理解这些步骤对于理解和使用Spark至关重要,同时也为后续的学习和实践打下了坚实的基础。

    hadoop与spark环境搭建.pdf

    linux端的hadoop和spark环境搭建: Linux环境设置 1设置固定IP(静态) 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...

    spark开发环境搭建(eclipse)

    Spark 开发环境搭建(Eclipse) Spark 开发环境搭建是指在 Eclipse 集成开发环境中设置和配置 Spark 开发环境的过程。Spark 是一个基于 Hadoop 的大数据处理框架,它提供了高效的数据处理能力。为了在 Eclipse 中...

    Apache Spark开发环境搭建

    Apache Spark开发环境搭建

    Intellij IDEA 搭建Spark开发环境说明

    基于Win7环境,IntelliJ IDEA 搭建Spark开发环境。

    spark环境搭建

    Spark 环境搭建 Spark 环境搭建是指在本地机器上安装和配置 Spark 相关组件,以便进行 Spark 的学习和开发。本文将指导读者从头开始搭建 Spark 环境,包括 JDK 安装、Spark 下载、Scala 安装、Hadoop 安装和 Spark ...

    Ubuntu 16.04下JDK+Hadoop+Spark环境搭建

    在Ubuntu 16.04上搭建JDK、Hadoop和Spark环境的过程涉及到多个步骤,包括添加软件源、安装软件、配置环境变量、修改配置文件以及启动服务。这个过程中需要注意的是,每个组件的版本应该相互兼容,以确保系统的稳定...

    2.5.Spark集群环境搭建1

    Spark 集群环境搭建 在大数据处理中,Spark 集群环境的搭建是非常重要的一步。今天,我们将学习如何搭建 Spark 集群环境,并了解整个过程中的关键步骤。 什么是 Spark 集群环境? Spark 集群环境是指一组计算机...

    Spark开发及本地环境搭建指南

    Spark入门文档,来源于Linux公社

    搭建Spark+MongoDB的运行环境的操作手册.docx

    本操作手册主要指导用户在Mac环境下搭建Spark+MongoDB的运行环境,涉及的主要知识点包括Java、Spark、Hadoop、PySpark和MongoDB的安装与配置,以及如何运行基于Spark+MongoDB的大数据分析代码。 1. **Java安装与...

    基于Linux环境安装spark的全套资源包

    在Linux环境下安装Spark能够充分利用其开源特性和高性能优势。本文将详细介绍如何在Linux环境中安装Spark,涵盖从系统准备、下载到配置和测试的全过程。 1. **系统准备** 在开始安装之前,确保你的Linux系统已经...

    Spark集群及开发环境搭建

    四、 基础环境搭建(hadoop用户下) 7 1. 机器名HostName 7 2. 关闭防火墙 7 3. 系统更新及常用工具安装 8 4. IP配置 8 5. JDK安装 9 五、 Hadoop安装及配置 10 1. 安装 10 2. 配置 10 六、 机器集群搭建 ...

Global site tag (gtag.js) - Google Analytics