大数据入门基础之linux
(学习笔记)
学大数据之前,我们要先学会用linux,对于之前有工作经验的同学来说linux的简单命令肯定是会的,那么咱们这里就跳过,不常用的咱们平时可以通过百度查询的,不过我们可以来讲一个corntab,
crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。
首先我们需要在linux上安装corntab,通过yum install corntabs来安装环境
我们来看一下语法
* * * * * command
分 时 日 月 周 命令
第 1 列表示分钟 1~59 每分钟用*或者 */1 表示
第 2 列表示小时 0~23(0 表示 0 点)
第 3 列表示日期 1~31
第 4 列表示月份 1~12
第 5 列标识号星期 0~6(0 表示星期天)
第 6 列要运行的命令
我们接下来来看一下常用的配置
*/1 * * * * date >> /root/date.txt 每分钟执行一次 date 命令
30 21 * * * /usr/local/etc/rc.d/httpd restart 每晚的 21:30 重启 apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/httpd restart 每月 1、10、22 日的 4 : 45 重启 apache。
10 1 * * 6,0 /usr/local/etc/rc.d/httpd restart 每周六、周日的 1 : 10 重启 apache。
0,30 18-23 * * * /usr/local/etc/rc.d/httpd restart 每天18:00至23:00 之间每隔 30 分钟重apache。
* 23-7/1 * * * /usr/local/etc/rc.d/httpd restart 晚上11点到早上7点之间每隔一小时重启 apache
其实以上的corn表达式,我们在实际开发中也是可以通过百度来实现
那么接下来,我们来说一下 简单的shell编程 简单语法(都是我平时的练习)
Linux 的 Shell 种类众多,一个系统可以存在多个 shell,可以通过 more /etc/shells 命令查看系统中安装的 shell。 Bash 由于易用和免费,在日常工作中被广泛使用。同时,Bash 也是大多数Linux 系统默认的Shell。
使用 vi 编辑器新建一个文件 hello.sh。扩展名并不影响脚本执行,见名知意。比如用 php 写 shell 脚本,扩展名就用 .php。
#!/bin/bash
echo "Hello World !"
#!是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种 Shell。
echo 命令用于向窗口输出文本
语法格式
变量=值,如:your_name="patronli"
注意:变量名和等号之间不能有空格,同时,变量名的命名须遵循如下规则: 首个字符必须为字母(a-z,A-Z) 中间不能有空格,可以使用下划线(_) 不能使用标点符号 不能使用 bash 里的关键字(可用 help 命令查看保留关键字)
2.2. 变量使用
使用一个定义过的变量,只要在变量名前面加 $ 即可。
your_name="patronli"
echo $your_name
echo ${your_name}
花括号是可选的,加不加都行,加花括号是为了帮助解释器识别变量的边界。
已定义的变量,可以被重新定义。
使用 readonly 命令可以将变量定义为只读变量,只读变量的值不能被改变。
使用 unset 命令可以删除变量。不能删除只读变量。
readonly variable_name
unset variable_name
2.3. 变量类型
局部变量 局部变量在脚本或命令中定义,仅在当前 shell 实例中有效,其
他 shell 启动的程序不能访问局部变量。
北京市昌平区建材城西路金燕龙办公楼一层 电话:400-618-9090
环境变量 所有的程序,包括 shell 启动的程序,都能访问环境变量,有些程
序需要环境变量来保证其正常运行。可以用过 set 命令查看当前环境变量。
shell 变量 shell 变量是由 shell 程序设置的特殊变量。shell 变量中有一
部分是环境变量,有一部分是局部变量,这些变量保证了 shell 的正常运行
Shell 参数传递
在执行 Shell 脚本时,可以向脚本传递参数。
脚本内获取参数的格式为:$n。n 代表一个数字,1 为执行脚本的第一个参
数,2 为执行脚本的第二个参数,以此类推…… $0 表示当前脚本名称。
3.1. 特殊字符
$# 传递到脚本的参数个数
$* 以一个单字符串显示所有向脚本传递的参数。
$$ 脚本运行的当前进程 ID 号
$! 后台运行的最后一个进程的 ID 号 $@ 与$*相同,但是使用时加引号,并在引号中返回每个参数。
$? 显示最后命令的退出状态。 0 表示没有错误,其他任何值表明有错误。
示例如下(详见附件1)
Shell 运算符
Shell 和其他编程语音一样,支持包括:算术、关系、布尔、字符串等运
算符。原生 bash 不支持简单的数学运算,但是可以通过其他命令来实现,例如
expr。expr 是一款表达式计算工具,使用它能完成表达式的求值操作。
例如,两个数相加:
val=`expr 2 + 2`
echo $val
注意:
表达式和运算符之间要有空格,例如 2+2 是不对的,必须写成 2 + 2。
完整的表达式要被 ` ` 包含,注意不是单引号,在 Esc 键下边。
详细请参考附件资料《shell 运算符》。
分享到:
相关推荐
### Linux入门及安装详解 #### 一、Linux概述 Linux是一种免费开源的操作系统...通过以上内容的学习和实践,初学者可以逐步掌握Linux的基本操作和管理技巧,为进一步学习大数据技术和相关领域的知识打下坚实的基础。
尚硅谷新版大数据零基础入门到精通全套视频教程作为大数据倡导者,大数据是目前比较火热的技术话题,hadoop、spark等技术都是当今前沿技术,谁掌握了前沿技术,就等于掌握了明天。 Java视频教程目录: 01_尚硅谷...
【尚硅谷大数据技术之Linux1】是一份关于Linux入门及VMware Workstation安装的教程,主要面向准备学习大数据技术的学员。本教程首先简要介绍了Linux操作系统的基本概念和它与Windows的区别,然后详细阐述了如何在...
而Linux操作系统,作为服务器领域最广泛使用的系统之一,是处理大数据的基础平台。本教程旨在为那些希望进入大数据领域的初学者提供一个简单易懂的Linux学习路径,让即使是计算机小白也能在短短三天内掌握Linux的...
### 大数据基础之Linux #### 一、Linux入门概述 **1.1 概述** Linux 是一种开源的操作系统,其内核最初由芬兰程序员林纳斯·托瓦兹(Linus Torvalds)于1991年开发。这款操作系统起初作为一项个人兴趣项目在...
以上就是Linux入门和在VMware中安装CentOS的基本步骤,对于大数据技术的学习者来说,熟练掌握这些基础操作是至关重要的。通过虚拟机环境,可以轻松地在不同版本的Linux之间切换,进行实验和测试,以适应不断变化的...
"大数据之Linux学习"的主题涵盖了Linux操作系统的基础知识,这对于理解和操作大数据环境至关重要。Linux以其开源、稳定和高性能的特点,被广泛应用于服务器和数据中心,尤其是在大数据分析中。 Linux的学习通常从...
【大数据必备入门技能-Linux】课程是针对想要进入大数据领域学习者的重要教程,它涵盖了Linux操作系统的基础知识,因为Linux在大数据处理中扮演着至关重要的角色。Linux系统以其开源、稳定和高效的特点,成为了...
【标题】:景航大数据技术之Linux 【描述】:本文档主要整理了关于Linux的常用命令,适合初学者入门,旨在帮助理解Linux操作系统的基本概念和应用。 【标签】:Linux 【主要内容】: Linux是一种广泛使用的开源...
### 大数据技术-数据kettle-大数据基础kettle数据处理-学习(从入门到精通) #### 一、基础知识 **大数据技术**是指在海量、高速数据环境中进行数据管理和处理的技术体系。随着互联网的发展,数据量呈爆炸式增长,...
总的来说,大数据入门需要掌握Hadoop及其生态圈的原理和应用,理解数据挖掘的数学基础,熟练运用Java编程,以及熟悉Linux操作系统。随着技术的发展,学习Spark和其他相关工具也变得越来越重要,这将有助于应对不断...
【大数据入门指南】是针对初学者的一份详细教程,涵盖了大数据技术栈中的多个重要组件,包括Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper和Flume等。以下是各部分的主要知识点: 1. **Hadoop**: ...
本大纲主要针对大数据的基础知识进行梳理,旨在为学习者提供一个全面的入门指南。 第一章:大数据定义 大数据不仅意味着数据的量大,更体现在其多样性、高速度和价值密度低的特性。这些特性使得传统数据处理方法...
一个资源搞懂大数据所有内容,内含linux基础,hbase,kafka,spark,hdfs等大数据技术.
Linux基础部分,包括Linux的简介,Linux的各种常用命令,属于大数据的入门基础。
大数据基础入门到企业实战 包含hadoop生态圈,数据挖掘数学基础,java基础,linux基础,spark
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark ...
【大数据基础1】这篇内容主要介绍了大数据的基本概念和入门知识,包括Web 2.0对大数据的贡献,单服务器时代的局限性,以及大数据在企业成长和数据分析中的价值。此外,还涉及了大数据开发技术和架构,环境搭建的具体...
1. 基础知识:学习Linux操作系统、编程语言(如Java、Python、Scala)和数据库原理。 2. 大数据框架:深入理解Hadoop、Spark、Hive等框架的原理和使用方法。 3. 分析工具:掌握数据可视化工具(如Tableau、Power BI...