什么时候使用Shell
因为Shell似乎是各UNIX系统之间通用的功能,并且经过了POSIX的标准化。因此,Shell脚本只要“用心写”一次,即可应用到很多系统上。因此,之所以要使用Shell脚本是基于:
•简单性:Shell是一个高级语言;通过它,你可以简洁地表达复杂的操作。
•可移植性:使用POSIX所定义的功能,可以做到脚本无须修改就可在不同的系统上执行。
•开发容易:可以在短时间内完成一个功能强大又妤用的脚本。
但是,考虑到Shell脚本的命令限制和效率问题,下列情况一般不使用Shell:
1.资源密集型的任务,尤其在需要考虑效率时(比如,排序,hash等等)。
2.需要处理大任务的数学操作,尤其是浮点运算,精确运算,或者复杂的算术运算(这种情况一般使用C++或FORTRAN 来处理)。
3.有跨平台(操作系统)移植需求(一般使用C 或Java)。
4.复杂的应用,在必须使用结构化编程的时候(需要变量的类型检查,函数原型,等等)。
5.对于影响系统全局性的关键任务应用。
6.对于安全有很高要求的任务,比如你需要一个健壮的系统来防止入侵、破解、恶意破坏等等。
7.项目由连串的依赖的各个部分组成。
8.需要大规模的文件操作。
9.需要多维数组的支持。
10.需要数据结构的支持,比如链表或数等数据结构。
11.需要产生或操作图形化界面 GUI。
12.需要直接操作系统硬件。
13.需要 I/O 或socket 接口。
14.需要使用库或者遗留下来的老代码的接口。
15.私人的、闭源的应用(shell 脚本把代码就放在文本文件中,全世界都能看到)。
如果你的应用符合上边的任意一条,那么就考虑一下更强大的语言吧——或许是Perl、Tcl、Python、Ruby——或者是更高层次的编译语言比如C/C++,或者是Java。即使如此,你会发现,使用shell来原型开发你的应用,在开发步骤中也是非常有用的。
第一个Shell脚本
打开文本编辑器,新建一个文件,扩展名为sh(sh代表shell),扩展名并不影响脚本执行,见名知意就好,如果你用php写shell 脚本,扩展名就用php好了。
输入一些代码:
#!/bin/bash
echo "Hello World !"
“#!” 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种Shell。echo命令用于向窗口输出文本。
运行Shell脚本有两种方法。
作为可执行程序
将上面的代码保存为test.sh,并cd到相应目录:
chmod +x ./test.sh #使脚本具有执行权限
./test.sh #执行脚本
注意,一定要写成./test.sh,而不是test.sh。运行其它二进制的程序也一样,直接写test.sh,linux系统会去PATH里寻找有没有叫test.sh的,而只有/bin, /sbin, /usr/bin,/usr/sbin等在PATH里,你的当前目录通常不在PATH里,所以写成test.sh是会找不到命令的,要用./test.sh告诉系统说,就在当前目录找。
通过这种方式运行bash脚本,第一行一定要写对,好让系统查找到正确的解释器。
这里的"系统",其实就是shell这个应用程序(想象一下Windows Explorer),但我故意写成系统,是方便理解,既然这个系统就是指shell,那么一个使用/bin/sh作为解释器的脚本是不是可以省去第一行呢?是的。
作为解释器参数
这种运行方式是,直接运行解释器,其参数就是shell脚本的文件名,如:
/bin/sh test.sh
/bin/php test.php
这种方式运行的脚本,不需要在第一行指定解释器信息,写了也没用。
zookeeper来完成分布式锁的功能,其实本质上是与主从切换的实现代码是非常类似的,但是功能上强调的重点不一样。
至于,为什么需要分布式锁(公平锁)?为什么不使用JAVA 自带的锁的应用?
1,为什么需要分布式锁? 因为在分布式环境下,可能会出现一些事务,这时候我们除了可以在存储层的数据库进行控制,也可以在应用层控制,举个例子来讲,中国的飞机路线,我们都知道任何时候,都只能由一架飞机通过,而这个控制这个由谁通过,什么时候通过,是由一个信号控制台来决定的,分布式的环境下由于节点分散在各个地方,各个区域,所以控制起来比较麻烦,这时候我们就可以使用zookeeper来轻松的完成,分布式锁的功能。
2,为什么不使用JAVA自带的锁?JAVA JDK提供了公平锁,与非公平锁,但这种实现是基于同一个JVM来说的,如果同一台机器上,不同的JVM,则可以使用文件锁,来实现,但是这些并不是分布式的模式,虽然可以通过RMI的方式来实现,但比较繁琐。
使用zookeeper来完成分布式锁的步骤如下:
序号 | 内容 | 1 | 创建一个持久znode | 2 | 多个程序并发的去zk服务上,创建一个短暂有时序性的节点路径。 | 3 | 各个节点监听,比它小的里面,最大的节点的动态。 | 4 | 如果发现,比它小的里面,最大的节点发生锁释放或退出,就自动接替为独占锁 | 5 | 没发生改变的节点,继续重复步骤,2,3,4 |
拓扑图如下所示:
注意上图中的master指的就是,获取锁的实例,这其实跟集群环境里只能有一个master的道理一样。
代码如下:
- package com.test;
- import java.nio.charset.Charset;
- import java.nio.charset.StandardCharsets;
- import java.text.SimpleDateFormat;
- import java.util.Collections;
- import java.util.Date;
- import java.util.List;
- import java.util.concurrent.CountDownLatch;
- import org.apache.zookeeper.CreateMode;
- import org.apache.zookeeper.WatchedEvent;
- import org.apache.zookeeper.Watcher;
- import org.apache.zookeeper.ZooDefs.Ids;
- import org.apache.zookeeper.ZooKeeper;
- import org.apache.zookeeper.Watcher.Event.KeeperState;
- import org.apache.zookeeper.data.Stat;
- /***
- * 基于zookeeper实现的
- * 分布式公平锁
- *
- * @author qin dong liang
- * QQ技术群交流:324714439
- *
- * */
- public class Lock1 implements Watcher {
- /**
- * ZK实例
- * */
- private ZooKeeper zk;
- /**原子计数锁,防止在zk没有连上前,执行CURD操作*/
- private CountDownLatch down=new CountDownLatch(1);
- public Lock1() {
- // TODO Auto-generated constructor stub
- }
- public Lock1(String host)throws Exception {
- this.zk=new ZooKeeper(host, 5000 , new Watcher() {
- @Override
- public void process(WatchedEvent event) {
- // TODO Auto-generated method stub
- /**链接上zk服务,岂可取消阻塞计数**/
- if(event.getState()==KeeperState.SyncConnected){
- down.countDown();
- }
- }
- });
- }
- /**
- * 字符编码
- *
- * **/
- private static final Charset CHARSET=StandardCharsets.UTF_8;
- /***
- *
- * 此方法是写入数据
- * 如果不存在此节点
- * 就会新建,已存在就是
- * 更新
- *
- * **/
- public void write(String path,String value)throws Exception{
- Stat stat=zk.exists(path, false);
- if(stat==null){
- zk.create(path, value.getBytes(CHARSET), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
- }else{
- zk.setData(path, value.getBytes(CHARSET), -1);
- }
- }
- /**
- *
- * 切换锁
- *
- * **/
- public void check()throws Exception{
- List<String> list=zk.getChildren("/a", null);
- Collections.sort(list);//排序使得节点有次序
- if(list.isEmpty()){
- System.out.println("此父路径下面没有节点,分布式锁任务完成或还没启动!");
- }else{
- String start=list.get(0);//获取第一个节点
- String data=new String(zk.getData("/a/"+start, false,null));
- if(data.equals("a")){//等于本身就启动作为Master
- if(list.size()==1){
- startMaster();//作为Master启动
- }else{
- automicSwitch();//对于非第一个启动的节点,会调用此方法,因为他的第一个挂了
- //或释放锁了,所以它是抢占的
- }
- }else{
- //非当前节点,就打印当前节点,监控的节点
- for(int i=0;i<list.size();i++){
- //获取那个节点存的此客户端的模拟IP
- String temp=new String(zk.getData("/a/"+list.get(i), false, null));
- if(temp.equals("a")){
- //因为前面作为首位判断,所以这个出现的位置不可能是首位
- //需要监听小节点里面的最大的一个节点
- String watchPath=list.get(i-1);
- System.out.println("Lock1监听的是: "+watchPath);
- zk.exists("/a/"+watchPath, this);//监听此节点的详细情况,如果发生节点注销事件
- //则会触发自身的process方法
- break;//结束循环
- }
- }
- }
- }
- }
- @Override
- public void process(WatchedEvent event) {
- // TODO Auto-generated method stub
- if(event.getType()==Event.EventType.NodeDeleted){
- //如果发现,监听的节点,挂掉了,那么就重新,进行监听
- try{
- System.out.println("注意有锁退出或释放,公平锁开始抢占........");
- check();
- }catch(Exception e){
- e.printStackTrace();
- }
- }
- }
- /**
- *
- * 读取数据,给定一个路径和
- * 监听事件
- *
- * ***/
- public String read(String path,Watcher watch)throws Exception{
- byte[] data=zk.getData(path, watch, null);
- return new String(data,CHARSET);
- }
- SimpleDateFormat f=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
- /**
- * 关闭zk连接
- *
- * **/
- public void close()throws Exception{
- zk.close();
- }
- /**
- * 释放锁
- * @throws Exception
- */
- public void automicSwitch()throws Exception{
- // System.out.println("有节点释放锁,Lock1锁占入......., 时间 "+f.format(new Date()));
- System.out.println("Lock1的上级锁节点退出或释放锁了,Lock1锁占入......., 时间 "+f.format(new Date()));
- }
- /**
- * 创建一个持久node,
- *
- * **/
- public void createPersist()throws Exception{
- zk.create("/a", "主节点".getBytes(), Ids.OPEN_ACL_UNSAFE , CreateMode.PERSISTENT);
- System.out.println("创建主节点成功........");
- }
- /***
- * 创建锁node,注意是抢占 的
- *
- *
- * */
- public void createTemp()throws Exception{
- zk.create("/a/b", "a".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
- System.out.println("Lock1注册锁成功,进入公平队列...........");
- }
- public static void main(String[] args)throws Exception {
- //Slave s=new Slave("192.168.120.128:2181");
- Lock1 lock=new Lock1("192.168.120.128:2181");
- // lock.createPersist();//创建主节点
- lock.createTemp();//注册临时有序节点
- lock.check();
- Thread.sleep(Long.MAX_VALUE);
- //lock.close();
- }
- /***
- * 获取锁成功
- *
- * */
- public void startMaster(){
- System.out.println("Lock1节点获取锁了,其他节点等待........");
- }
- }
package com.test; import java.nio.charset.Charset; import java.nio.charset.StandardCharsets; import java.text.SimpleDateFormat; import java.util.Collections; import java.util.Date; import java.util.List; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooDefs.Ids; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Watcher.Event.KeeperState; import org.apache.zookeeper.data.Stat; /*** * 基于zookeeper实现的 * 分布式公平锁 * * @author qin dong liang * QQ技术群交流:324714439 * * */ public class Lock1 implements Watcher { /** * ZK实例 * */ private ZooKeeper zk; /**原子计数锁,防止在zk没有连上前,执行CURD操作*/ private CountDownLatch down=new CountDownLatch(1); public Lock1() { // TODO Auto-generated constructor stub } public Lock1(String host)throws Exception { this.zk=new ZooKeeper(host, 5000 , new Watcher() { @Override public void process(WatchedEvent event) { // TODO Auto-generated method stub /**链接上zk服务,岂可取消阻塞计数**/ if(event.getState()==KeeperState.SyncConnected){ down.countDown(); } } }); } /** * 字符编码 * * **/ private static final Charset CHARSET=StandardCharsets.UTF_8; /*** * * 此方法是写入数据 * 如果不存在此节点 * 就会新建,已存在就是 * 更新 * * **/ public void write(String path,String value)throws Exception{ Stat stat=zk.exists(path, false); if(stat==null){ zk.create(path, value.getBytes(CHARSET), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); }else{ zk.setData(path, value.getBytes(CHARSET), -1); } } /** * * 切换锁 * * **/ public void check()throws Exception{ List<String> list=zk.getChildren("/a", null); Collections.sort(list);//排序使得节点有次序 if(list.isEmpty()){ System.out.println("此父路径下面没有节点,分布式锁任务完成或还没启动!"); }else{ String start=list.get(0);//获取第一个节点 String data=new String(zk.getData("/a/"+start, false,null)); if(data.equals("a")){//等于本身就启动作为Master if(list.size()==1){ startMaster();//作为Master启动 }else{ automicSwitch();//对于非第一个启动的节点,会调用此方法,因为他的第一个挂了 //或释放锁了,所以它是抢占的 } }else{ //非当前节点,就打印当前节点,监控的节点 for(int i=0;i<list.size();i++){ //获取那个节点存的此客户端的模拟IP String temp=new String(zk.getData("/a/"+list.get(i), false, null)); if(temp.equals("a")){ //因为前面作为首位判断,所以这个出现的位置不可能是首位 //需要监听小节点里面的最大的一个节点 String watchPath=list.get(i-1); System.out.println("Lock1监听的是: "+watchPath); zk.exists("/a/"+watchPath, this);//监听此节点的详细情况,如果发生节点注销事件 //则会触发自身的process方法 break;//结束循环 } } } } } @Override public void process(WatchedEvent event) { // TODO Auto-generated method stub if(event.getType()==Event.EventType.NodeDeleted){ //如果发现,监听的节点,挂掉了,那么就重新,进行监听 try{ System.out.println("注意有锁退出或释放,公平锁开始抢占........"); check(); }catch(Exception e){ e.printStackTrace(); } } } /** * * 读取数据,给定一个路径和 * 监听事件 * * ***/ public String read(String path,Watcher watch)throws Exception{ byte[] data=zk.getData(path, watch, null); return new String(data,CHARSET); } SimpleDateFormat f=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); /** * 关闭zk连接 * * **/ public void close()throws Exception{ zk.close(); } /** * 释放锁 * @throws Exception */ public void automicSwitch()throws Exception{ // System.out.println("有节点释放锁,Lock1锁占入......., 时间 "+f.format(new Date())); System.out.println("Lock1的上级锁节点退出或释放锁了,Lock1锁占入......., 时间 "+f.format(new Date())); } /** * 创建一个持久node, * * **/ public void createPersist()throws Exception{ zk.create("/a", "主节点".getBytes(), Ids.OPEN_ACL_UNSAFE , CreateMode.PERSISTENT); System.out.println("创建主节点成功........"); } /*** * 创建锁node,注意是抢占 的 * * * */ public void createTemp()throws Exception{ zk.create("/a/b", "a".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); System.out.println("Lock1注册锁成功,进入公平队列..........."); } public static void main(String[] args)throws Exception { //Slave s=new Slave("192.168.120.128:2181"); Lock1 lock=new Lock1("192.168.120.128:2181"); // lock.createPersist();//创建主节点 lock.createTemp();//注册临时有序节点 lock.check(); Thread.sleep(Long.MAX_VALUE); //lock.close(); } /*** * 获取锁成功 * * */ public void startMaster(){ System.out.println("Lock1节点获取锁了,其他节点等待........"); } }
代码如上,所示,测试的时候,需要搭建一个3个节点的zookeeper集群,关于怎么搭建zookeeper集群,散仙前面的文章里有介绍,需要注意的是myid文件不要漏掉。
上面这个类,需要拷贝多份,并改变里面的节点的值,放在不同的eclipse中,进行模拟测试。
相关推荐
这时,Zookeeper,一个高可用的分布式协调服务,常被用来实现分布式锁。 Zookeeper由Apache基金会开发,它提供了一种可靠的分布式一致性服务,包括命名服务、配置管理、集群同步、领导者选举等功能。Zookeeper基于...
本文将深入探讨如何利用ZooKeeper来构建分布式锁,并讨论其背后的关键概念和技术细节。 **1. ZooKeeper概述** ZooKeeper是一个高可用、高性能的分布式协调服务,它提供了诸如命名服务、配置管理、分布式同步、组...
Zookeeper是一个分布式服务协调框架,它提供了一种简单且高效的方式来实现分布式锁。 **一、Zookeeper简介** Zookeeper是由Apache开发的开源项目,它提供了一个高可用的分布式协调服务,包括命名服务、配置管理、...
这些库提供了丰富的API,使得开发者能够方便地实现包括分布式锁在内的各种功能。 总结,Zookeeper通过其提供的节点创建、监视等特性,为分布式锁的实现提供了强大的支持。客户端通过创建和监视临时顺序节点,实现锁...
在这个场景下,我们将详细探讨如何利用Zookeeper来实现分布式锁。 分布式锁的核心目标是在多个节点间实现互斥访问某个资源,确保同一时刻只有一个客户端能够持有锁。Zookeeper通过其提供的原子操作,如创建、删除...
ZooKeeper基于Paxos等一致性算法,实现了简单易用的接口,使得开发者无需关心底层复杂的共识机制,就能轻松实现诸如命名服务、配置管理、集群同步、分布式锁等功能。ZooKeeper的数据模型是一个层次化的命名空间,...
在这个"zookeeper的分布式全局锁纯代码解决方案"中,我们将探讨如何利用Zookeeper来构建一套易于理解和扩展的分布式锁。 首先,Zookeeper的特性使其成为实现分布式锁的理想选择。Zookeeper提供了原子性的读写操作、...
通过深入理解Zookeeper的工作原理以及ZookeeperNet库的使用,开发者可以有效地在C#环境中实现高可用的分布式锁,保障多节点之间的协同工作和数据一致性。在实际项目中,分布式锁可以广泛应用于数据库操作、并发任务...
在C#开发环境中,我们可以借助外部协调服务,如Apache ZooKeeper,来实现分布式锁。ZooKeeper是一个高可用的分布式协调服务,它提供了诸如命名服务、配置管理、分布式同步、组服务等功能。本篇将深入探讨如何在C#中...
ZooKeeper 也可以用来实现分布式锁,通过创建临时节点来获取锁,并通过 Watcher 机制来监听锁的释放。但是,ZooKeeper 的实现机制与 Redis 不同,ZooKeeper 是基于 Paxos 协议的分布式一致性协议,能够提供高可用性...
ZooKeeper是一个高度可靠的分布式协调服务,它提供了诸如分布式锁、队列和配置管理等核心功能。Curator则是Apache ZooKeeper的一个客户端库,它简化了ZooKeeper的使用,提供了丰富的工具和策略,使得开发人员能够更...
2. **框架方式**:除了直接使用Zookeeper API,还可以借助于像Curator这样的框架,它提供了更高级别的抽象和便利的功能,如Lock接口,简化了分布式锁的实现,降低了开发难度。 接下来是Redis的分布式锁。Redis是一...
在分布式锁场景中,Spring Boot作为基础框架,提供服务启动、配置管理和组件集成等功能。 2. **Redis**:Redis是一款高性能的内存数据存储系统,支持多种数据结构如字符串、哈希、列表、集合、有序集合等。在分布式...
4. **分布式锁**:ZooKeeper可以实现分布式锁,确保在多线程或分布式环境下,对共享资源的访问有序且互斥。 5. **领导者选举**:ZooKeeper的ZAB协议可以用于分布式环境中的领导者选举,确保集群的高可用性。 **三...
基于ZooKeeper实现分布式锁是通过创建临时有序节点来实现的。具体步骤包括: 1. **创建临时有序节点**:客户端尝试获取锁时,在指定的ZooKeeper节点下创建一个唯一的临时有序节点。 2. **判断是否获得锁**:检查...
这个系统被设计用于处理大规模分布式应用中的数据一致性问题,提供了一个高度可靠的命名服务、配置管理、分布式锁和组服务等基础功能。在分布式环境中,ZooKeeper扮演着至关重要的角色,帮助简化复杂系统的管理和...
- **分布式锁**:通过特定的ZNode结构,实现共享锁服务。 - **队列服务**:FIFO(先进先出)的队列可以通过ZNode的顺序创建实现。 3. **ZooKeeper的架构** - **客户端-服务器模型**:每个客户端连接到一个或多个...
4. 分布式锁:提供读写锁服务,确保多线程或分布式环境下的资源互斥访问。 5. 路由服务:帮助客户端找到集群中的合适服务器,避免单点故障。 三、ZooKeeper的架构设计 1. 集群模式:由多个服务器组成,每个服务器...
ZooKeeper提供了一种协调服务,能够很好地支持分布式锁功能。ZooKeeper的核心特性之一是其强大的一致性模型,通过ZAB协议(ZooKeeper Atomic Broadcast Protocol)实现了数据的一致性。 在使用ZooKeeper实现分布式...
本项目“分布式锁和配置管理中心的实现,采用zookeeper的全局有序的特性来实现”旨在提供一个基于Zookeeper的高效、可靠的分布式锁解决方案,并结合配置管理功能,确保系统在扩展性、一致性和高可用性方面的表现。...