shell多线程之基于管道实现并发

在shell脚本里批量执行程序是比较常见的方式，如果程序很多，每个执行时间比较长，则顺序执行需要花费大量的时间。

此时并发就成为我们考虑的方向。

上篇《shell多线程》中我们已经简单实现了基于for循环的并发，可以显著提高工作效率；

缺点是CPU的核心不是无限的，如果全部占用，则会影响系统的正常运行。

这个时候我们就考虑利用linux系统的管道来进行最大并发数的管控。

1.举例：

一个厕所有10个蹲位，如果100个人来使用，则势必形成竞争，这时管理员给每个蹲位一个锁和一把钥匙，先来的人拿钥匙开锁开始使用；

蹲位全部占满后后面的人等待，当有一个蹲位空出，则交出钥匙给等待队列中的第一个人，如此循环，直到等待队列为空。

2.文件描述符

管道具有存一个读一个，读完一个就少一个，没有则阻塞，放回的可以重复取，这正是队列特性，解决这个问题的关键就是文件描述符了。

3. mkfifo /tmp/fd1    

创建有名管道文件exec 3/tmp/fd1，创建文件描述符3关联管道文件，这时候3这个文件描述符就拥有了管道的所有特性，还具有一个管道不具有的特性：无限存不阻塞，无限取不阻塞，而不用关心管道内是否为空，也不用关心是否有内容写入引用文件描述符： &3可以执行n次echo >&3 往管道里放入n把钥匙

4.完整代码
#!/bin/bash

[ -e /tmp/fd1 ] || mkfifo /tmp/fd1 #创建有名管道
exec 3/tmp/fd1                   #创建文件描述符，以可读（）的方式关联管道文件，这时候文件描述符3就有了有名管道文件的所有特性
rm -rf /tmp/fd1                    #关联后的文件描述符拥有管道文件的所有特性,所以这时管道文件可以删除，我们留下文件描述符来用就可以
for ((i=1;i&3                   #&3代表引用文件描述符3，这条命令代表往管道里面放入了一个"令牌"，文件描述符可以使用0/1/2/225之外的其他数字，这几个已被占用
done

for ((i=1;i&3                   #代表我这一次命令执行到最后，把令牌放回管道
}&
done
wait

exec 3&-                       #关闭文件描述符的写
4.由于从前写的脚本大部分都是以方法的形式存在的，所以想要落地就需要对上面的脚本做一些修改，保证每次循环都会执行一个方法

t1Fun(){
echo 1
}
t2Fun(){
echo 2
}
t3Fun(){
echo 3
}
t4Fun(){
echo 4
}
[ -e /tmp/fd1 ] || mkfifo /tmp/fd1
exec 3/tmp/fd1
rm -rf /tmp/fd1
for ((i=1;i&3
done

for ((i=1;i&3
}&
done
wait

exec 3&-

三、最佳实践
以队列的形式并发执行固然很好，每次并发的进程是可控的，可以提高效率还能防止系统奔溃。但是存在一个问题就是每一批的并发进程的执行时间是由这些进程里面执行最慢的决定，先前执行完的进程要等待没有执行完的进程。下面介绍并发执行的最佳实践
able File  45 lines (37 sloc)  696 Bytes
#!/bin/bash
# 并发运行的最佳实践

# 总进程数
Sp=15
# 并发数,并发数过大可能造成系统崩溃
Qp=5
# 存放进程的队列
Qarr=();
# 运行进程数
run=0
# 将进程的添加到队列里的函数
function push() {
Qarr=(${Qarr[@]} $1)
run=${#Qarr[@]}
}
# 检测队列里的进程是否运行完毕
function check() {
oldQ=(${Qarr[@]})
Qarr=()
for p in "${oldQ[@]}";do
if [[ -d "/proc/$p" ]];then
Qarr=(${Qarr[@]} $p)
fi
done
run=${#Qarr[@]}
}

# main
for((i=0; i