Shell从入门到精通

join 查询优化

熟悉基本shell操作不仅是运维的基本功,对于开发来说也是多多益善,我在学习的过程中,总结了十个练手的小demo,并附上涉及的知识点,仅供娱乐。

1. 多线程ping监控,检查同一网段的IP是否连通

  • Linux 系统中有一个特殊的设备/dev/null,这是一个黑洞。无论往该文件中写入多少数据,都会被系统吞噬、丢弃。如果有些输出信息是我们不再需要的, 则可以使用重定向将输出信息导入该设备文件中。注意:数据一旦导入黑洞将无法找回。
  • 重定向: > 是覆盖重定向, >> 是累加重定向
  • $0 这个程式的执行名字
    $n 这个程式的第n个参数值,n=1..9
    $* 这个程式的所有参数,此选项参数可超过9个。
    $# 这个程式的参数个数
    $$ 这个程式的PID(脚本运行的当前进程ID号)
    $! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)
    $? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误)
    $- 显示shell使用的当前选项,与set命令功能相同
    $@ 跟$*类似,但是可以当作数组用
  • &  表示任务在后台执行,如要在后台运行redis-server,则有  redis-server &
    && 表示前一条命令执行成功时,才执行后一条命令 ,如 echo '1‘ && echo '2'
    | 表示管道,上一条命令的输出,作为下一条命令参数,如 echo 'yes' | wc -l
    || 表示上一条命令执行失败后,才执行下一条命令,如 cat nofile || echo "fail"

  • ping 命令语法

    ping [-dfnqrRv][-c<完成次数>][-i<间隔秒数>][-I<网络界面>][-l<前置载入>][-p<范本样式>][-s<数据包大小>][-t<存活数值>][主机名称或IP地址]
#!/bin/bash
#使用&开启后台进程
net="101.200.35"

mult_ping() {
        ping -c2 -i0.2 -W1 $1 &>/dev/null
        if [ $? -eq 0 ];then
                echo "$1 is up"
        else
                echo "$1 is down"
        fi
}

for i in {0..255}
do
        mult_ping $net.$i &
done
wait
                              

2.进度条功能显示

  • 常见系统预设变量
#!/bin/bash

trap 'kill $!' INT
# 定义宽度为50的进度条
# 输出完成后将/r光标切换到行首,准备下一次进度条显示
bar () {
        while :
                pound=""
                for ((i = 47; i>=1; i-- ))
                do      
                        pound += #
                        printf "|%s%${i}s|\r" "$pound"
                        sleep 0.2
                done    
                
        }       
        
# 调用函数,显示进度符号,直到复制结束kill进度函数
bar &
cp -r $1 $2
kill $!
echo "复制结束"

3. Linux创建进程的三种方式

  1. fork
    通常情况下在系统中通过相对路径或绝对路径执行一个命令时,都会由父进程开启一个子进程,当子进程结束后再返回父进程,这种行为过程就叫作fork。当脚本中正常调用一个外部命令 1或其他脚本时,都会fork一个子Shell进程,我们的命令会运行在这个子Shell中。
  2. exec
    使用 exec 方式调用其他命令或脚本时,系统不会开启子进程,而是使用新的程序替换当前的 Shell 环境,因为当前 Shell 环境被替换了,所以当 exec 调用的程序结束后,当前环境会被关闭。但是有一个特例,当 exec 后面的参数是文件重定向时,不会替换当前 Shell 环境,脚本后续的其他命令也不会受到任何影响。
  3. source或 . (点)
    使用 source 命令或.(点)可以不开启子 Shell,而在当前 Shell 环境中将需要执行的命令加载进来,执行完加载的命令后,继续执行脚本中后续的指令。

分析工具:pstree 进程树

4. 控制进程数量——文件描述符和命名管道

文件描述符

文件描述符是一个非负整数,而内核需要通过这个文件描述符才可以访问文件。当我们在系统中打开已有的文件或新建文件时,内核每次都会给特定的进程返回一个文件描述符,当进程需要对文件进行读或写操作时,都要依赖这个文件描述符进行。文件描述符就像一本书的目录页数(也叫索引),通过这个索引可以找到需要的内容。在 Linux 或类 UNIX系统中内核默认会为每个进程创建三个标准的文件描述符,分别是 0(标准输入)、 1(标准输出)和 2(标准错误)。通过查看/proc/PID 号/fd/目录下的文件,就可以查看每个进程拥有的所有文件描述符。

创建文件描述符:

exec 文件描述符 <> 文件名

调用文件描述符语法格式:

&文件描述符

关闭文件描述符:

exec 文件描述符<&-
exec 文件描述符>&-

命名管道

管道是进程间通信的一种方式,匿名管道,使用|符号就可以创建一个匿名管道,顾名思义,系统会自动创建一个可以读写数据的管道,但是这个管道并没有名称。一个程序往管道中写数据,另一个程序就可以从管道中读取数据。但是匿名管道仅可以实现父进程与子进程之间的数据交换,能不能实现任意两个无关的进程之间的通信呢?答案是肯定的,使用命名管道,也叫FIFO1文件。

命名管道的特征:

  •  FIFO 文件由命令创建(mknod 或 mkfifo 命令),可以在文件系统中直接看到。
  • 写入管道的数据一旦被读取后,就不可以再重复读取。
  • 进程往命名管道中写数据时,如果没有其他进程读取数据,则写进程会被阻塞。
  • 进程尝试从命名管道中读取数据时,如果管道中没有数据,则读进程会被阻塞。
  • 命名管道中的数据常驻内存,并不实际写入磁盘,读写效率会更高。

5. 可任意控制进程数量的多线程ping

第一个demo中,通过 & 开启任意数量线程进行ping,但是这里的线程不可控。我们用上面的文件描述符和命名管道的知识,写一段可控的多线程ping。

【Azure Developer】在Azure Resource Graph Explorer中查看当前订阅下的所有资源信息列表并导出(如VM的名称,IP地址内网/公网,OS,区域等)

#!/bin/bash
  
pipefile=/tmp/procs_$$.temp
num=10
net="101.200.35"

multi_ping() {
        ping -c2 -i0.2 -W1 $1 &>/dev/null
        if [ $? -eq 0 ];then
                echo "$1 is up"
        else
                echo "$1 is down"
        fi
}
# 创建命名管道文件,创建其文件描述符,通过重定向将数据导入管道文件
mkfifo $pipefile
exec 12<>$pipefile
for i in `seq $num`
do
        echo "" >&12 &
done
# 成功读取命名管道中的数据后开启新的进程
# 所有内容读取完之后read被阻塞,无法再启动新的进程
# 等待前面启动的线程结束后,继续往管道文件中写入数据,释放阻塞,再次开启新的线程
for j in {1..254}
do
        read -u12
        {
                multi_ping $net.$j
                echo "" >&12
        } &
done
wait
rm -rf $pipfile

6. sed爬虫批量下载美女图片

  • sed命令汇总




  • sed 是逐行处理软件,我们可能仅输入了一条 sed 指令,但系统会将该指令应用在所有匹配的数据行上,因此相同的指令会被反复执行 N 次,这取决于匹配到的数据有几行。
  • 默认 sed 不支持扩展正则,如果希望使用扩展正则匹配数据,可以使用-r 参数。
  • sed 程序使用=指令可以显示行号,结合条件匹配,可以显示特定数据行的行号。
  • 在 sed 中支持使用感叹号(!)对匹配的条件进行取反操作。

下载思路:用curl获取网站源代码+sed数据清洗获取图片地址+wget下载保存

#!/bin/bash
# 爬取美女图片

# 定义要爬取的网站和保存的文件
page="https://tieba.baidu.com/p/4420470629"
URL="beau.txt"
# 将网站源代码保存到文件中
curl -s https://tieba.baidu.com/p/4420470629 > $URL
# 对源代码数据过滤清洗,获取种子的URL链接
echo -e "\033[32m 正在获取种子 URL,请稍后...\033[0m"
sed -i '/<img/!d' $URL #删除不包含<img 的行
sed -i 's/.*src="//' $URL #删除 src="及其前面的所有内容
sed -i 's/".*//' $URL #删除双引号及其后面的所有内容
echo

#利用循环批量下载所有图片数据
#wget 为下载工具,其参数选项描述如下:
# -P 指定将数据下载到特定目录(prefix)
# -c 支持断点续传(continue)
# -q 不显示下载过程(quiet)
echo -e "\033[32m 正在批量下载种子数据,请稍后...\033[0m"
for i in $(cat $URL)
do
        wget -P tempPhoto/ -c $i
done

这种知识最基本的爬虫,对于反爬虫的网站就嗝屁了,对于那种异步加载的也没办法,总之,就是比较弱。

7. sed随机点名器

做一个互联网大佬的随机点名器

#!/bin/bash
#按 Ctrl+C 组合键时:恢复光标,恢复终端属性,清屏,退出脚本
#防止程序意外中断导致的终端混乱
trap 'tput cnorm;stty $save_property;clear;exit' 2
#定义变量:人员列表文件名,文件的行数,屏幕的行数,屏幕的列数
name_file="name.txt"
line_file=$(sed -n '$=' $name_file)
line_screen=`tput lines`
column_screen=`tput cols`
#设置终端属性
save_property=$(stty -g) #保存当前终端所有属性
tput civis #关闭光标
#随机抽取一个人名(随机点名)
while :
do
        tmp=$(sed -n "$[RANDOM%line_file+1]p" $name_file)
        #随机获取文件的某一行人名
        tput clear #清屏
        tput cup $[line_screen/4] $[column_screen/4]
        echo -e "\033[3;5H 随机点名器(按 P 停止): "
        echo -e "\033[4;5H#############################"
        echo -e "\033[5;5H# #"
        echo -e "\033[6;5H#\t\t$tmp\t\t#"
        echo -e "\033[7;5H# #"
        echo -e "\033[8;5H#############################"
        sleep 0.1
        stty -echo
        read -n1 -t0.1 input
        if [[ $input == "p" || $input == "P" ]];then
                break
        fi
done
tput cnorm #恢复光标
stty $save_property #恢复终端属性

8.系统性能监控脚本

  • awk语法格式
  • awk变量
  • awk条件匹配
  • awk 可以通过-v(variable) 选项设置或者修改变量的值,我们可以使用-v 定义新的变量,也可以使用该选项修改内置变量的值。
  • 使用[]定义分隔符集合,同时设置多个分隔符。比如使用[:,-]表示以冒号(:)、逗号(,)或者横线(-)为分隔符
  • [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value

 

9.监控网络连接状态

  • ss语法格式
#!/bin/bash
# 监控网络连接状态
#所有 TCP 连接的个数
TCP_Total=$(ss -s | awk '$1=="TCP"{print $2}')
#所有 UDP 连接的个数
UDP_Total=$(ss -s | awk '$1=="UDP"{print $2}')
#所有 UNIX sockets 连接个数
Unix_sockets_Total=$(ss -ax | awk 'BEGIN{count=0} {count++} END{print
count}')
#所有处于 Listen 监听状态的 TCP 端口个数
TCP_Listen_Total=$(ss -antlpH | awk 'BEGIN{count=0} {count++} END{print
count}')
#所有处于 ESTABLISHED 状态的 TCP 连接个数
TCP_Estab_Total=$(ss -antpH | awk 'BEGIN{count=0} /^ESTAB/{count++}
END{print count}')
#所有处于 SYN-RECV 状态的 TCP 连接个数
TCP_SYN_RECV_Total=$(ss -antpH | awk 'BEGIN{count=0} /^SYN-RECV/{count++}
END{print count}')
#所有处于 TIME-WAIT 状态的 TCP 连接个数
TCP_TIME_WAIT_Total=$(ss -antpH | awk 'BEGIN{count=0} /^TIME-WAIT/{count++}
END{print count}')
#所有处于 TIME-WAIT1 状态的 TCP 连接个数
TCP_TIME_WAIT1_Total=$(ss -antpH | awk 'BEGIN{count=0}
/^TIME-WAIT1/{count++} END{print count}')
#所有处于 TIME-WAIT2 状态的 TCP 连接个数
TCP_TIME_WAIT2_Total=$(ss -antpH | awk 'BEGIN{count=0}
/^TIME-WAIT2/{count++} END{print count}')
#所有远程主机的 TCP 连接次数
TCP_Remote_Count=$(ss -antH | awk '$1!~/LISTEN/{IP[$5]++} END{ for(i in
IP){print IP[i],i} }' | sort -nr)
#每个端口被访问的次数
TCP_Port_Count=$(ss -antH | sed -r 's/ +/ /g' | awk -F"[ :]"
'$1!~/LISTEN/{port[$5]++} END{for(i in port){print port[i],i}}' | sort -nr)
#定义输出颜色
SUCCESS="echo -en \\033[1;32m" #绿色
NORMAL="echo -en \\033[0;39m" #黑色
#显示 TCP 连接总数
tcp_total(){
        echo -n "TCP 连接总数: "
        $SUCCESS
        echo "$TCP_Total"
        $NORMAL
} 
#显示处于 LISTEN 状态的 TCP 端口个数
tcp_listen(){
        echo -n "处于 LISTEN 状态的 TCP 端口个数: "
        $SUCCESS
        echo "$TCP_Listen_Total"
        $NORMAL
} 
#显示处于 ESTABLISHED 状态的 TCP 连接个数
tcp_estab(){
        echo -n "处于 ESTAB 状态的 TCP 连接个数: "
        $SUCCESS
        echo "$TCP_Estab_Total"
        $NORMAL
} 
#显示处于 SYN-RECV 状态的 TCP 连接个数
tcp_syn_recv(){
        echo -n "处于 SYN-RECV 状态的 TCP 连接个数: "
        $SUCCESS
        echo "$TCP_SYN_RECV_Total"
        $NORMAL
} 
#显示处于 TIME-WAIT 状态的 TCP 连接个数
tcp_time_wait(){
        echo -n "处于 TIME-WAIT1 状态的 TCP 连接个数: "
        $SUCCESS
        echo "$TCP_TIME_WAIT1_Total"
        $NORMAL
} 
#显示处于 TIME-WAIT2 状态的 TCP 连接个数
tcp_time_wait2(){
        echo -n "处于 TIME-WAIT2 状态的 TCP 连接个数: "
        $SUCCESS
        echo "$TCP_TIME_WAIT2_Total"
        $NORMAL
} 
#显示 UDP 连接总数
udp_total(){
        echo -n "UDP 连接总数: "
        $SUCCESS
        echo "$UDP_Total"
        $NORMAL
} 
#显示 UNIX sockets 连接总数
unix_total(){
        echo -n "Unix sockets 连接总数: "
        $SUCCESS
        echo "$Unix_sockets_Total"
        $NORMAL
} 
#显示每个远程主机的访问次数
remote_count(){
        echo "每个远程主机与本机的并发连接数: "
        $SUCCESS
        echo "$TCP_Remote_Count"
        $NORMAL
} 
#显示每个端口的并发连接数
port_count(){
        echo "每个端口的并发连接数: "
        $SUCCESS
        echo "$TCP_Port_Count"
        $NORMAL
}

print_info(){
        echo -e "------------------------------------------------------"
        $1
}
print_info tcp_total
print_info tcp_listen
print_info tcp_estab
print_info tcp_syn_recv
print_info tcp_time_wait
print_info tcp_time_wait1
print_info tcp_time_wait2
print_info udp_total
print_info unix_total
print_info remote_count
print_info port_count
echo -e "------------------------------------------------------"

 

 

参考

.net core 和 WPF 开发升讯威在线客服与营销系统:使用 TCP协议 实现稳定的客服端

相关推荐

发表评论

路人甲

网友评论(0)