写点什么

系统管理 -Linux 重定向与管道

  • 2022 年 8 月 05 日
  • 本文字数:4975 字

    阅读完需:约 16 分钟

系统管理-Linux重定向与管道
  • 标准输入与输出

  • 输出重定向

  • 输入重定向

  • 进程管道技术

  • tee 管道技术

  • 参数传递 xargs

为何要使用重定向

  1. 当屏幕输出的信息很重要,而且希望保存重要的信息时

  2. 后台执行中的程序,不希望他干扰屏幕正常的输出结果时

  3. 系统的例行命令, 例如定时任务的执行结果,希望他可以存下来时

  4. 一些执行命令,我们已经知道他可能出现错误信息, 想将他直接丢弃时

  5. 错误日志与标准正确日志需要分别输出至不同的文件



标准输入与输出

执行一个 shell 程序时通常会自动打开三个标准文件
  1. 标准输入(STDIN,文件描述符为 0):通常对应终端的键盘,也可从其他文件或命令或者文件内容中输入

  2. 标准输出(STDOUT,文件描述符为 1):默认输出到屏幕

  3. 错误输出(STDERR,文件描述符为 2):默认输出到屏幕


文件名称(filename,文件描述符为 3+)


进程将从标准输入中得到数据,将正常输出打印至屏幕终端,将错误的输出信息也打印至屏幕终端


进程使用文件描述符(file descriptors)来管理打开的文件

图片


以 cat 命令为例, cat 命令的功能是从命令行给出的文件中读取数据,并将这些数据直接送到标准输出。若使用如下命令:


[root@liza ~]# cat /etc/passwd
复制代码


将会把文件/etc/passwd 的内容依次显示到屏幕上


但如果 cat 命令行中没有参数, 它就会从标准输入中读取数据, 并将其送到标准输出


[root@liza ~]# cat hellohello^C用户输入的每一行都立刻被cat命令输出到屏幕上
复制代码
输入输出过程检测

持续追踪查看文件内容


[root@liza ~]# tail -f /etc/passwdctrl+z 将进程转到后台
复制代码
查看运行的进程
[root@liza ~]# ps   PID TTY          TIME CMD 14550 pts/2    00:00:00 bash 14678 pts/2    00:00:00 tail 14687 pts/2    00:00:00 ps
复制代码
查看 6885 进程下的文件描述符
[root@liza ~]# ls -l /proc/6885/fd
复制代码
Linux 查看标准输入输出设备
[root@liza ~]# ls -l /dev/std*lrwxrwxrwx. 1 root root 15 Jan  3 23:07 /dev/stderr -> /proc/self/fd/2lrwxrwxrwx. 1 root root 15 Jan  3 23:07 /dev/stdin -> /proc/self/fd/0lrwxrwxrwx. 1 root root 15 Jan  3 23:07 /dev/stdout -> /proc/self/fd/1
复制代码



输出重定向

重定向: 改变标准输入、标准输出的方向的就是重定向


  1. 标准覆盖输出重定向 >

  2. 标准追加输出重定向 >>

  3. 错误覆盖输出重定向 2>

  4. 错误追加输出重定向 2>>

  5. 输入重定向 <

案例 1: 标准输出重定向(覆盖)


标准输出重定向, 先清空,后写入, 如果文件不存在则创建


[root@liza ~]# ifconfig ens33 > abc[root@liza ~]# cat abc ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500        inet 192.168.112.177  netmask 255.255.255.0  broadcast 192.168.112.255        inet6 fe80::7af1:a53:132c:c51e  prefixlen 64  scopeid 0x20<link>        ether 00:0c:29:28:4d:99  txqueuelen 1000  (Ethernet)        RX packets 1182  bytes 1051459 (1.0 MiB)        RX errors 0  dropped 0  overruns 0  frame 0        TX packets 511  bytes 48543 (47.4 KiB)        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
复制代码
案例 2: 标准输出重定向(追加)


标准追加输出重定向, 向配置文件末尾追加内容


[root@liza ~]# echo "This is network conf" >> abc [root@liza ~]# cat abc ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500        inet 192.168.112.177  netmask 255.255.255.0  broadcast 192.168.112.255        inet6 fe80::7af1:a53:132c:c51e  prefixlen 64  scopeid 0x20<link>        ether 00:0c:29:28:4d:99  txqueuelen 1000  (Ethernet)        RX packets 1182  bytes 1051459 (1.0 MiB)        RX errors 0  dropped 0  overruns 0  frame 0        TX packets 511  bytes 48543 (47.4 KiB)        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
This is network conf
复制代码
案例 3: 错误输出重定向
案例 4: 正确和错误都输入到相同位置
案例 5: 正确和错误都输入到相同位置


重定向到相同的位置


[root@liza ~]# ls /root/ /error > ab 2>&1
复制代码
案例 6: 重定向到空设备/dev/null
案例 7: 脚本中使用重定向
[root@liza ~]# vim ping.sh#!/bin/bashping -c1 192.168.112.177if [ $? -eq 0 ]; then  echo "192.168.112.177 is up."else  echo"192.168.112.177 is down."fi[root@liza ~]# chmod +x ping.sh [root@liza ~]# ./ping.sh [root@liza ~]# ./ping.sh PING 192.168.112.177 (192.168.112.177) 56(84) bytes of data.64 bytes from 192.168.112.177: icmp_seq=1 ttl=64 time=0.061 ms
--- 192.168.112.177 ping statistics ---1 packets transmitted, 1 received, 0% packet loss, time 0msrtt min/avg/max/mdev = 0.061/0.061/0.061/0.000 ms192.168.112.177 is up.
复制代码


改进后版


[root@liza ~]# cat ping.sh #!/bin/bashping -c1 192.168.112.177 &> /dev/nullif [ $? -eq 0 ]; then  echo "192.168.112.177 is up."else  echo"192.168.112.177 is down."fi[root@liza ~]# ./ping.sh 192.168.112.177 is up.
复制代码
案例 8: 脚本中使用重定向
[root@liza ~]# vim ping2.sh#!/bin/bashping -c1 192.168.112.177 &> /dev/nullif [ $? -eq 0 ]; then  echo "192.168.112.177 is up." >> up.txtelse  echo "192.168.112.177 is down." >> down.txtfi[root@liza ~]# chmod +x ping2.sh [root@liza ~]# ./ping2.sh [root@liza ~]# cat up.txt 192.168.112.177 is up.
复制代码



输入重定向

标准输入: < 等价 0<

案例 1

没有改变输入的方向,默认键盘


[root@liza ~]# mail aliceSubject: hello111122223333.EOT
复制代码


检查是否收到邮件


[root@liza ~]# su - alice[root@liza ~]# mail
复制代码
案例 2

没有改变输入的方向,默认键盘,此时等待输入


[root@liza ~]# grep 'root'xxxxxx[3]+  Stopped                 grep --color=auto 'root'[root@liza ~]# grep 'root' < /etc/passwdroot:x:0:0:root:/root:/bin/bash
复制代码
案例 3
[root@liza ~]# dd if=/dev/zero of=/file1.txt bs=1M count=2020+0 records in20+0 records out20971520 bytes (21 MB) copied, 0.0145257 s, 1.4 GB/s[root@liza ~]# dd </dev/zero >/file2.txt bs=1M count=2020+0 records in20+0 records out20971520 bytes (21 MB) copied, 0.015726 s, 1.3 GB/s
复制代码
案例 4

mysql 表结构导入


[root@liza ~]# mysql -uroot -p123 < bbs.sql
复制代码
案例 5: 利用重定向建立多行的文件

手动执行 shell 命令


[root@liza ~]# echo "111" > file1.txt[root@liza ~]# cat file1.txt 111[root@liza ~]# cat > file2.txt111122333[root@liza ~]# cat >> file3.txtaaabbbccc
复制代码
案例 6: 利用重定向建立多行的文件

脚本 script 创建多行文件


[root@liza ~]# vim create_file.sh#!/bin/bashcat > file200.txt <<EOF111222333yyyzzzEOF[root@liza ~]# chmod u+x create_file.sh [root@liza ~]# ./create_file.sh [root@liza ~]# cat file200.txt 111222333yyyzzz
复制代码


[root@liza ~]# vim vm.sh#!/bin/bashcat <<-EOF+------------------- --- ---- --- ---- --- --- ---- --- --+ ||| ====================== | | 虚拟机基本管理 v5.0 || by liza || ====================== | | 1. 安装 KVM || 2. 安装或重置 rhel-7.4 | | 3. 安装或重置 rhel-8.2 | | 5. 安装或重置 Windows-7  | | 6. 删除所有虚拟机 || q. 退出管理程序 |+------------------- --- ---- --- ---- --- --- ---- --- --+ EOF[root@liza ~]# chmod +x vm.sh [root@liza ~]# ./vm.sh +------------------- --- ---- --- ---- --- --- ---- --- --+ ||| ====================== | | 虚拟机基本管理 v5.0 || by liza || ====================== | | 1. 安装 KVM || 2. 安装或重置 rhel-7.4 | | 3. 安装或重置 rhel-8.2 | | 5. 安装或重置 Windows-7  | | 6. 删除所有虚拟机 || q. 退出管理程序 |+------------------- --- ---- --- ---- --- --- ---- --- --+ 
复制代码
案例 7: 两条命令同时重定向
[root@liza ~]# ls; date &> /dev/null[root@liza ~]# ls &>/dev/null; date &>/dev/null[root@liza ~]# (ls; date) &>/dev/null
复制代码
后台执行
[root@liza ~]# (while :; do date; sleep 2; done) &[4] 15385[root@liza ~]# (while :; do date; sleep 2; done) &>date.txt &[1] 15492[root@liza ~]# (while :; do date; sleep 2; done) &>date.txt &[1] 15492[root@liza ~]# jobs[1]+  Running                 ( while :; do    date; sleep 2;done ) &>date.txt &
复制代码
扩展点: subshell
[root@liza ~]# cd /boot; lssubshell 中执行[root@liza boot]# (cd /boot; ls)如果不希望某些命令的执行对当前 shell 环境产生影响,请在subshell中执行
复制代码



进程管道技术

管道操作符号 “|” 连接左右两个命令, 将左侧的命令的标准输出, 交给右侧命令的标准输入



格式: cmd1 | cmd2 […|cmdn]

案例 1: 将/etc/passwd 中的用户按 UID 大小排序
[root@liza ~]# sort -t":" -k3 -n /etc/passwd[root@liza ~]# sort -t":" -k3 -n /etc/passwd -r 
复制代码
案例 2: 统计当前/etc/passwd 中用户使用的 shell 类型

思路:取出第七列(shell) | 排序(把相同归类)| 去重


[root@liza ~]# awk -F: '{print $7}' /etc/passwd[root@liza ~]# awk -F: '{print $7}' /etc/passwd |sort
复制代码
案例 3: 统计出最占 CPU 的 5 个进程
[root@liza ~]# ps aux --sort=-%cpu |head -6
复制代码
案例 4: 统计网站的访问情况 top 20

打印所有访问的连接 | 过滤访问网站的连接 | 打印用户的 IP | 排序 | 去重


[root@liza ~]# yum -y install httpd[root@liza ~]# systemctl start httpd[root@liza ~]# systemctl stop firewalld[root@liza ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c[root@liza ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20
复制代码
案例 5: 打印当前所有 IP
[root@liza ~]# df |grep '/$' |awk '{print $5}' |awk -F"%" '{print $1}'19
复制代码

tee 管道技术


[root@liza ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'127.0.0.1192.168.112.177192.168.122.1[root@liza ~]# cat ip.txt     inet 127.0.0.1/8 scope host lo    inet 192.168.112.177/24 brd 192.168.112.255 scope global dynamic ens33    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
复制代码


重定向与 tee 区别


[root@liza ~]# date > date.txt [root@liza ~]# date | tee date.txt Fri Jan 15 11:07:09 CST 2021
复制代码

参数传递 xargs

将参数列表转换成小块分段传递给其他命令


读入 stdin 的数据转换为参数添加至命令后面


让一些不支持管道的命令可以使用管道。


管道命令符能让大家能进一步掌握命令之间的搭配使用方法,进一步提高命令输出值的处理效率。


[root@liza ~]# grep "/sbin/nologin" /etc/passwd | wc -l35[root@liza ~]# head -5 /etc/passwd|tail -1lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
复制代码


使用 grep 过滤输出信息


[root@liza ~]# ls -l /etc |grep pass-rw-r--r--.  1 root root     2059 Jan  3 22:59 passwd-rw-r--r--.  1 root root     2059 Jan  3 22:59 passwd-
复制代码


管道和标准输出以及标准错误输出, 使用普通用户执行如下命令


[root@liza ~]# find /etc/ -name "p*"|grep passwd > a[root@liza ~]# find /etc/ -name "p*"|grep passwd > b[root@liza ~]# find /etc/ -name "p*"|grep passwd &> ab[root@liza ~]# find /etc/ -name "p*"|grep passwd &> ab
复制代码


注意事项:


  1. 在管道后面的命令,都不应该在写文件名

  2. 在管道中只有标准输出才可以传递下一个命令, 标准错误输出会直接输出终端显示, 建议在使用管道前将标准错误输出重定向。


例如


[root@liza ~]# find /etc -name "*.conf" 2>/dev/null | grep rc/etc/yum/pluginconf.d/search-disabled-repos.conf/etc/libreport/events.d/vimrc_event.conf
复制代码


3.有些命令不支持管道技术, 但是可以通过 xargs 来实现管道传递


[root@liza ~]# which cat|xargs ls-l[root@liza ~]# ls |xargs rm -rvf[root@liza ~]# ls |xargs cp -rvft /tmp/ -> ls | xargs -I {} cp -rvf {} /tmp[root@liza ~]# ls |xargs mv -t /tmp/ -> ls | xargs -I {} mv {} /tmp
复制代码


发布于: 刚刚阅读数: 3
用户头像

🏅️ InfoQ 专家博主 2022.03.08 加入

CSDN:飞向星的客机

评论

发布
暂无评论
系统管理-Linux重定向与管道_Linux_飞向星的客机_InfoQ写作社区