第 1 章 Shell 概述
大数据程序员为什么要学习 Shell 呢?
1)需要看懂运维人员编写的 Shell 程序。
2)偶尔会编写一些简单 Shell 程序来管理集群、提高开发效率。
第 2 章 Shell 解析器
(1)Linux 提供的 Shell 解析器有:
[root@master ~]$ cat /etc/shells
/bin/sh #是bash的一个快捷方式
/bin/bash #bash是大多数Linux默认的shell,包含的功能几乎可以涵盖shell所有的功能
/sbin/nologin #表示非交互,不能登录操作系统
/bin/dash #小巧,高效,功能相比少一些
/bin/csh #具有C语言风格的一种shell,具有许多特性,但也有一些缺陷
/bin/tcsh #是csh的增强版,完全兼容csh
复制代码
(2)bash 和 sh 的关系
[root@master bin]$ ll | grep bash
-rwxr-xr-x. 1 root root 941880 5月 11 2016 bash
lrwxrwxrwx. 1 root root 4 5月 27 2017 sh -> bash
复制代码
(3)Centos 默认的解析器是 bash
[root@master bin]$ echo $SHELL
/bin/bash
复制代码
第 3 章 Shell 脚本入门
1)脚本格式
脚本以#!/bin/bash
开头(指定解析器)
2)第一个 Shell 脚本:helloworld
(1)需求:创建一个 Shell 脚本,输出 helloworld
(2)案例实操:
[root@master datas]$ touch helloworld.sh
[root@master datas]$ vi helloworld.sh
复制代码
在 helloworld.sh 中输入如下内容
#!/bin/bash
echo "helloworld"
复制代码
(3)脚本的常用执行方式
第一种:采用 bash 或 sh+脚本的相对路径或绝对路径(不用赋予脚本+x 权限)
[root@master datas]$ sh helloworld.sh
Helloworld
复制代码
[root@master datas]$ sh /home/atguigu/datas/helloworld.sh
helloworld
复制代码
[root@master datas]$ bash helloworld.sh
Helloworld
复制代码
[root@master datas]$ bash /home/atguigu/datas/helloworld.sh
Helloworld
复制代码
第二种:采用输入脚本的绝对路径或相对路径执行脚本(必须具有可执行权限+x)
(a)首先要赋予 helloworld.sh 脚本的+x 权限
[root@master datas]$ chmod 777 helloworld.sh
复制代码
(b)执行脚本
[root@master datas]$ ./helloworld.sh
Helloworld
复制代码
[root@master datas]$ /home/atguigu/datas/helloworld.sh
Helloworld
复制代码
注意:第一种执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限。第二种执行方法,本质是脚本需要自己执行,所以需要执行权限
3)第二个 Shell 脚本:多命令处理
(1)需求: 在/home/atguigu/目录下创建一个 cls.txt,在 cls.txt 文件中增加“I love cls”。
(2)案例实操:
[root@master datas]$ touch batch.sh
[root@master datas]$ vi batch.sh
复制代码
在 batch.sh 中输入如下内容
#!/bin/bash
cd /home/atguigu
touch cls.txt
echo "I love cls" >>cls.txt
复制代码
第 4 章 Shell 中的变量
4.1 系统变量
1)常用系统变量
HOME、PWD、SHELL、USER 等
2)案例实操
(1)查看系统变量的值
[root@master datas]$ echo $HOME
/home/atguigu
复制代码
(2)显示当前 Shell 中所有变量:set
[root@master datas]$ set
BASH=/bin/bash
BASH_ALIASES=()
BASH_ARGC=()
BASH_ARGV=()
复制代码
4.2 自定义变量
1.基本语法
(1)定义变量:变量=值
(2)撤销变量:unset 变量
(3)声明静态变量:readonly 变量,注意:不能 unset
2.变量定义规则
(1)变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写
(2)等号两侧不能有空格!
(3)在 bash 中,变量默认类型都是字符串类型,无法直接进行数值运算。
(4)变量的值如果有空格,需要使用双引号或单引号括起来。
3.案例实操
(1)定义变量 A
[root@master datas]$ A=5
[root@master datas]$ echo $A
5
复制代码
(2)给变量 A 重新赋值
[root@master datas]$ A=8
[root@master datas]$ echo $A
8
复制代码
(3)撤销变量 A
[root@master datas]$ unset A
[root@master datas]$ echo $A
复制代码
(4)声明静态的变量 B=2,不能 unset(重启自动消失)
[root@master datas]$ readonly B=2
[root@master datas]$ echo $B
2
[root@master datas]$ B=9
-bash: B: readonly variable
复制代码
(5)在 bash 中,变量默认类型都是字符串类型,无法直接进行数值运算
[root@master ~]$ C=1+2
[root@master ~]$ echo $C
1+2
复制代码
(6)变量的值如果有空格,需要使用双引号或单引号括起来
[root@master ~]$ D=I love banzhang
-bash: world: command not found
[root@master ~]$ D="I love banzhang"
[root@master ~]$ echo $D
I love banzhang
复制代码
(7)可把变量提升为全局环境变量,可供其他 Shell 程序使用
格式:export 变量名
[root@master datas]$ vim helloworld.sh
复制代码
在 helloworld.sh 文件中增加 echo $B
#!/bin/bash
echo "helloworld"
echo $B
复制代码
[root@master datas]$ ./helloworld.sh
Helloworld
复制代码
发现并没有打印输出变量 B 的值。
[root@master datas]$ export B
[root@master datas]$ ./helloworld.sh
helloworld
2
复制代码
4.3 特殊变量:$n
1.基本语法
$n
(功能描述:n 为数字,$0
代表该脚本名称,$1-$9
代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如${10}
)
2.案例实操
(1)输出该脚本文件名称、输入参数 1 和输入参数 2 的值
[root@master datas]$ touch parameter.sh
[root@master datas]$ vim parameter.sh
#!/bin/bash
echo "$0 $1 $2"
[root@master datas]$ chmod 777 parameter.sh
[root@master datas]$ ./parameter.sh 1 2
parameter.sh 1 2
复制代码
4.4 特殊变量:$#
1.基本语法
$#
(功能描述:获取所有输入参数个数,常用于循环)。
2.案例实操
(1)获取输入参数的个数
[root@master datas]$ vim parameter.sh
#!/bin/bash
echo "$0 $1 $2"
echo $#
[root@master datas]$ chmod 777 parameter.sh
[root@master datas]$ ./parameter.sh cls xz
parameter.sh cls xz
2
复制代码
4.5 特殊变量:$*、$@
1.基本语法
$*
(功能描述:这个变量代表命令行中所有的参数,$*
把所有的参数看成一个整体)$@
(功能描述:这个变量也代表命令行中所有的参数,不过$@
把每个参数区分对待)
2.案例实操
(1)打印输入的所有参数
[root@master datas]$ vim parameter.sh
#!/bin/bash
echo "$0 $1 $2"
echo $#
echo $*
echo $@
[root@master datas]$ bash parameter.sh 1 2 3
parameter.sh 1 2
3
1 2 3
1 2 3
复制代码
4.6 特殊变量:$?
1.基本语法
$?
(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为 0,证明上一个命令正确执行;如果这个变量的值为非 0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
2.案例实操
(1)判断 helloworld.sh 脚本是否正确执行
[root@master datas]$ ./helloworld.sh
hello world
[root@master datas]$ echo $?
0
复制代码
第 5 章 运算符
1.基本语法
(1)“$((运算式))
”或“$[运算式]
”
(2)expr + , - , *, /, % 加,减,乘,除,取余
注意:expr运算符间要有空格
2.案例实操:
(1)计算 3+2 的值
[root@master datas]$ expr 2 + 3
5
复制代码
(2)计算 3-2 的值
[root@master datas]$ expr 3 - 2
1
复制代码
(3)计算(2+3)X 4 的值
[root@master datas]$ expr `expr 2 + 3` \* 4 #这个小·是tab上面那个键,不是单引号
20
复制代码
[root@master datas]$ S=$[(2+3)*4]
[root@master datas]$ echo $S
20
复制代码
第 6 章 条件判断
1.基本语法
[ condition ](`注意condition前后要有空格`)
复制代码
注意:条件非空即为 true,[ atguigu ]返回 true,[] 返回 false。
2.常用判断条件
(1)两个整数之间比较
= 字符串比较
-lt 小于(less than)
-le 小于等于(less equal)
-eq 等于(equal)
-gt 大于(greater than)
-ge 大于等于(greater equal)
-ne 不等于(Not equal)
(2)按照文件权限进行判断
-r 有读的权限(read)
-w 有写的权限(write)
-x 有执行的权限(execute)
(3)按照文件类型进行判断
-f 文件存在并且是一个常规的文件(file)
-e 文件存在(existence)
-d 文件存在并是一个目录(directory)
3.案例实操
(1)23 是否大于等于 22
[root@master datas]$ [ 23 -ge 22 ]
[root@master datas]$ echo $?
0
复制代码
(2)helloworld.sh 是否具有写权限
[root@master datas]$ [ -w helloworld.sh ]
[root@master datas]$ echo $?
0
复制代码
(3)/home/atguigu/cls.txt 目录中的文件是否存在
[root@master datas]$ [ -e /home/atguigu/cls.txt ]
[root@master datas]$ echo $?
1
复制代码
(4)多条件判断(&& 表示前一条命令执行成功时,才执行后一条命令,|| 表示上一条命令执行失败后,才执行下一条命令)
[root@master datas]$ [ condition ] && echo OK || echo notok
OK
[root@master datas]$ [ condition ] && [ ] || echo notok
notok
复制代码
第 7 章 流程控制(重点)
7.1 if 判断
1.基本语法
或者
注意事项
:
2.案例实操
(1)输入一个数字,如果是 1,则输出 banzhang zhen shuai,如果是 2,则输出 cls zhen mei,如果是其它,什么也不输出。
[root@master datas]$ touch if.sh
[root@master datas]$ vim if.sh
#!/bin/bash
if [ $1 -eq "1" ]
then
echo "banzhang zhen shuai"
elif [ $1 -eq "2" ]
then
echo "cls zhen mei"
fi
[root@master datas]$ chmod 777 if.sh
[root@master datas]$ ./if.sh 1
banzhang zhen shuai
复制代码
7.2 case 语句
1.基本语法
case $变量名 in
"值1")
如果变量的值等于值1,则执行程序1
;;
"值2")
如果变量的值等于值2,则执行程序2
;;
…省略其他分支…
*)
如果变量的值都不是以上的值,则执行此程序
;;
esac
复制代码
注意事项
:
case 行尾必须为单词“in
”,每一个模式匹配必须以右括号“)
”结束。
双分号“;;
”表示命令序列结束,相当于 java 中的 break。
最后的“*
)”表示默认模式,相当于 java 中的 default。
2.案例实操
(1)输入一个数字,如果是 1,则输出 banzhang,如果是 2,则输出 cls,如果是其它,输出 renyao。
[root@master datas]$ touch case.sh
[root@master datas]$ vim case.sh
!/bin/bash
case $1 in
"1")
echo "banzhang"
;;
"2")
echo "cls"
;;
*)
echo "renyao"
;;
esac
[root@master datas]$ chmod 777 case.sh
[root@master datas]$ ./case.sh 1
banzhang
复制代码
7.3 for 循环
1.基本语法 1
for (( 初始值;循环控制条件;变量变化 ))
do
程序
done
复制代码
2.案例实操
(1)从 1 加到 100
[root@master datas]$ touch for1.sh
[root@master datas]$ vim for1.sh
#!/bin/bash
s=0
for((i=0;i<=100;i++))
do
s=$[$s+$i]
done
echo $s
[root@master datas]$ chmod 777 for1.sh
[root@master datas]$ ./for1.sh
5050
复制代码
3.基本语法 2
for 变量 in 值1 值2 值3…
do
程序
done
复制代码
4.案例实操
(1)打印所有输入参数
[root@master datas]$ touch for2.sh
[root@master datas]$ vim for2.sh
#!/bin/bash
#打印数字
for i in $*
do
echo "ban zhang love $i "
done
[root@master datas]$ chmod 777 for2.sh
[root@master datas]$ bash for2.sh cls xz bd
ban zhang love cls
ban zhang love xz
ban zhang love b
复制代码
(2)比较$*
和$@
区别
[root@master datas]$ touch for.sh
[root@master datas]$ vim for.sh
#!/bin/bash
for i in $*
do
echo "ban zhang love $i "
done
for j in $@
do
echo "ban zhang love $j"
done
[root@master datas]$ bash for.sh cls xz bd
ban zhang love cls
ban zhang love xz
ban zhang love bd
ban zhang love cls
ban zhang love xz
ban zhang love bd
复制代码
[root@master datas]$ vim for.sh
#!/bin/bash
for i in "$*"
#$*中的所有参数看成是一个整体,所以这个for循环只会循环一次
do
echo "ban zhang love $i"
done
for j in "$@"
#$@中的每个参数都看成是独立的,所以“$@”中有几个参数,就会循环几次
do
echo "ban zhang love $j"
done
[root@master datas]$ chmod 777 for.sh
[root@master datas]$ bash for.sh cls xz bd
ban zhang love cls xz bd
ban zhang love cls
ban zhang love xz
ban zhang love bd
复制代码
7.4 while 循环
1.基本语法
while [ 条件判断式 ]
do
程序
done
复制代码
2.案例实操
(1)从 1 加到 100
[root@master datas]$ touch while.sh
[root@master datas]$ vim while.sh
#!/bin/bash
s=0
i=1
while [ $i -le 100 ] #i的值小于100,并不是i小于100,所以用$i
do
s=$[$s+$i]
i=$[$i+1]
done
echo $s
[root@master datas]$ chmod 777 while.sh
[root@master datas]$ ./while.sh
5050
复制代码
第 8 章 read 读取控制台输入
1.基本语法
选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒)。
参数
2.案例实操
(1)提示 7 秒内,读取控制台输入的名称
[root@master datas]$ touch read.sh
[root@master datas]$ vim read.sh
#!/bin/bash
read -t 7 -p "Enter your name in 7 seconds " NAME
echo $NAME
[root@master datas]$ ./read.sh
Enter your name in 7 seconds xiaoze
xiaoze
复制代码
第 9 章 函数
9.1 系统函数
1.basename 基本语法(返回文件名)
basename [string / pathname] [suffix]
复制代码
(功能描述:basename 命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
选项:suffix 为后缀,如果 suffix 被指定了,basename 会将 pathname 或 string 中的 suffix 去掉。
2.案例实操
(1)截取该/home/atguigu/banzhang.txt 路径的文件名称
[root@master datas]$ basename /home/atguigu/banzhang.txt
banzhang.txt
[root@master datas]$ basename /home/atguigu/banzhang.txt .txt
banzhang
复制代码
3 . dirname 基本语法(返回路径)
(功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))
4.案例实操
(1)获取 banzhang.txt 文件的路径
[root@master ~]$ dirname /home/atguigu/banzhang.txt
/home/atguigu
复制代码
9.2 自定义函数
1.基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
funname
复制代码
2.经验技巧
3.案例实操
(1)计算两个输入参数的和
[root@master datas]$ touch fun.sh
[root@master datas]$ vim fun.sh
#!/bin/bash
function sum()
{
s=0
s=$[ $1 + $2 ]
echo "$s"
}
read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;
[root@master datas]$ chmod 777 fun.sh
[root@master datas]$ ./fun.sh
Please input the number1: 2
Please input the number2: 5
7
复制代码
第 10 章 输入/输出重定向
10.1 重定向介绍
大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回到您的终端。一个命令通常从一个叫标准输入的地方读取输入,默认情况下,这恰好是你的终端。同样,一个命令通常将其输出写入到标准输出,默认情况下,这也是你的终端。
重定向命令列表如下:
注意
:文件描述符 0 通常是标准输入(STDIN),1 是标准输出(STDOUT),2 是标准错误输出(STDERR)
10.2 输出重定向
重定向一般通过在命令间插入特定的符号来实现。特别的,这些符号的语法如下所示:
上面这个命令执行 command1 然后将输出的内容存入 file1。
注意
:任何 file1 内的已经存在的内容将被新内容替代。如果要将新内容添加在文件末尾,请使用>>操作符。
实例:
1)执行下面的 who 命令,它将命令的完整的输出重定向在用户文件中(users):
执行后,并没有在终端输出信息,这是因为输出已被从默认的标准输出设备(终端)重定向到指定的文件。
你可以使用 cat 命令查看文件内容:
$ cat users
_mbsetupuser console Oct 31 17:35
tianqixin console Oct 31 17:35
tianqixin ttys000 Dec 1 11:33
复制代码
2)输出重定向会覆盖文件内容,请看下面的例子:
$ echo "你好!!!" > users
$ cat users
你好!!
$
复制代码
3)如果不希望文件内容被覆盖,可以使用 >> 追加到文件末尾,例如:
$ echo "你好!!" >> users
$ cat users
你好!!
你好!!
$
复制代码
10.3 输入重定向
和输出重定向一样,Unix 命令也可以从文件获取输入,语法为:
这样,本来需要从键盘获取输入的命令会转移到文件读取内容。
注意
:输出重定向是大于号(>),输入重定向是小于号(<)。
实例:
1)接着以上实例,我们需要统计 users 文件的行数,执行以下命令:
2)也可以将输入重定向到 users 文件:
注意
:上面两个例子的结果不同:第一个例子,会输出文件名;第二个不会,因为它仅仅知道从标准输入读取内容。
3)同时替换输入和输出,执行 command1,从文件 infile 读取内容,然后将输出写入到 outfile 中。
command1 < infile > outfile
复制代码
10.4 重定向深入讲解
一般情况下,每个 Unix/Linux 命令运行时都会打开三个文件:
标准输入文件(stdin):stdin 的文件描述符为 0,Unix 程序默认从 stdin 读取数据。
标准输出文件(stdout):stdout 的文件描述符为 1,Unix 程序默认向 stdout 输出数据。
标准错误文件(stderr):stderr 的文件描述符为 2,Unix 程序会向 stderr 流中写入错误信息。
默认情况下,command > file 将 stdout 重定向到 file,command < file 将 stdin 重定向到 file。
如果希望 stderr 重定向到 file,可以这样写:
如果希望 stderr 追加到 file 文件末尾,可以这样写:
2 表示标准错误文件(stderr)。
如果希望将 stdout 和 stderr 合并后重定向到 file,可以这样写:
或者
如果希望对 stdin 和 stdout 都重定向,可以这样写:
command 命令将 stdin 重定向到 file1,将 stdout 重定向到 file2。
10.5 Here Document
Here Document 是 Shell 中的一种特殊的重定向方式,用来将输入重定向到一个交互式 Shell 脚本或程序。
它的基本的形式如下:
command << delimiter
document
delimiter
复制代码
它的作用是将两个 delimiter 之间的内容(document) 作为输入传递给 command。
注意
:
实例:
1)在命令行中通过 wc -l 命令计算 Here Document 的行数:
$ wc -l << EOF
欢迎
光临
EOF
2 # 输出结果为 2 行
$
复制代码
2)我们也可以将 Here Document 用在脚本中,例如:
#!/bin/bash
cat << EOF
欢迎
光临
EOF
复制代码
执行以上脚本,输出结果:
10.6 /dev/null 文件
/dev/null 是一个特殊的文件,写入到它的内容都会被丢弃;如果尝试从该文件读取内容,那么什么也读不到。但是 /dev/null 文件非常有用,将命令的输出重定向到它,会起到"禁止输出"的效果。
如果希望执行某个命令,但又不希望在屏幕上显示输出结果,那么可以将输出重定向到 /dev/null:
如果希望屏蔽 stdout 和 stderr,可以这样写:
$ command > /dev/null 2>&1
复制代码
注意
:
第 11 章 Shell 工具(重点)
11.1 cut
cut 的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1.基本用法
说明:默认分隔符是制表符
2.选项参数说明
3.案例实操
(0)数据准备
[root@master datas]$ touch cut.txt
[root@master datas]$ vim cut.txt
dong shen
guan zhen
wo wo
lai lai
le le
复制代码
(1)切割 cut.txt 第一列
[root@master datas]$ cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le
复制代码
(2)切割 cut.txt 第二、三列
[root@master datas]$ cut -d " " -f 2,3 cut.txt
shen
zhen
wo
lai
le
复制代码
(3)在 cut.txt 文件中切割出 guan
[root@master datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan
复制代码
(4)选取系统 PATH 变量值,第 2 个“ :”开始后的所有路径:
[root@master datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin
[atguigu@hadoop102 datas]$ echo $PATH | cut -d : -f 3- #3-:表示第三列开始后面的所有
/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin
复制代码
(5)切割 ifconfig 后打印的 IP 地址
[root@master datas]$ ifconfig eth0 | grep "inet addr" | cut -d : -f 2 | cut -d " " -f1
192.168.1.102
复制代码
11.2 sed
sed 是一种流
编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用 sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变
,除非你使用重定向存储输出。
1.基本用法
sed [选项参数] ‘command’ filename
复制代码
2.选项参数说明
3.命令功能描述
4.案例实操
(0)数据准备
[root@master datas]$ touch sed.txt
[root@master datas]$ vim sed.txt
dong shen
guan zhen
wo wo
lai lai
le le
复制代码
(1)将“mei nv”这个单词插入到 sed.txt 第二行下,打印(原文件并不改变)。
[root@master datas]$ sed '2a mei nv' sed.txt #2a:表示第二行下
dong shen
guan zhen
mei nv
wo wo
lai lai
le le
[root@master datas]$ cat sed.txt
dong shen
guan zhen
wo wo
lai lai
le le
复制代码
注意:文件并没有改变
(2)删除 sed.txt 文件所有包含 wo 的行
[root@master datas]$ sed '/wo/d' sed.txt
dong shen
guan zhen
lai lai
le le
复制代码
(3)将 sed.txt 文件中 wo 替换为 ni
[root@master datas]$ sed 's/wo/ni/g' sed.txt #g:表示全局替换
dong shen
guan zhen
ni ni
lai lai
le le
复制代码
注意:‘g’表示global,全部替换
(4)将 sed.txt 文件中的第二行删除并将 wo 替换为 ni
[root@master datas]$ sed -e '2d' -e 's/wo/ni/g' sed.txt
dong shen
ni ni
lai lai
le le
复制代码
11.3 awk
一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。
1.基本用法
awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filename
复制代码
pattern:表示 AWK 在数据中查找的内容,就是匹配模式 action:在找到匹配内容时所执行的一系列命令
2.选项参数说明
3.案例实操(0)原数据
(1)搜索 passwd 文件以 root 关键字开头的所有行,并输出该行的第 7 列。正则表达式不会的看第13章!!!
[root@master datas]$ awk -F : '/^root/{print $7}' passwd #/^:表示开头
/bin/bash
复制代码
(2)搜索 passwd 文件以 root 关键字开头的所有行,并输出该行的第 1 列和第 7 列,中间以“,”号分割。
[root@master datas]$ awk -F : '/^root/{print $1","$7}' passwd
root,/bin/bash
复制代码
注意:只有匹配了pattern的行才会执行action
(3)只显示/etc/passwd 的第一列和第七列,以逗号分割,且在所有行前面添加列名 user,shell 在最后一行添加"dahaige,/bin/zuishuai"。
[root@master datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END {print "dahaige,/bin/zuishuai"}' passwd #BEGIN:表示开头位置
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
atguigu,/bin/bash
dahaige,/bin/zuishuai
复制代码
注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行。
(4)将 passwd 文件中的用户 id 增加数值 1 并输出
[root@master datas]$ awk -v i=1 -F : '{print $3+i}' passwd
1
2
3
4
复制代码
4.awk 的内置变量
5.案例实操
(1)统计 passwd 文件名,每行的行号,每行的列数
[root@master datas]$ awk -F : '{print "filename:" FILENAME ", linenumber:" NR ",columns:" NF}' passwd
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7
复制代码
(2)切割 IP
[root@master datas]$ ifconfig eth0 | grep "inet addr" | awk -F : '{print $2}' | awk -F " " '{print $1}'
192.168.1.102
复制代码
(3)查询 sed.txt 中空行所在的行号
[root@master datas]$ awk '/^$/{print NR}' sed.txt #/^$:表示空行
5
复制代码
11.4 sort
sort 命令是在 Linux 里非常有用,它将文件进行排序,并将排序结果标准输出。
1.基本语法
2 . 案例实操
(0)数据准备
[root@master datas]$ touch sort.sh
[root@master datas]$ vim sort.sh
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6
复制代码
(1)按照“:”分割后的第三列倒序排序。
[root@master datas]$ sort -t : -nrk 3 sort.sh
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6
复制代码
第 12 章 企业真实面试题(重点)
12.1 京东
问题 1:使用 Linux 命令查询 file1 中空行所在的行号
答案:
[root@master datas]$ awk '/^$/{print NR}' sed.txt
5
复制代码
问题 2:有文件 chengji.txt 内容如下:
张三 40
李四 50
王五 60
使用Linux命令计算第二列的和并输出
[atguigu@hadoop102 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END {print sum}'
150
复制代码
12.2 搜狐 &和讯网
问题 1:Shell 脚本里如何检查一个文件是否存在?如果不存在该如何处理?
#!/bin/bash
if [ -e file.txt ]; then
echo "文件存在!"
else
echo "文件不存在!"
fi
复制代码
12.3 新浪
问题 1:用 shell 写一个脚本,对文本中无序的一列数字排序,并求和
[root@master ~]$ cat test.txt
9
8
7
6
5
4
3
2
10
1
[root@master ~]$ sort -n test.txt | awk '{a+=$0;print $0} END {print "SUM="a}'
1
2
3
4
5
6
7
8
9
10
SUM=55
复制代码
12.3 金和网络
问题 1:请用 shell 脚本写出查找当前文件夹(/home)下所有的文本文件内容中包含有字符”shen”的文件名称
[root@master datas]$ grep -r "shen" /home | cut -d ":" -f 1
/home/atguigu/datas/sed.txt
/home/atguigu/datas/cut.txt
复制代码
评论