sed和awk常用操作

发表于 | 分类于

@[toc]

1. sed命令说明

sed是流式文本处理，它是对文本进行一行一行的处理，处理完一行之后，再读取下一行，sed默认不会修改源文件的

命令格式：

1
sed 参数 '动作' 文本文件

参数有：

  • -n 仅显示sed处理后的结果。
  • -i 将修改保存到源文件中
  • -e <script> 以选项中指定的script来处理输入的文本文件。
  • -f<script文件> 以选项中指定的script文件来处理输入的文本文件。

动作有：

动静基本和 vim 中一样，a 是新增，i 是插入，d 是删除，s 是替换

  • a:新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  • i:插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  • s:替换，替换字符串，需要使用分隔符把新旧文本分开，分隔符可以为：/ , #
  • d:删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  • c:取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  • p:打印，亦即将某个选择的数据印出。通常 p 会与参数sed -n一起运行
  • q:退出, 退出sed处理，一般用来找到第一个匹配项就退出处理了

eg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 打印第10行，p 一般和 -n配合使用
sed -n '10p' test.txt

# 打印1到10行
sed -n '1,10p' test.txt

# 每隔2行查看，查看1,3,5....行
sed -n '1~2p' test.txt

# 新增,在第1行后新增 ========
sed '1a ========' test.txt

# 插入，在1行前面插入 =======
sed '1i =======' test.txt

# 删除, 删除最后一行,$表示最后一行
sed '$d' test.txt

# 退出,找到pibigstar就退出
sed '/pibigstar/q' test.txt

# 替换，一行只会替换第一个匹配的，后面的不会被替换
sed 's/dev/prod/' test.txt

# 全局替换，添加 -g，那么一行中如果符合将全部替换
sed 's/dev/prod/g' test.txt

一般先不用-i参数，当我们执行 sed之后会显示执行后的结果，如果结果是符合我们预期的，那么再加上 -i 参数来达到修改源文件的目的

1.2 Sed高级操作

  • {}:多个动作，{}中可放多个sed动作，用 ;分开
  • &:替换固定字符串，主要是优化替换操作，& 代表前面替换的字符
  • \u\U:大小写转换，\u将其转换为小写，\U将其转换为大写
  • ():取括号中的值，替换时可根据\1来标识取那个()中的值，\2取第二个括号中的值,注意使用时都是需要用\( \)，其实主要也是为了优化替换操作
    1
    2
    3
    4
    5
    6
    7
    8
    # 多个动作,先删除第一行,然后将后面的 dev 替换为 prod
    sed '{1d;s/dev/prod/g}' test.txt
    # & 操作,将 = 后面添加一个空格
    sed 's/=/& /' test.txt
    # \u操作,将ROOT转换为root
    sed 's/ROOT/\u&/' test.txt
    # ()操作，取出username
    sed 's/\([a-z_-]\+\):.*$/\1/' passwd

1.3 Sed常用命令

1
2
3
4
5
# 配置文件尾添加配置
sed  '$a port=8080 \nhost=127.0.0.1' test.txt

# 删除文本空行
sed '^$d' test.txt

2. awk命令说明

awk的命令格式

1
awk -F '分隔符' '命令' file

内置函数
$0: 代表所有域
$1: 代码第一个域，下面依次类推 $2,就是第二个域
NR: 行号
NF: 字符数
print: 打印
printf: 格式化打印

2.1 切换分割符

-F 是可选参数，可以不写，不写的话，默认分隔符为空格

以冒号:作为分隔符

1
awk -F ':' '{print $1}' /etc/passwd

{} 中可直接可以放代码块，if…else…

1
awk -F ':' '{printf("user:%s Line:%s Col:%s \n",$1,NR,NF)}' /etc/passwd

2.2 条件输出

初次之外我们还可以有条件的将其输出

1
2
# 当$3 大于 100 才输出
awk -F ':' '$3>100{print $1}' /etc/passwd

2.3 BEGIN…END循环

统计文件夹下所有文件一共多大

1
ls -l | awk 'BEGIN{size=0}{size+=$5}END{print "all size:"size/1024/1024"M"}'

我们将一行文本按分隔符分隔之后，第一个就是 第一个域，下面依次类推
举个栗子：

1
2
3
4
5
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

将上面的信息保存为test.txt文件，我们执行下面命令

1
awk '{print $1}' test.txt

我们没有指定分隔符，那么就是以 空格 进行分隔的，那么输出结果就会是

1
2
3
4
5
root
root
root
dmtsai
root

awk 是逐行进行分析，我们分析第一行就可以了

1
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in

按分隔符进行分隔，那么

1
2
域1       域2		    域3			域4				   域5
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in

2.4 实例

查问某文件中的关键字

1
awk '/root/' /etc/passwd

其中 / / 之间可以使用正则表达式

1
awk '/^root/' /etc/passwd

查看本地所有运行的端口

1
netstat -na | grep LISTENING | awk '{print $2}' | awk -F: '{print $2}'
-------------本文结束感谢您的阅读-------------