Linux三剑客,即grep、sed和awk,是Linux系统中三个功能强大的命令行工具,广泛用于文本处理和数据分析,它们各自擅长不同的功能领域,相互配合使用能够极大地提高数据处理效率,本文将详细介绍这三个工具的基本用法、常用选项以及实际应用场景,帮助读者更好地理解和掌握它们的使用方法。
grep:文本搜索工具
基本介绍
grep(global regular expression print)是一个强大的文本搜索工具,用于在文件中查找符合正则表达式的文本内容,并打印匹配的行,它简单、快速,是进行文本搜索和过滤的首选工具。
常用选项
参数 | 说明 |
-i | 忽略大小写 |
-v | 排除匹配结果 |
-r 或-R | 递归搜索目录下的所有文件 |
-l | 仅显示包含匹配模式的文件名 |
-L | 仅显示不包含匹配模式的文件名 |
-n | 显示匹配行与行号 |
-c | 只统计匹配的行数 |
-o | 只输出匹配到的内容 |
-w | 只匹配整个单词 |
-A num | 显示匹配行及之后的num行 |
-B num | 显示匹配行及之前的num行 |
-C num | 显示匹配行及前后各num行 |
-E | 使用扩展正则表达式(等同于egrep) |
-F | 使用固定字符串模式(等同于fgrep) |
-P | 使用Perl正则表达式 |
示例用法
1、基本搜索:在file.txt中搜索包含"Karry"的行。
grep "Karry" file.txt
2、忽略大小写搜索:在file.txt中搜索包含"karry"(不区分大小写)的行。
grep -i "karry" file.txt
3、递归搜索目录:在/opt目录下递归搜索所有文件,查找包含"pattern"的行。
grep -r "pattern" /opt/
4、显示匹配行号:在file.txt中搜索包含"Karry"的行,并显示匹配行号。
grep -n "Karry" file.txt
5、反向匹配:在file.txt中搜索不包含"Karry"的行。
grep -v "Karry" file.txt
6、显示匹配行及之后的行:在file.txt中搜索包含"Karry"的行,并显示匹配行及之后的3行。
grep -A 3 "Karry" file.txt
7、使用扩展正则表达式:在file.txt中搜索包含"Ka"或"Bo"的行。
grep -E "Ka|Bo" file.txt
8、匹配整个单词:在file.txt中搜索包含整个单词"word"的行。
grep -w "word" file.txt
9、仅显示匹配的部分:在file.txt中搜索"Karry"并仅显示匹配的部分。
grep -o "Karry" file.txt
sed:流编辑器
基本介绍
sed(stream editor)是一个流编辑器,用于对文本进行插入、删除、替换、提取等操作,它一次处理一行内容,并将当前处理的行存储在临时缓冲区中,称为“模式空间”,处理完成后,将缓冲区的内容送往屏幕,如果没有使诸如‘D’的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。
常用选项
参数 | 说明 |
-n | 不输出模式空间内容到屏幕,即不自动打印 |
-e | 可以在sed命令中指定多个script脚本,多点编辑功能 |
-f | 输入sed脚本,脚本中写着编辑命令 |
-r | 支持使用扩展的正则表达式 |
-i | 直接编辑源文件 |
编辑命令
命令 | 描述 |
d | 删除模式空间匹配的行,并立即启用下一轮循环 |
p | 打印当前模式空间内容,追加到默认输出之后 |
atext | 在指定行后面追加文本,支持使用 |
实现多行追加 |
|itext
| 在行前面插入文本 |
|ctext
| 替换行为单行或多行文本 |
|w /path/somefile
| 保存模式匹配的行至指定文件 |
|r /path/somefile
| 读取指定文件的文本至模式空间中匹配到的行后 |
|=
| 为模式空间中的行打印行号 |
|!
| 模式空间中匹配行取反处理 |
|s///
| 查找替换,支持使用其他分隔符 |
|g
| 行内全局替换 |
|p
| 显示替换成功的行 |
|w /PATH/TO/SOMEFILE
| 将替换成功的行保存至文件中 |
示例用法
1、打印第二行:
sed -n '2p' file.txt
2、打印2-5行的内容:
sed -n '2,5p' file.txt
3、将文件中的root全部替换为abc:
sed 's/root/abc/g' file.txt
4、直接修改读取的文件内容:
sed -i 's/要替换的内容/替换成的内容/g' file.txt
5、删除包含特定模式的行:
sed '/pattern/d' file.txt
6、在匹配的行后面追加文本:
sed '/pattern/a追加的文本' file.txt
7、在匹配的行前面插入文本:
sed '/pattern/i插入的文本' file.txt
8、替换匹配行为指定的文本:
sed '/pattern/c新文本' file.txt
9、保存模式匹配的行至指定文件:
sed -n '/pattern/w /path/to/file' file.txt
10、从另一个文件中读取内容并添加到匹配行的后面:
sed '/pattern/r /path/to/another_file' file.txt
awk:报告生成器
基本介绍
awk是一个强大的文本处理工具,主要用于对结构化数据进行格式化和拆分处理,进行数据统计和报告生成,它支持复杂的操作和脚本编写,能够进行模式匹配和文本格式化。
基本语法
awk [options] 'program' file...
options:指定awk的一些操作选项,常用的选项包括:
-F
:指明输入时用到的字段分隔符。
-v var=value
:自定义变量。
program:由模式和动作两部分组成,格式为pattern {action statements; ...}
,pattern部分决定动作语句何时触发及触发事件,action部分对数据进行处理,常用的内置变量包括:
FS
:输入字段分隔符。
OFS
:输出字段分隔符。
RS
:输入记录分隔符。
ORS
:输出记录分隔符。
NF
:字段数量。
NR
:记录号。
$0
:整条记录。
$1
,$2
, …,$n
:分别表示第1个字段到第n个字段。
FILENAME
:当前文件名。
ARGC
:命令行的参数个数。
ARGV
:数组,保存的是命令行所给定的各参数。
示例用法
1、打印文件的第一列:
awk '{print $1}' file.txt
2、打印包含特定模式的行:
awk '/pattern/' file.txt
3、统计文件中某一列的总和:
awk '{sum += $1} END {print sum}' file.txt
4、按特定列排序:
awk '{print $1, $2}' file.txt | sort -k2,1
5、格式化输出:假设有一个包含姓名和年龄的文件name_age.txt,内容如下:
Alice 30 Bob 25 Carol 35 Karry 21 Ross 40 Joan 38 Linda 46 Lily 26 KARRY 27
按年龄排序并输出:
awk '{print $1 "t" $2}' name_age.txt | sort -k2,1
6、复杂脚本示例:假设有一组数据,需要计算每个学生的平均分并输出结果:
echo -e "NametScore1tScore2tScore3 Alicet85t90t78 Bobt70t80t90 Carolt88t92t85" > scores.txt awk '{sum = $2 + $3 + $4; avg = sum / 3; print $1, avg}' scores.txt
输出结果:
Alice 84.3333 Bob 77.3333 Carol 88.3333
Linux三剑客的结合使用
Linux三剑客可以结合管道操作符(|)一起使用,形成强大的数据处理流水线,先使用grep筛选出包含特定模式的行,再通过sed进行替换或删除操作,最后用awk进行格式化输出,以下是一个综合示例:
1、综合示例:假设有一个日志文件log.txt,需要筛选出包含"ERROR"的行,删除这些行,然后将剩余的行按时间戳排序并输出。
grep -v "ERROR" log.txt | sort -k2,3n -t':' -k1,1M -k2,2n -k3,3M | column -t -s':'
这个命令首先使用grep筛选出不包含"ERROR"的行,然后按时间戳进行排序,最后用column命令进行格式化输出。
Linux三剑客grep、sed和awk是文本处理和数据分析的强大工具,grep擅长于文本搜索和过滤,sed擅长于文本替换和编辑,而awk则擅长于文本格式化和数据处理,熟练掌握这三个工具,可以极大地提高数据处理效率,使得各种复杂的文本处理任务变得简单高效,通过本文的介绍,希望读者能够更好地理解和掌握这三款工具的基本用法和实际应用,从而在实际工作中灵活运用,提高工作效率。
以上就是关于“linux三剑客”的问题,朋友们可以点击主页了解更多内容,希望可以够帮助大家!
原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/1300192.html
本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。
发表回复