Linux 文本内容管理和文件查找
文本内容管理和文件查找
1、文本内容管理命令
1.1 文本内容排序
sort #默认升序排序,不是按数值大小排序的
-n #根据数值大小进行排序
-r #逆序排序
-t #字段分隔符
-k #以哪个字段为关键字进行排序
-u #去重,排序后相同的行只显示一次
-f #排序时忽略字符大小写
uniq #将重复的行只显示一遍(连续且完全相同方为重复)
-c #显示文件中行重复的次数
-d #只显示重复的行
-u #只显示未重复的行
1.2 文本内容统计
#文本内容统计
wc #文本内容统计
-l #显示行数
-w #显示单词数
-c #显示字节数
#文件大小统计
du #查看文件或目录占用的磁盘空间大小
-h #以人类友好的方式显示大小
-s #显示总的占用空间大小
#磁盘空间统计
df #报告文件系统磁盘空间使用情况
-h #以人类友好的方式显示大小
-i #显示inode信息
-T #查看文件系统类型
1.3 文本内容过滤
cut截取文本内容
cut #截取文本内容
-d '' #指定字段分隔符,默认是空格
-f #指定要显示的字段
-f 1,3 #显示第1个字段和第3个字段
-f 1-3 #显示第1个字段到第3个字段
awk基于列的文本报告工具
awk #基于列的文本报告工具
语法:awk [选项] '匹配模式 {执行动作}'
-F '' #指定分隔符,可以使用正则表达式[]指定多个分隔符
-v OFS='' #指定打印时的分隔符
执行动作:
'{print $#}' #选择打印第#列,$0代表所有列,$NF代表最后1列
匹配模式:
'/关键字/' #匹配关键字的行,支持正则表达式
'/关键字1/,/关键字2/' #匹配从关键字1到关键字2中间所有的行
'/关键字1/;/关键字2/' #匹配从关键字1和关键字2的行
'NR==1' #匹配第1行
'NR>=10' #匹配行数大于10的所有行并显示行号
'$1==1' #匹配第1列的值等于1的行
'$1>=10 && $1<=20' #匹配第1列的值大于等于10并小于等于20的行
'$1>=10 || $3!=20' #匹配第1列的值大于等于10或者第3列的值不等于20的行
'$NF~"/sbin/nologin"' #匹配最后1列字符为/sbin/nologin的行
'$NF~!"/sbin/nologin"' #匹配最后1列字符不为/sbin/nologin的行
语法示例:
#使用:为分隔符分割/etc/passwd文件中的内容,按照想要的格式打印出来
awk -F ':' '{print "第一列:"$1,"第二列:"$2,"第三列:"$3}' /etc/passwd
#使用:为分隔符分割/etc/passwd文件中的内容,按照想要的格式打印出来
awk -F ':' -v OFS='-' '{print $1,$2,$3}' /etc/passwd
#使用:或/或:/或多个:或多个/或多个:/为分隔符分割/etc/passwd文件中的内容,打印出第1列和第6列
awk -F '[:/]+' '{print $1,$6}' /etc/passwd
grep文本过滤
grep #搜索文本内容,并将匹配的内容所在一整行都显示出来
#支持使用正则表达式来过滤文本
--color #匹配到的内容高亮显示
-i #忽略大小写
-w #强制模式,完全匹配字词
-n #显示匹配到的内容的行号
-c #显示匹配到的内容一共有多少行
-v #显示没有被模式匹配到的行
-o #只显示被模式匹配到的字符串
-E #使用扩展正则表达式。grep -E相当于使用egrep
-q #静默模式,不向屏幕输出任何信息
-A 1 #被模式匹配到的内容以及其后面1行的内容都显示出来
-B 1 #被模式匹配到的内容以及其前面1行的内容都显示出来
-C 1 #被模式匹配到的内容以及其前后的行各显示1行
-r #递归搜索每个目录下的所有文件的文本内容,忽略链接文件
-R #递归搜索每个目录下的所有文件的文本内容,不忽略链接文件
egrep #基于正则表达式查找文件内容
fgrep #不支持正则表达式,执行速度快
sed文本过滤和流编辑器
sed #基于行的过滤和转换文本的流编辑器
语法:sed [选项] [过滤条件和sed命令] [输入文件]
-n #取消默认sed输出,用于过滤文本内容
-r #使用扩展正则表达式
-e #一条语句执行多条sed命令
-i #修改文件内容
语法示例:
#打印第2行
sed -n '2p' file
#打印第2行到第4行
sed -n '2,4p' file
#搜索包含关键字的行,可使用基本正则表达式
sed -n '/关键字/p' file
#搜索从第一个关键字到第二个关键字中间所有的行
sed -n '/第一个关键字/,/第二个关键字/p' file
#在第2行前面新增一行并写入test内容
sed -i '2i test' file
#在匹配的关键字所在行的后面新增一行并写入test内容
sed -i '/关键字/a test' file
#新字符串替换原字符串,只替换每行第1个匹配到的字符
sed -i 's#原字符串#新字符串#' file
#替换每行第2个匹配到的字符
sed -i 's#原字符串#新字符串#2' file
#替换每行所有匹配到的字符串
sed -i 's#原字符串#新字符串#g' file
#替换第1行所有匹配到的字符串
sed -i '1s#原字符串#新字符串#g' file
#字符串替换,将第2行内容替换为test
sed -i '2c test' file
#字符串排列,重新将每行逗号隔开的列进行排序,原本的第三列变成第一列
sed -r 's#(.*),(.*),(.*)#\3,\2,\1#g' file
#字符串排列,重新将第1行和第3行逗号隔开的内容进行排序
sed -r '1s#(.*),(.*),(.*)#\3,\2,\1#g;2s#(.*),(.*),(.*)#\3,\2,\1#g' file
#删除第2行
sed -i '2d' file
#删除第2行和第5行
sed -i '2d;5d' file
#删除第2行到第5行
sed -i '2,5d' file
#删除行数为单数的行
sed -i '1~2d' file
#删除行数为双数的行
sed -i '2~2d' file
#删除第1行以及后面的2行
sed -i '1,+2d' file
#删除关键字所在的行
sed -i '/关键字/d' file
#删除关键字所在的行以及后面的2行
sed -i '/关键字/,+2d' file
#删除除了第1行以外的其他行
sed -i '1!d' file
#删除第一个关键字到第二个关键字中间所有的行
sed -i '/第一个关键字/,/第二个关键字/d' file
2、文件查找命令
find #实时查找,精确性强,遍历指定目录中所有文件完成查找,
#查找速度慢,支持众多查找标准。
语法:
find 查找路径 [OPTION...] [查找标准] [查找到以后的处理动作]
查找路径,默认为当前目录
查找标准,默认为指定路径下的所有文件
-name 'filename' #对文件名作精确匹配.支持glob通配符机制
-iname 'filename' #文件名匹配时不区分大小写
-regex pattern #基于正则表达式进行文件名匹配,以pattern匹配整个文件路径字符串,而不仅仅是文件名称
-user username #根据属主来查找
-group groupname #根据属组来查找
-uid #根据UID进行查找,当用户被删除以后文件的属主会变为此用户的UID
-gid #根据GID进行查找,当用户被删除以后文件的属组会变为此用户的GID
-nouser #查找没有属主的文件.用户被删除的情况下产生的文件,只有uid没有属主
-nogroup #查找没有属组的文件.组被删除的情况下产生的文件,只有gid没有属组
-type #根据文件类型来查找(f,d,c,b,l,p,s)
-size #根据文件大小进行查找。如1k、1M,+10k、+10M,-1k、-1M,+表示大于,-表示小于
-mtime #修改时间
-ctime #改变时间
-atime #访问时间
+5 #5天前
-5 #5天以内
-mmin #多少分钟修改过
-cmin #多少分钟改变过
-amin #多少分钟访问过
+5 #5分钟前
-5 #5分钟以内
-perm mode #根据权限精确查找
-perm -mode #查找至少包含指定权限的文件
#组合条件:
-a #和
-o #或
-not #否
! # ! 和-not含义一样
#处理动作:默认为显示到屏幕上
-print #显示
-ls #类似ls -l的形式显示每一个文件的详细信息
-fls /path/to/somefile #查找到的所有文件的长格式信息保存至指定文件中
-delete #删除查找到的文件
-ok COMMAND {} \; #对查找到的每个文件执行COMMAND,每次操作都需要用户确认
-exec COMMAND {} \; #对查找到的每个文件执行COMMAND,操作不需要确认
注意:find传递查找到的文件至后面指定的命令时,查找到所有符合条件的文件一次性传递给后面的命令,而有些命令不能接受过多参数,此时命令执行可能会失败。而xargs可规避此问题。
| xargs #通过管道将查找到的内容给xargs处理,xargs会把内容进行拆分,拆分完毕后将内容作为参数交给后面的命令执行。