1、文件查找

在文件系统上查找符合条件的文件
文件查找：

• 非实时查找(数据库查找)：locate
• 实时查找：find

1.1、locate

• locate 查询系统上预建的文件索引数据库 /var/lib/mlocate/mlocate.db
• 索引的构建是在系统较为空闲时自动进行(周期性任务)，执行updatedb可以更新数据库
• 索引构建过程需要遍历整个根文件系统，很消耗资源
• locate和updatedb命令来自于mlocate包

工作特点：

• 查找速度快
• 模糊查找
• 非实时查找
• 搜索的是文件的全路径，不仅仅是文件名
• 可能只搜索用户具备读取和执行权限的目录

locate [OPTION]... [PATTERN]...

-i 不区分大小写的搜索
-n N 只列举前N个匹配项目
-r 使用基本正则表达式

#范例
#搜索名称或路径中包含“conf"的文件
locate conf
#使用Regex来搜索以“.conf"结尾的文件
locate -r '\.conf$'

#范例
#创建mlocatedb
[root@centos79_test ~]# yum install -y mlocate
[root@centos79_test ~]# locate conf
locate: can not stat () `/var/lib/mlocate/mlocate.db': No such file or directory
[root@centos79_test ~]# updatedb
[root@centos79_test ~]# ll /var/lib/mlocate/mlocate.db
-rw-r----- 1 root slocate 868691 Nov 10 06:28 /var/lib/mlocate/mlocate.db
[root@centos79_test ~]# locate -n 4 conf
/boot/config-3.10.0-1160.el7.x86_64
/boot/grub2/i386-pc/configfile.mod
/etc/asound.conf
/etc/chkconfig.d

#范例
#文件新创建或刚删除，无法马上更新数据库
[root@centos79_test test]# touch locate.log
[root@centos79_test test]# locate locate.log
[root@centos79_test test]#
[root@centos79_test test]# locate locate.log
[root@centos79_test test]#
[root@centos79_test test]# updatedb
[root@centos79_test test]# locate locate.log
/root/test/locate.log

[root@centos79_test test]# rm -rf locate.log
[root@centos79_test test]# locate locate.log
/root/test/locate.log
[root@centos79_test test]# locate locate.log
/root/test/locate.log
[root@centos79_test test]# locate locate.log
/root/test/locate.log
[root@centos79_test test]# updatedb
[root@centos79_test test]# locate locate.log
[root@centos79_test test]# locate locate.log

1.2、find

find 是实时查找工具，通过遍历指定路径完成文件查找

工作特点：

• 查找速度略慢
• 精确查找
• 实时查找
• 查找条件丰富
• 可能只搜索用户具备读取和执行权限的目录

find [OPTION]... [查找路径] [查找条件] [处理动作]

查找路径：指定具体目标路径；默认为当前目录
查找条件：指定的查找标准，可以文件名、大小、类型、权限等标准进行；默认为找出指定路径下的所有文件
处理动作：对符合条件的文件做操作，默认输出至屏幕

#指定搜索目录层级
-maxdepth level 最大搜索目录深度,指定目录下的文件为第1级
-mindepth level 最小搜索目录深度

#范例
find /etc  -maxdepth 2 -mindepth 2

#对每个目录先处理目录内的文件，再处理目录本身
-depth
-d
#不推荐使用-d选项;请使用-depth代替，因为后者是POSIX-compliant特性

#范例
[root@centos79_test ~]# tree /data/test
/data/test
├── f1.txt
├── f2.txt
└── test2
   └── test3
       ├── f3.txt
       └── f4.txt
4 directories, 2 files
[root@centos79_test ~]# find /data/test
/data/test
/data/test/f1.txt
/data/test/f2.txt
/data/test/test2
/data/test/test2/test3
/data/test/test2/test3/f3.txt
/data/test/test2/test3/f4.txt
[root@centos79_test ~]# find /data/test -depth
/data/test/f1.txt
/data/test/f2.txt
/data/test/test2/test3/f3.txt
/data/test/test2/test3/f4.txt
/data/test/test2/test3
/data/test/test2
/data/test

#根据文件名和inode查找
-name "文件名称"            #支持使用glob，如：*, ?, [], [^],通配符要加双引号引起来
-iname "文件名称"           #不区分字母大小写
-inum n                    #按inode号查找
-samefile name             #相同inode号的文件
-links n                   #链接数为n的文件
-regex “PATTERN"           #以PATTERN匹配整个文件路径，而非文件名称

#范例
[root@centos79_test ~]# find -name ifcfg-eth0
[root@centos79_test ~]# find -iname ifcfg-eth0
[root@centos79_test ~]# find / -name ifcfg-eth0
/etc/sysconfig/network-scripts/ifcfg-eth0
[root@centos79_test ~]# find /etc -name ifcfg-eth0
/etc/sysconfig/network-scripts/ifcfg-eth0
[root@centos79_test ~]# find / -regex ".*/ifcfg-eth0"
/etc/sysconfig/network-scripts/ifcfg-eth0

#根据属主、属组查找
-user USERNAME           #查找属主为指定用户(UID)的文件
-group GRPNAME           #查找属组为指定组(GID)的文件
-uid UserID              #查找属主为指定的UID号的文件
-gid GroupID             #查找属组为指定的GID号的文件
-nouser                  #查找没有属主的文件
-nogroup                 #查找没有属组的文件

#根据文件类型查找
-type TYPE

#TYPE可以是以下形式
f      普通文件
d      目录文件
l      符号链接文件
s      套接字文件
b      块设备文件
c      字符设备文件
p      管道文件

#范例
[root@centos79_test ~]# find /home -type d
/home
/home/test
/home/user1
/home/user2

#空文件或目录
-empty

#组合条件
与：-a ，默认多个条件是与关系，所以可以省略-a
或：-o
非：-not ! 

#根据文件大小来查找
-size [+|-]#UNIT     #常用单位：k, M, G，c（byte）,注意大小写敏感
#UNIT:               #表示(#-1, #],如：6k 表示(5k,6k]
-#UNIT               #表示[0,#-1],如：-6k 表示[0,5k]
+#UNIT               #表示(#,∞),如：+6k 表示(6k,∞)

#范例
[root@centos79_test ~]# find / -size +10G
/proc/kcore
find: ‘/proc/2060/task/2060/fd/5’: No such file or directory
find: ‘/proc/2060/task/2060/fdinfo/5’: No such file or directory
find: ‘/proc/2060/fd/6’: No such file or directory
find: ‘/proc/2060/fdinfo/6’: No such file or directory

#根据时间戳
#以“天"为单位
-atime [+|-]#
# #表示[#,#+1)
+# #表示[#+1,∞]
-# #表示[0,#)
-mtime
-ctime
#以“分钟"为单位
-amin
-mmin
-cmin

#根据权限查找
-perm [/|-]MODE

MODE           #精确权限匹配
/MODE          #任何一类(u,g,o)对象的权限中只要有一位匹配即可，或关系，+ 从CentOS 7开始淘汰
-MODE          #每一类对象都必须同时拥有指定权限，与关系
0              #表示不关注

#说明
find -perm 755 会匹配权限模式恰好是755的文件
只要当任意人有写权限时，find -perm /222就会匹配
只有当每个人都有写权限时，find -perm -222才会匹配
只有当其它人（other）有写权限时，find -perm -002才会匹配

#处理动作
-print                 默认的处理动作，显示至屏幕
-ls：                  类似于对查找到的文件执行"ls -dils"命令格式输出
-fls file：            查找到的所有文件的长格式信息保存至指定文件中，相当于 -ls > file
-delete：              删除查找到的文件，慎用！
-ok COMMAND {} \;      对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会交互式要求用户确认
-exec COMMAND {} \;    对查找到的每个文件执行由COMMAND指定的命令
{}:                    用于引用查找到的文件名称自身

#范例
#备份配置文件，添加.bak这个扩展名
find  -name  ".conf"  -exec  cp {} {}.bak \;
#提示删除存在时间超过３天以上的log的日志文件
find /log -ctime +3 -user log -ok rm {} \;
#在主目录中寻找可被其它用户写入的文件
find ~ -perm -002  -exec chmod o-w {} \;
#查找/data下的权限为644，后缀为sh的普通文件，增加执行权限
find /data –type f -perm 644  -name "*.sh" –exec chmod 755 {} \;

1.3、参数替换 xargs

由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs 可以读入 stdin 的数
据，并且以空格符或回车符将 stdin 的数据分隔成为参数；
另外，许多命令不能接受过多参数，命令执行可能会失败，xargs 可以解决
注意：文件名或者是其他意义的名词内含有空格符的情况

find 经常和 xargs 命令进行组合,形式如下：

find | xargs COMMAND

#范例
#删除当前目录下的大量文件
ls | xargs   rm
#批量创建和删除用户
echo user{1..10} | xargs -n1 useradd
echo user{1..100} | xargs -n1 userdel -r
#查找有特殊权限的文件，并排序
find /bin/ -perm /7000 | xargs ls -Sl
#以字符nul分隔
find -type f -name "*.txt" -print0 | xargs -0 rm
#并发执行多个进程
seq 100 |xargs -i -P10 wget -P /data   http://172.16.1.1/{}.html

2、压缩和解压缩

2.1、compress 和 uncompress

此工具来自于ncompress包,此工具目前已经很少使用

compress Options [file ...]
uncompress file.Z             #解压缩

-d                            解压缩，相当于uncompress
-c                            结果输出至标准输出,不删除原文件
-v                            显示详情


zcat file.Z 不显式解压缩的前提下查看文本文件内容
zcat file.Z >file

2.2、gzip和gunzip

来自于 gzip 包
对应的文件是 .gz 后缀

gzip [OPTION]... FILE ...

-k keep, 保留原文件,CentOS 8 新特性
-d 解压缩，相当于gunzip
-c 结果输出至标准输出，保留原文件不改变
-# 指定压缩比，#取值为1-9，值越大压缩比越大

#范例
#解压缩
gunzip file.gz
#不显式解压缩的前提下查看文本文件内容
zcat file.gz

gzip -c messages >messages.gz
gzip -c -d messages.gz > messages
zcat messages.gz > messages
cat messages | gzip > m.gz

2.3、bzip2和bunzip2

来自于 bzip2 包
对应的文件是 .bz2 后缀

bzip2 [OPTION]... FILE ...

-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 1-9，压缩比，默认为9

#范例
bunzip2 file.bz2 解压缩
bzcat file.bz2 不显式解压缩的前提下查看文本文件内容

2.4、xz 和 unxz

来自于 xz 包
对应的文件是 .xz 后缀

xz [OPTION]... FILE ...

-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 压缩比，取值1-9，默认为6

#范例
unxz file.xz    #解压缩
xzcat file.xz   #不显式解压缩的前提下查看文本文件内容

2.5、zip 和 unzip

zip 可以实现打包目录和多个文件成一个文件并压缩，但可能会丢失文件属性信息，如：所有者和组信息，一般建议使用 tar 代替
分别来自于 zip 和 unzip 包
对应的文件是 .zip 后缀

#范例
#打包并压缩
zip  -r /backup/sysconfig.zip /etc/sysconfig/
#不包括目录本身，只打包目录内的文件和子目录
cd /etc/sysconfig; zip -r /root/sysconfig.zip *
#默认解压缩至当前目录
unzip /backup/sysconfig.zip
#解压缩至指定目录,如果指定目录不存在，会在其父目录（必须事先存在）下自动生成
unzip /backup/sysconfig.zip  -d /tmp/config
cat /var/log/messages | zip messages  -
#-p 表示管道
unzip -p message.zip   > message
#加解密
zip -P 123456 test.zip *
unzip -P 123456 test.zip

3、打包和解包

3.1、tar

tar 即 Tape ARchive 磁带归档，可以对目录和多个文件打包一个文件，并且可以压缩，保留文件属性不丢失，常用于备份功能，推荐使用
对应的文件是 .tar 后缀

tar -cf archive.tar foo bar  # 为文件foo和bar创建压缩文件archive.tar
tar -tvf archive.tar         # 列出archive.tar里面所有文件
tar -xf archive.tar          # 解压缩archive.tar

-A或--catenate 新增文件到已存在的备份文件。
-b<区块数目>或--blocking-factor=<区块数目> 设置每笔记录的区块数目，每个区块大小为12Bytes。
-B或--read-full-records 读取数据时重设区块大小。
-c或--create 建立新的备份文件。
-C<目的目录>或--directory=<目的目录> 切换到指定的目录。
-d或--diff或--compare 对比备份文件内和文件系统上的文件的差异。
-f<备份文件>或--file=<备份文件> 指定备份文件。
-F<Script文件>或--info-script=<Script文件> 每次更换磁带时，就执行指定的Script文件。
-g或--listed-incremental 处理GNU格式的大量备份。
-G或--incremental 处理旧的GNU格式的大量备份。
-h或--dereference 不建立符号连接，直接复制该连接所指向的原始文件。
-i或--ignore-zeros 忽略备份文件中的0 Byte区块，也就是EOF。
-k或--keep-old-files 解开备份文件时，不覆盖已有的文件。
-K<文件>或--starting-file=<文件> 从指定的文件开始还原。
-l或--one-file-system 复制的文件或目录存放的文件系统，必须与tar指令执行时所处的文件系统相同，否则不予复制。
-L<媒体容量>或-tape-length=<媒体容量> 设置存放每体的容量，单位以1024 Bytes计算。
-m或--modification-time 还原文件时，不变更文件的更改时间。
-M或--multi-volume 在建立，还原备份文件或列出其中的内容时，采用多卷册模式。
-N<日期格式>或--newer=<日期时间> 只将较指定日期更新的文件保存到备份文件里。
-o或--old-archive或--portability 将资料写入备份文件时使用V7格式。
-O或--stdout 把从备份文件里还原的文件输出到标准输出设备。
-p或--same-permissions 用原来的文件权限还原文件。
-P或--absolute-names 文件名使用绝对名称，不移除文件名称前的"/"号。
-r或--append 新增文件到已存在的备份文件的结尾部分。
-R或--block-number 列出每个信息在备份文件中的区块编号。
-s或--same-order 还原文件的顺序和备份文件内的存放顺序相同。
-S或--sparse 倘若一个文件内含大量的连续0字节，则将此文件存成稀疏文件。
-t或--list 列出备份文件的内容。
-T<范本文件>或--files-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让tar解开或建立符合设置条件的文件。
-u或--update 仅置换较备份文件内的文件更新的文件。
-U或--unlink-first 解开压缩文件还原文件之前，先解除文件的连接。
-v或--verbose 显示指令执行过程。
-V<卷册名称>或--label=<卷册名称> 建立使用指定的卷册名称的备份文件。
-w或--interactive 遭遇问题时先询问用户。
-W或--verify 写入备份文件后，确认文件正确无误。
-x或--extract或--get 从备份文件中还原文件。
-X<范本文件>或--exclude-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让ar排除符合设置条件的文件。
-z或--gzip或--ungzip 通过gzip指令处理备份文件。
-Z或--compress或--uncompress 通过compress指令处理备份文件。
-<设备编号><存储密度> 设置备份用的外围设备编号及存放数据的密度。
--after-date=<日期时间> 此参数的效果和指定"-N"参数相同。
--atime-preserve 不变更文件的存取时间。
--backup=<备份方式>或--backup 移除文件前先进行备份。
--checkpoint 读取备份文件时列出目录名称。
--concatenate 此参数的效果和指定"-A"参数相同。
--confirmation 此参数的效果和指定"-w"参数相同。
--delete 从备份文件中删除指定的文件。
--exclude=<范本样式> 排除符合范本样式的文件。
--group=<群组名称> 把加入设备文件中的文件的所属群组设成指定的群组。
--help 在线帮助。
--ignore-failed-read 忽略数据读取错误，不中断程序的执行。
--new-volume-script=<Script文件> 此参数的效果和指定"-F"参数相同。
--newer-mtime 只保存更改过的文件。
--no-recursion 不做递归处理，也就是指定目录下的所有文件及子目录不予处理。
--null 从null设备读取文件名称。
--numeric-owner 以用户识别码及群组识别码取代用户名称和群组名称。
--owner=<用户名称> 把加入备份文件中的文件的拥有者设成指定的用户。
--posix 将数据写入备份文件时使用POSIX格式。
--preserve 此参数的效果和指定"-ps"参数相同。
--preserve-order 此参数的效果和指定"-A"参数相同。
--preserve-permissions 此参数的效果和指定"-p"参数相同。
--record-size=<区块数目> 此参数的效果和指定"-b"参数相同。
--recursive-unlink 解开压缩文件还原目录之前，先解除整个目录下所有文件的连接。
--remove-files 文件加入备份文件后，就将其删除。
--rsh-command=<执行指令> 设置要在远端主机上执行的指令，以取代rsh指令。
--same-owner 尝试以相同的文件拥有者还原文件。
--suffix=<备份字尾字符串> 移除文件前先行备份。
--totals 备份文件建立后，列出文件大小。
--use-compress-program=<执行指令> 通过指定的指令处理备份文件。
--version 显示版本信息。
--volno-file=<编号文件> 使用指定文件内的编号取代预设的卷册编号。

#创建归档，保留权限
tar -cpvf /PATH/FILE.tar FILE...
#追加文件至归档
tar -rf /PATH/FILE.tar FILE...
#查看归档文件中的文件列表
tar -t -f /PATH/FILE.tar
#展开归档
tar xf /PATH/FILE.tar
tar xf /PATH/FILE.tar -C /PATH/
#结合压缩工具实现：归档并压缩
-z 相当于gzip压缩工具
-j 相当于bzip2压缩工具
-J 相当于xz压缩工具

#范例
tar zcvf etc.tar.gz /etc/
tar jcvf etc.tar.bz2 /etc/
tar Jcvf etc.tar.xz /etc/

# 只打包目录内的文件，不所括目录本身
tar -C /etc -zcf etc.tar.gz ./

cd /etc
tar zcvf /root/etc.tar.gz ./

3.2、split

split 命令可以分割一个文件为多个文件

#分割大的 tar 文件为多份小文件
split -b Size –d tar-file-name prefix-name
示例:
split -b 1M mybackup.tgz mybackup-parts
#切换成的多个小分文件使用数字后缀
split -b 1M –d mybackup.tgz mybackup-parts
#将多个切割的小文件合并成一个大文件
cat mybackup-parts* > mybackup.tar.gz