1、监视磁盘I/O iotop

来自于iotop包

iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用
户、I/O、进程等相关信息，可查看每个进程是如何使用IO

[root@centos79 ~]# yum install iotop -y

iotop输出

• 第一行：Read和Write速率总计
• 第二行：实际的Read和Write速率
• 第三行：参数如下：
  • 线程ID（按p切换为进程ID）
  • 优先级
  • 用户
  • 磁盘读速率
  • 磁盘写速率
  • swap交换百分比
  • IO等待所占的百分比

#iotop常用参数
-o, --only只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o生效
-b, --batch非交互模式，一般用来记录日志
-n NUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用
-d SEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
-p PID, --pid=PID指定监测的进程/线程
-u USER, --user=USER指定监测某个用户产生的I/O
-P, --processes仅显示进程，默认iotop显示所有线程
-a, --accumulated显示累积的I/O，而不是带宽
-k, --kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用
-t, --time 加上时间戳，非交互非模式
-q, --quiet 禁止头几行，非交互模式，有三种指定方式
-q 只在第一次监测时显示列名
-qq 永远不显示列名
-qqq 永远不显示I/O汇总

#交互按键
left和right方向键：改变排序
r：反向排序
o：切换至选项--only
p：切换至--processes选项
a：切换至--accumulated选项
q：退出
i：改变线程的优先级

2、显示网络带宽使用情况 iftop

通过EPEL源的 iftop 包

[root@centos79 ~]# yum install -y iftop

3、查看网络实时吞吐量 nload

nload 是一个实时监控网络流量和带宽使用情况，以数值和动态图展示进出的流量情况,通过EPEL源安装

#界面操作
上下方向键、左右方向键、enter键或者tab键都就可以切换查看多个网卡的流量情况
按 F2 显示选项窗口
按 q 或者 Ctrl+C 退出 nload

[root@centos79 ~]# yum install -y nload

#默认只查看第一个网络的流量进出情况
nload

#在nload后面指定网卡，可以指定多个,按左右键分别显示网卡状态
nload eth0 eth1

#设置刷新间隔：默认刷新间隔是100毫秒，可通过 -t 命令设置刷新时间（单位是毫秒）
nload -t 500 eth0

#设置单位：显示两种单位一种是显示Bit/s、一种是显示Byte/s，默认是以Bit/s，也可不显示/s
#-u h|b|k|m|g|H|B|K|M|G 表示的含义： h: auto, b: Bit/s, k: kBit/s, m: MBit/s, H:auto, B: Byte/s, K: kByte/s, M: MByte/s
nload -u M eth0

4、查看进程网络带宽的使用情况 nethogs

NetHogs是一个开源的命令行工具（类似于Linux的top命令），用来按进程或程序实时统计网络带宽使
用率。

[root@centos79 ~]# yum install -y nethogs
[root@centos79 ~]# nethogs

5、系统资源统计 dstat

dstat由pcp-system-tools包提供，但安装dstat包即可, 可用于代替 vmstat,iostat功能

dstat [-afv] [options..] [delay [count]]

-c 显示cpu相关信息
-C #,#,...,total
-d 显示disk相关信息
-D total,sda,sdb,...
-g 显示page相关统计数据
-m 显示memory相关统计数据
-n 显示network相关统计数据
-p 显示process相关统计数据
-r 显示io请求相关的统计数据
-s 显示swapped相关的统计数据
--tcp
--udp
--unix
--raw
--socket
--ipc
--top-cpu：显示最占用CPU的进程
--top-io: 显示最占用io的进程
--top-mem: 显示最占用内存的进程
--top-latency: 显示延迟最大的进程

[root@centos79 ~]# yum install -y dstat

[root@centos79 ~]# dstat 1 6
You did not select any stats, using -cdngy by default.
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw
  0   0 100   0   0   0|7545B 1716B|   0     0 |   0     0 |  52    92
  0   0 100   0   0   0|   0     0 |2196B 3048B|   0     0 |  60    92
  0   0 100   0   0   0|   0     0 |2196B 2568B|   0     0 |  58    88
  0   0 100   0   0   0|   0     0 |2196B 2568B|   0     0 |  57    94
  0   0 100   0   0   0|   0     0 |2196B 2568B|   0     0 |  57    90
  0   0 100   0   0   0|   0     0 |2196B 2568B|   0     0 |  65   102
  0   0 100   0   0   0|   0     0 |2196B 2568B|   0     0 |  65    96 

6、综合监控工具 glances

此工具可以通过EPEL源安装

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P
password] [--password] [-t refresh] [-f file] [-o output]

#内建命令
a Sort processes automatically     l Show/hide logs
c Sort processes by CPU%           b Bytes or bits for network I/O
m Sort processes by MEM%         w Delete warning logs
p Sort processes by name           x Delete warning and critical logs
i Sort processes by I/O rate       1 Global CPU or per-CPU stats
d Show/hide disk I/O stats         h Show/hide this help screen
f Show/hide file system stats     t View network I/O as combination
n Show/hide network stats         u View cumulative network I/O
s Show/hide sensors stats         q Quit (Esc and Ctrl-C also work)
y Show/hide hddtemp stats

#常用选项
-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {HTML|CSV}：输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1：每个CPU的相关数据单独显示

C/S模式下运行glances命令

• 服务器模式：
  • glances -s -B IPADDR
    • IPADDR: 指明监听的本机哪个地址,端口默认为61209/tcp
• 客户端模式：
  • glances -c IPADDR
    • IPADDR：要连入的服务器端地址

[root@centos79 ~]# yum install -y glances

[root@centos79 ~]# glances

7、查看进程打开文件 lsof

lsof：list open files，查看当前系统文件的工具。在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分配了一个文件描述符。

-a：列出打开文件存在的进程
-c<进程名>：列出指定进程所打开的文件
-g：列出GID号进程详情
-d<文件号>：列出占用该文件号的进程
+d<目录>：列出目录下被打开的文件
+D<目录>：递归列出目录下被打开的文件
-n<目录>：列出使用NFS的文件
-i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号>：列出指定进程号所打开的文件
-u：列出UID号进程详情
-h：显示帮助信息
-v：显示版本信息。
-n: 不反向解析网络名字

#lsof 列出当前所有打开的文件
[root@centos79 ~]# lsof | head
COMMAND    PID  TID    USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
systemd      1         root  cwd       DIR              253,0       256         64 /
systemd      1         root  rtd       DIR              253,0       256         64 /
systemd      1         root  txt       REG              253,0   1632960     213020 /usr/lib/systemd/systemd
systemd      1         root  mem       REG              253,0     20064      37512 /usr/lib64/libuuid.so.1.3.0
systemd      1         root  mem       REG              253,0    265576     206114 /usr/lib64/libblkid.so.1.1.0
systemd      1         root  mem       REG              253,0     90160       5271 /usr/lib64/libz.so.1.2.7
systemd      1         root  mem       REG              253,0    157424       1787 /usr/lib64/liblzma.so.5.2.2
systemd      1         root  mem       REG              253,0     23968      37574 /usr/lib64/libcap-ng.so.0.0.0
systemd      1         root  mem       REG              253,0     19896      37564 /usr/lib64/libattr.so.1.1.0

#查看当前哪个进程正在使用此文件
[root@centos79 ~]# lsof /var/log/messages
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF     NODE NAME
rsyslogd 1037 root    6w   REG  253,0   755136 17384487 /var/log/messages

#查看由登陆用户启动而非系统启动的进程
[root@centos79 ~]# lsof `tty`
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash    3505 root    0u   CHR  136,1      0t0    4 /dev/pts/1
bash    3505 root    1u   CHR  136,1      0t0    4 /dev/pts/1
bash    3505 root    2u   CHR  136,1      0t0    4 /dev/pts/1
bash    3505 root  255u   CHR  136,1      0t0    4 /dev/pts/1
lsof    4031 root    0u   CHR  136,1      0t0    4 /dev/pts/1
lsof    4031 root    1u   CHR  136,1      0t0    4 /dev/pts/1
lsof    4031 root    2u   CHR  136,1      0t0    4 /dev/pts/1

#指定进程号，可以查看该进程打开的文件
[root@centos79 ~]# lsof -p 1035
[root@centos79 ~]# lsof -c http
COMMAND  PID USER   FD   TYPE             DEVICE SIZE/OFF     NODE NAME
httpd   1035 root  cwd    DIR              253,0      256       64 /
httpd   1035 root  rtd    DIR              253,0      256       64 /
httpd   1035 root  txt    REG              253,0   523712   206068 /usr/sbin/httpd
httpd   1035 root  mem    REG              253,0    86464   206106 /usr/lib64/libnss_myhostname.so.2
httpd   1035 root  mem    REG              253,0   109976     5257 /usr/lib64/libresolv-2.17.so
httpd   1035 root  mem    REG              253,0    31344     5245 /usr/lib64/libnss_dns-2.17.so
httpd   1035 root  mem    REG              253,0    61560     5247 /usr/lib64/libnss_files-2.17.so
httpd   1035 root  mem    REG              253,0    27720 50351553 /usr/lib64/httpd/modules/mod_cgi.so
httpd   1035 root  mem    REG              253,0    68192    37514 /usr/lib64/libbz2.so.1.0.6
httpd   1035 root  mem    REG              253,0   157424     1787 /usr/lib64/liblzma.so.5.2.2
httpd   1035 root  mem    REG              253,0    99944    37551 /usr/lib64/libelf-0.176.so
httpd   1035 root  mem    REG              253,0    19896    37564 /usr/lib64/libattr.so.1.1.0
httpd   1035 root  mem    REG              253,0    88720       84 /usr/lib64/libgcc_s-4.8.5-20150702.so.1
httpd   1035 root  mem    REG              253,0   338672   212995 /usr/lib64/libdw-0.176.so
httpd   1035 root  mem    REG              253,0    20048    37568 

#查看指定用户打开的文件
lsof -u root | more
　　
#查看指定目录下被打开的文件，参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件
lsof +D /var/log/
lsof +d /var/log/　　

#查看所有网络连接，通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
lsof -i –n
lsof -i@127.0.0.1

#查看端口连接情况，通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
lsof -i :80 -n

#查看指定进程打开的网络连接，参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程
lsof -i –n -a -p 9527

#查看指定状态的网络连接，-n:no host names, -P:no port names,-i TCP指定协议，-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
lsof -n -P -i TCP -s TCP:ESTABLISHED

#利用 lsof 恢复正在使用中的误删除的文件
lsof | grep /var/log/messages
rm -f /var/log/messages
lsof | grep /var/log/messages
cat /proc/653/fd/6
cat /proc/653/fd/6 > /var/log/messages

8、信号发送 kill

kill：内部命令，可用来向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写。

#显示当前系统可用信号
kill -l
trap -l

#常用信号
1) SIGHUP 无须关闭进程而让其重读配置文件
2) SIGINT 中止正在运行的进程；相当于Ctrl+c
3) SIGQUIT 相当于ctrl+\
9) SIGKILL 强制杀死正在运行的进程,可能会导致数据丢失,慎用!
15) SIGTERM 终止正在运行的进程，默认信号
18) SIGCONT 继续运行
19) SIGSTOP 后台休眠

指定信号的方法

• 信号的数字标识：1, 2, 9
• 信号完整名称：SIGHUP，sighup
• 信号的简写名称：HUP，hup

#按PID向进程发送信号
kill [-s sigspec | -n signum | -sigspec] pid | jobspec ... or kill -l [sigspec]

kill  -1   pid …
kill  -n 9 pid
kill  -s SIGINT pid

#按名称：killall 来自于psmisc包
killall [-SIGNAL] comm…

#按模式
pkill [options] pattern

#选项
-SIGNAL
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名（pgrep可用）
-a: 显示完整格式的进程名（pgrep可用）
-P pid: 显示指定进程的子进程

9、作业管理

• 前台作业：通过终端启动，且启动后一直占据终端
• 后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）

让作业运行于后台

• 运行中的作业： Ctrl+z
• 尚未启动的作业： COMMAND &

后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系。

• nohup COMMAND &>/dev/null &
• screen；COMMAND
• tmux；COMMAND

#查看当前终端所有作业
jobs

#作业控制
fg [[%]JOB_NUM]： 把指定的后台作业调回前台
bg [[%]JOB_NUM]： 让送往后台的作业在后台继续运行
kill [%JOB_NUM]： 终止指定的作业