ceph 集群维护

1、通过套接字进行单机管理

[root@node01 ~]# ll /var/run/ceph/
total 0
srwxr-xr-x 1 ceph ceph 0 Jan  6 10:24 ceph-osd.0.asok
srwxr-xr-x 1 ceph ceph 0 Jan  6 10:24 ceph-osd.1.asok
srwxr-xr-x 1 ceph ceph 0 Jan  6 10:24 ceph-osd.2.asok
srwxr-xr-x 1 ceph ceph 0 Jan  6 10:24 ceph-osd.3.asok
srwxr-xr-x 1 ceph ceph 0 Jan  6 10:25 ceph-osd.4.asok

# 可用在不同的节点通过不同的 socket 文件管理不同的服务：

[root@mon01 ~]# setfacl -m u:ceph:rw /etc/ceph/ceph.client.admin.keyring
[root@mon01 ~]# ceph --admin-socket /var/run/ceph/ceph-mon.mon01.asok help

[root@node01 ~]# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok help

# 帮助信息：
[root@mon01 ~]# ceph --admin-daemon /var/run/ceph/ceph-mon.mon01.asok help

# mon 状态：
[root@mon01 ~]# ceph --admin-daemon /var/run/ceph/ceph-mon.mon01.asok mon_status

# 查看配置信息：
[root@mon01 ~]# ceph --admin-daemon /var/run/ceph/ceph-mon.mon01.asok config show

2、ceph 集群的停止或重启

重启之前，要提前设置 ceph 集群不要将 OSD 标记为 out，避免 node 节点关闭服务后被踢出ceph 集群外

# 关闭服务前设置 noout
[ceph@deploy ceph-cluster]$ ceph osd set noout
noout is set

# 启动服务后取消 noout
[ceph@deploy ceph-cluster]$ ceph osd  unset noout
noout is unset

关闭顺序

# 关闭服务前设置 noout
关闭存储客户端停止读写数据
关闭网关服务，如对象网关 RGW
关闭元数据服务
关闭 ceph OSD
关闭 ceph manager
关闭 ceph monitor

启动顺序

启动 ceph monitor
启动 ceph manager
启动 ceph OSD
启动元数据服务
启动网关服务，如对象网关 RGW
启动存储客户端

# 启动服务后取消 noout-->ceph osd unset noout

3、ceph 配置文件

Ceph 的主配置文件是/etc/ceph/ceph.conf，ceph 服务在启动时会检查 cep.conf，分号;和#在配置文件中都是注释，ceph.conf 主要由以下配置段组成

[global] # 全局配置
[osd]    # osd 专用配置，可以使用 osd.N，来表示某一个 OSD 专用配置，N 为 osd 的编号，如
0、2、1 等。
[mon]    # mon 专用配置，也可以使用 mon.A 来为某一个 monitor 节点做专用配置，其中 A 为
该节点的名称，ceph-monitor-2、ceph-monitor-1 等，使用命令 ceph mon dump 可以获取节
点的名称
[client] # 客户端专用配置。

ceph 文件的加载顺序

$CEPH_CONF 环境变量
-c 指定的位置
/etc/ceph/ceph.conf ~/.ceph/ceph.conf
./ceph.conf