基于Proxmox VE 7 将 Ceph从Octopus 15 升级到 Pacific（16.2.4 或更高版本）

参考教程+环境要求

参考文章：
    官方参考文章：
        https://pve.proxmox.com/wiki/Ceph_Octopus_to_Pacific
        https://pve.proxmox.com/wiki/Ceph_Pacific_to_Quincy 
    pve6 update pve7文章：https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0
    社区关于升级的讨论：https://forum.proxmox.com/threads/ceph-17-2-quincy-available-as-stable-release.111887/

升级要求：
    pve7+ceph15.2.13或者以上版本

实施升级（注意顺序-严格要求）

1、启用 msgrv2 协议并更新 Ceph 配置
    ceph mon enable-msgr2
    #这将指示绑定到旧版 v1 协议的旧默认端口 6789 的所有监视器也绑定到新的 3300 v2 协议端口。查看是否所有监视器都已更新运行
    ceph mon dump   #并验证每个监视器都列出了 v2: 和 v1: 地址

2、检查 bluestore_fsck_quick_fix_on_mount 是否被禁用
    ceph config get osd bluestore_fsck_quick_fix_on_mount    #获取当前设置

    #若要升级到v.16.2.6，请注意 Ceph Pacific v.16.2.6 中存在一个错误，用于转换损坏数据的磁盘 OMAP 数据。需要将该参数设置为false。
    #若返回false，则一切正常，OMAP 数据将不会被转换
    #若返回true并且您计划升级到过时的 v.16.2.6，而不是当前的 v.16.2.7 false ，请使用以下命令 将其设置为并再次验证：
    ceph config set osd bluestore_fsck_quick_fix_on_mount false

   # 若要升级到更高版本，如16.2.7 或更高版本，此问题已解决，您应该启用此选项。OSD第一次启动需要一些时间，因为它们正在转换磁盘格式。
    ceph config set osd bluestore_fsck_quick_fix_on_mount true

3、将ceph.list的apt源由octopus修改为pacific（所有节点）
    sed -i 's/octopus/pacific/' /etc/apt/sources.list.d/ceph.list

4、设置ceph osd标志为noout（也可以不设置，推荐设置）
    ceph osd set noout

5、开始升级
    apt update
    apt full-upgrade

6、重启所有mon角色，重启mon服务并核验ceph mon报告中的版本信息
    root@3-ceph15-1:~# systemctl restart ceph-mon.target
    root@3-ceph15-1:~# ceph mon dump | grep min_mon_release
min_mon_release 15 (octopus)
dumped monmap epoch 3
    #若是 min_mon_release 16 (pacific)    则表示正常。
    #若不是，这意味着一个或多个监视器尚未升级和重新启动，和/或法定人数不包括所有监视器。
    root@3-ceph15-1:~# ceph mon dump | grep min_mon_release
min_mon_release 16 (pacific)
dumped monmap epoch 4

7、重启所有mgr角色，并查看mgr是否正常运行
    root@3-ceph15-1:~# systemctl restart ceph-mgr.target
    root@3-ceph15-1:~# ceph -s

8、所有节点上重启 OSD服务（节点挨个执行）
    重要提示：升级后，每个 OSD 第一次启动时，都会进行格式转换以改进数据统计omap。
    这可能需要几分钟或最多几个小时（例如，在具有大量 omap 数据的 HDD 上）。
    最好一次在一个节点上重启 OSD
    root@3-ceph15-1:~# systemctl restart ceph-osd.target
    root@3-ceph15-1:~# ceph status
root@3-ceph15-3:~# ceph -s
  cluster:
    id:     fa7e02fb-bbbe-48cb-97c6-65aaacbb977a
    health: HEALTH_WARN
            noout flag(s) set
            all OSDs are running pacific or later but require_osd_release < pacific #注意这个

9、禁止 pre-Pacific OSD 并启用所有新的 Pacific-only 功能
    root@3-ceph15-1:~# ceph osd require-osd-release pacific
    注意：缺少此步骤会中断启动OSD，在Ceph Luminous或更早版本上具有所需的版本（例如，如果您从 Luminous -> Nautilus -> Octopus 升级）

10、升级所有mds服务
11、取消osd的noout标志
    ceph osd unset noout

12、mds的升级请参考上面的官方教程