ceph 查找块存储所在osd

1. 在对应的 pool 中查找块存储

root@G0002:~# rbd ls images
root@G0002:~# rbd --pool images info i-jyfqkadr

rbd image 'i-jyfqkadr':
    size 1TiB in 262144 objects
    order 22 (4MiB objects)
    block_name_prefix: rbd_data.5ff6d86b8b4567
    format: 2
    features: layering
    flags:
    parent: template/img-lrxctgje@template
    overlap: 20GiB
2025-02-10 16:54:21.610380 7f4e581d30c0 -1 librbd: error retrieving trash entry: (95) Operation not supported
You have new mail in /var/mail/root

• block_name_prefix: rbd_data.5ff6d86b8b4567 这表示RBD 的数据对象前缀

2. 查看对象信息

root@G0002:~# ceph osd map images rbd_data.5ff6d86b8b4567

osdmap e256292 pool 'images' (1) object 'rbd_data.5ff6d86b8b4567' -> pg 1.c929cd1c (1.11c) -> up ([3,19], p3) acting ([3,19], p3)

• osdmap e256292

  • 当前 OSDMap 的 epoch 是 256292。
  • 说明这个信息是基于 e256292 版本的 OSDMap 计算得到的。

• pool 'images' (1)

  • 这个对象属于 ID 为 1 的存储池 images。

• object 'rbd_data.5ff6d86b8b4567'

  • 这个是 RADOS 存储对象的名字，通常是 RBD（RADOS Block Device）的数据对象。

• -> pg 1.c929cd1c (1.11c)

  • 这个对象映射到了 Placement Group (PG) 1.c929cd1c，即 PG 编号是 1.11c（十六进制 0x11c）。
  • PG ID 1.11c 的前缀 1. 代表这个 PG 属于 池 ID 1 (images)。

• -> up ([3,19], p3)

  • up 集合表示 当前 OSDMap 认为 OSD 在列表中是存活的（up），这里 [3,19] 是说当前对象在 OSD 3 和 OSD 19。
  • p3 表示 OSD 3 是主 OSD（primary OSD）。

• acting ([3,19], p3)

  • acting 集合表示 实际提供服务的 OSD 列表，这里也是 OSD 3 和 OSD 19。
  • p3 仍然表示 OSD 3 是 primary OSD。

3. 查看 osd 信息

root@G0002:~# ceph osd find 3
{
    "osd": 3,
    "ip": "10.1.24.12:6800/168966",
    "osd_fsid": "15d48f01-c436-4729-8de4-1554afb41ab1",
    "crush_location": {
        "host": "S0004-HDD",
        "root": "root-hdd"
    }
}