Индекс: 1. Создание классов 2. Crushmap 3. Создание правил 4. Добавление пулов -------- Соединив информацию из различных источников, я подумал, что будет полезно собрать ее здесь для удобства использования. Если вы читаете эту тему, вероятно, вы уже знаете, что такое ceph и на что он способен. Для меня ceph оказался действительно классным, а proxmox в целом тоже очень крутой. В этом небольшом руководстве мы рассмотрим несколько моментов: классы OSD для ceph по умолчанию это HDD и SSD. Даже если у вас есть NVME-диски, они будут относиться к классу SSD. Это довольно печально. Это все равно что сделать SSD по умолчанию классом HDD. Нам действительно нужны три типа классов. Классы помогут изолировать способ назначения ВМ или LXC к этим классам, а это значит, что вы можете разместить одни вещи на HDD, другие на SSD, а даже третьи на супербыстрых NVMe-носителях. Например, я хочу хранить большой медиа-контент на HDD, а контейнеры, обрабатывающие данные, разместить на ВМ на дисках NVMe. SSD будет использоваться для других задач, которые не требуют высокой скорости или интенсивного хранения, например, для проверки цен на что-то в интернете. По умолчанию ceph добавляет все OSD в один пул, который вы создаете. Нет возможности изолировать устройства для конкретного пула, если не проводить дополнительные настройки. Если вы, как и некоторые из нас, имеете несколько узлов с несколькими типами устройств, возьмем, например, ssd, hdd и nvme. Как упоминалось выше, мы хотим сгруппировать их в пулы. Создание нового класса Если вы не в курсе, классы — это способ категоризировать устройства на основе их скорости. Также можно создать классы по размеру, если хотите. Существует несколько способов использовать классы. В этом руководстве мы добавим класс nvme. Список OSD и их классов: ceph osd crush tree --show-shadow Код: ID CLASS WEIGHT TYPE NAME
-16 nvme 4.54498 root default~nvme
-10 37.75299 host host1
13 hdd 9.09499 osd.13
14 hdd 9.09499 osd.14
15 hdd 9.09499 osd.15
16 hdd 9.09499 osd.16
20 ssd 0.90900 osd.20 (Эти .90900 диски, 1TB, являются NVME, но как видите, они относятся к классу SSD? Обратите внимание на номер osd, в данном случае osd.20.)
17 ssd 0.46500 osd.17
-7 37.74199 host host2
8 hdd 9.09499 osd.8
9 hdd 9.09499 osd.9
10 hdd 9.09499 osd.10
11 hdd 9.09499 osd.11
7 ssd 0.90900 osd.7 ***
18 ssd 0.45399 osd.18
-3 39.56000 host host3
0 hdd 9.09499 osd.0
1 hdd 9.09499 osd.1
2 hdd 9.09499 osd.2
3 hdd 9.09499 osd.3
4 ssd 0.90900 osd.4 ***
5 ssd 0.90900 osd.5 ***
6 ssd 0.90900 osd.6 ***
19 ssd 0.45399 osd.19 *** Обратите внимание на ID устройств, которые вы хотите изменить, и уберите текущий класс и назначьте новый класс для устройства: Удалите класс ssd для устройства 20: ceph osd crush rm-device-class osd.20 Назначьте класс nvme для устройства 20: ceph osd crush set-device-class nvme osd.20 Сделайте это для всех ID OSD, которые вы хотите изменить на конкретный класс. Теперь нужно убедиться, что ceph не вернется к умолчанию для устройств, поэтому мы отключаем обновление при старте. Это позволит нам изменять классы, так как они не будут установлены при запуске. Измените локальный файл /etc/ceph/ceph.conf, добавив запись osd: Код: [osd]
osd_class_update_on_start = false Думал, что нужно перезапустить службу osd, но прямо сейчас не уверен. systemctl restart ceph-osd.target Crushmap Вы можете увидеть crushmap в интерфейсе @ Host >> Ceph >> Configuration Чтобы понять crushmap, нужно выполнить следующие действия. Экспортировать и декомпилировать crushmap Прочитать и отредактировать crushmap Импортировать crushmap Правила для пулов Получить скомпилированный файл crushmap ceph osd getcrushmap -o crushmap.compiled Декомпилировать crushmap crushtool -d crushmap.compiled -o crushmap.text Скомпилировать crushmap, сохраняя оригинальный скомпилированный файл crushmap (выберите, как хотите управлять файлами) crushtool -c crushmap.text -o crushmap.compiled.new Импортировать новый crushmap ceph osd setcrushmap -i crushmap.compiled.new Теперь, когда мы знаем, как редактировать crushmap, давайте это сделаем! Создание новых правил Итак, мы создали новый класс, но он пока не выполняет никаких функций. Теперь нам нужно связать класс с правилом. Используя инструкции по crushmap выше, декомпилируйте и отредактируйте правила вашего crushmap. Имя правила по умолчанию с ID 0 что-то вроде replicated. Я решил удалить это правило и заменить его тремя правилами. Правила связывают классы с пулом, что мы и сделаем на последнем этапе. Удалите оригинальное правило id 0 и замените его этими тремя. Это работает для этого примера, так как у нас есть три типа устройств, но делайте, как считаете нужным в своей среде. Большинство создало бы правило для SSD и HDD, например. Код: # правила
rule replicated_hdd {
id 0
type replicated
min_size 1
max_size 10
step take default class hdd
step chooseleaf firstn 0 type host
step emit
}
rule replicated_ssd {
id 1
type replicated
min_size 1
max_size 10
step take default class ssd
step chooseleaf firstn 0 type host
step emit
}
rule replicated_nvme {
id 2
type replicated
min_size 1
max_size 10
step take default class nvme
step chooseleaf firstn 0 type host
step emit
} Не забудьте скомпилировать и импортировать ваш новый файл crush! Вы можете протестировать crushfile так, но --show-X у меня по какой-то причине не работает на момент написания: crushtool -i crushmap.compiled.new --test --show-X Создание пула Перейдите в интерфейс Proxmox Host >> Ceph >> Pools Создайте имя пула, например, pool-ssd, и привяжите новое правило к этому имени пула. Это приведет к тому, что любое новое устройство, связанное с конкретным классом, автоматически будет ассоциироваться с пулом в соответствии с вашими требованиями. Я считаю, это довольно круто. А вы? Ваши новые правила доступны при создании пула:
Теперь вы можете сделать следующее: Загрузить образы ISO в ресурс пула, и ВСЕ узлы смогут установить их. Ура! Ceph является RBD-накопителем только в этом случае и поэтому не поддерживает тип содержимого изображений ISO. Только контейнеры и образы дисков, как мне кажется, теперь высокодоступность стала возможной, так как вы можете перемещать ВМ в эти общие пулы. Что я собираюсь протестировать завтра. Установите ВМ на носители, которые лучше всего подходят для ваших нужд. Наслаждайтесь!
-16 nvme 4.54498 root default~nvme
-10 37.75299 host host1
13 hdd 9.09499 osd.13
14 hdd 9.09499 osd.14
15 hdd 9.09499 osd.15
16 hdd 9.09499 osd.16
20 ssd 0.90900 osd.20 (Эти .90900 диски, 1TB, являются NVME, но как видите, они относятся к классу SSD? Обратите внимание на номер osd, в данном случае osd.20.)
17 ssd 0.46500 osd.17
-7 37.74199 host host2
8 hdd 9.09499 osd.8
9 hdd 9.09499 osd.9
10 hdd 9.09499 osd.10
11 hdd 9.09499 osd.11
7 ssd 0.90900 osd.7 ***
18 ssd 0.45399 osd.18
-3 39.56000 host host3
0 hdd 9.09499 osd.0
1 hdd 9.09499 osd.1
2 hdd 9.09499 osd.2
3 hdd 9.09499 osd.3
4 ssd 0.90900 osd.4 ***
5 ssd 0.90900 osd.5 ***
6 ssd 0.90900 osd.6 ***
19 ssd 0.45399 osd.19 *** Обратите внимание на ID устройств, которые вы хотите изменить, и уберите текущий класс и назначьте новый класс для устройства: Удалите класс ssd для устройства 20: ceph osd crush rm-device-class osd.20 Назначьте класс nvme для устройства 20: ceph osd crush set-device-class nvme osd.20 Сделайте это для всех ID OSD, которые вы хотите изменить на конкретный класс. Теперь нужно убедиться, что ceph не вернется к умолчанию для устройств, поэтому мы отключаем обновление при старте. Это позволит нам изменять классы, так как они не будут установлены при запуске. Измените локальный файл /etc/ceph/ceph.conf, добавив запись osd: Код: [osd]
osd_class_update_on_start = false Думал, что нужно перезапустить службу osd, но прямо сейчас не уверен. systemctl restart ceph-osd.target Crushmap Вы можете увидеть crushmap в интерфейсе @ Host >> Ceph >> Configuration Чтобы понять crushmap, нужно выполнить следующие действия. Экспортировать и декомпилировать crushmap Прочитать и отредактировать crushmap Импортировать crushmap Правила для пулов Получить скомпилированный файл crushmap ceph osd getcrushmap -o crushmap.compiled Декомпилировать crushmap crushtool -d crushmap.compiled -o crushmap.text Скомпилировать crushmap, сохраняя оригинальный скомпилированный файл crushmap (выберите, как хотите управлять файлами) crushtool -c crushmap.text -o crushmap.compiled.new Импортировать новый crushmap ceph osd setcrushmap -i crushmap.compiled.new Теперь, когда мы знаем, как редактировать crushmap, давайте это сделаем! Создание новых правил Итак, мы создали новый класс, но он пока не выполняет никаких функций. Теперь нам нужно связать класс с правилом. Используя инструкции по crushmap выше, декомпилируйте и отредактируйте правила вашего crushmap. Имя правила по умолчанию с ID 0 что-то вроде replicated. Я решил удалить это правило и заменить его тремя правилами. Правила связывают классы с пулом, что мы и сделаем на последнем этапе. Удалите оригинальное правило id 0 и замените его этими тремя. Это работает для этого примера, так как у нас есть три типа устройств, но делайте, как считаете нужным в своей среде. Большинство создало бы правило для SSD и HDD, например. Код: # правила
rule replicated_hdd {
id 0
type replicated
min_size 1
max_size 10
step take default class hdd
step chooseleaf firstn 0 type host
step emit
}
rule replicated_ssd {
id 1
type replicated
min_size 1
max_size 10
step take default class ssd
step chooseleaf firstn 0 type host
step emit
}
rule replicated_nvme {
id 2
type replicated
min_size 1
max_size 10
step take default class nvme
step chooseleaf firstn 0 type host
step emit
} Не забудьте скомпилировать и импортировать ваш новый файл crush! Вы можете протестировать crushfile так, но --show-X у меня по какой-то причине не работает на момент написания: crushtool -i crushmap.compiled.new --test --show-X Создание пула Перейдите в интерфейс Proxmox Host >> Ceph >> Pools Создайте имя пула, например, pool-ssd, и привяжите новое правило к этому имени пула. Это приведет к тому, что любое новое устройство, связанное с конкретным классом, автоматически будет ассоциироваться с пулом в соответствии с вашими требованиями. Я считаю, это довольно круто. А вы? Ваши новые правила доступны при создании пула:
Теперь вы можете сделать следующее: Загрузить образы ISO в ресурс пула, и ВСЕ узлы смогут установить их. Ура! Ceph является RBD-накопителем только в этом случае и поэтому не поддерживает тип содержимого изображений ISO. Только контейнеры и образы дисков, как мне кажется, теперь высокодоступность стала возможной, так как вы можете перемещать ВМ в эти общие пулы. Что я собираюсь протестировать завтра. Установите ВМ на носители, которые лучше всего подходят для ваших нужд. Наслаждайтесь!