Я вижу "Но даже так, если у меня будет третий "DC", то CEPH будет с 3 сервером + qdevice/vm witness, то есть, 4 сервера, что по сути не идеальная конфигурация для Ceph, верно? Простите, если я выгляжу таким новичком. Я все еще пытаюсь разобраться во всех деталях." три раза: https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781458, https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781459 и https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781681. Но у меня нет опыта работы с Ceph и я не знаю, как ответить.

Какая скорость канала MPLS? 10 Гбит/с? Обычно советуют разворачивать два кластера, возможно, как здесь: https://forum.proxmox.com/#proxmox-datacenter-manager.27. Раз вы не хотите чётное количество узлов (ни половина не будет иметь более 50% кворума, если канал отключен), рассмотрите вариант использования Qdevice или 7-го узла в одном из мест, чтобы у него было 4.

Помни, что на каждом сайте должно быть минимум 3 узла, чем больше – тем лучше. Судя по тому, что я прочитал, Ceph stretch mode учитывает топологию сайта. Можно назначить MON на дата-центры и добавить свидетельский MON в VM в третьем месте. В случае сбоя сайта, выживший сайт + свидетель могут автоматически поддерживать кворум. Это разработано именно для такой двух-DC конфигурации. Так что, хотя stretch mode и не обязателен, я бы настоятельно рекомендовал его для вашего сценария. Он добавляет уровень безопасности и автоматизации, который сложно повторить вручную. Без stretch mode при обрыве связи между локациями вы рискуете получить ситуацию "split-brain". Также вам придётся вручную восстанавливать сервис.

Я нашел эту тему K Thread "Ceph Stretch cluster - Crush rules assistance" от 26 ноября 2024 года.

Привет! Мы валидируем дизайн стрейч-кластера, который выглядит так:

- Дата-центр 1 - 3 PVE (Dell R650) с 5 NVME (по 1 OSD на диск)
- Дата-центр 2 - 3 PVE (Dell R650) с 5 NVME (по 1 OSD на диск)
- Дата-центр 3 - 1 Виртуальный PVE в качестве witness.

Пока всё хорошо, стрейч-режим работает отлично с такой (конкретной конфигурацией стрейч-кластера):

Код:
ceph osd crush add-bucket dc1 datacenter
ceph osd crush add-bucket dc2 datacenter
ceph osd crush move dc1 root=default
ceph osd crush move dc2 root=default
ceph osd crush move dc1pve1 datacenter=dc1
ceph osd crush move dc1pve2 datacenter=dc1...

KKЖду ответов!

Форум: Proxmox VE: Установка и настройка.

Это именно мой сценарий. Я просто сомневался по поводу VM Witness.

Это не сработает. Если вы потеряете половину своих узлов (например, из-за пожара в DC1), то оставшаяся половина не будет иметь более чем половину голосов, и система не сочтёт себя кворумной (и не запустит VMs). Если один узел выйдет из строя, кластер продолжит работать нормально, и HA VMs (которые находились на вышедшем из строя узле) будут перезапущены на рабочем узле. Если вы потеряете кворум (из-за одновременной потери слишком большого количества узлов), то было доказано, что автоматическое восстановление невозможно. Однако, вы можете восстановить систему вручную, выбрав оставшиеся узлы, чтобы они ожидали меньше голосов. Может быть, этого будет достаточно для вас? Лично я бы рекомендовал использовать больше трёх узлов в каждом DC, так как он становится уязвимым, когда один DC сгорает, и вы теряете один узел из-за проблем с оборудованием. Оба DC общаются друг с другом, обычно через единую точку отказа (SPOF), которая также соединяет пользователей с обоими DC и VMs, работающими на них. Разместите QDevice на SPOF, который соединяет пользователей (или в любом другом месте ближе к пользователям), чтобы он автоматически выбирал выживший DC. Это обсуждалось несколько раз раньше (на этом форуме), и каждый раз, когда кто-то пытается быть умным, но математически невозможно предотвратить раздвоение мозга автоматически с двумя DC без третьего сайта и QDevice.

Обратите внимание, что это Ceph и использует 3 DC. Я предположил, что вы хотите это сделать с 2 DC и PVE. Я предложил решение с 3 площадками, но также указал, что 2 площадок недостаточно. Хотя бы для автоматического восстановления, когда потеряно половина узлов (но вручную это возможно). Я не читал ни одной темы углублённо и со вниманием, поэтому могу сильно ошибаться, в таком случае извините, и мне будет интересно узнать.

Виртуальный третий сайт не сработает, если сгорят оба реальных. Это то, что я пытался сказать. Прошу прощения, что это было не совсем понятно. См. тут: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_quorum. Мой совет — разместить его на стороне пользователей (и использовать это в качестве третьего сайта), если это не совпадает с DC1 или DC2. P.S. Не доверяйте мне (я всего лишь незнакомец в интернете), пожалуйста, попробуйте свои идеи и проверьте их, "выдергивая провода" (виртуальные), прежде чем запускать это в продакшн.

Отправил еще один вопрос, но его отправили на модерацию. Не уверен, почему! Ну ладно, вот еще раз: "Но даже так, если у меня будет третий "DC", то CEPH будет с 3 серверами + qdevice/vm witness, то есть 4 сервера, что по сути не идеальная конфигурация для Ceph, верно? Простите, если кажусь таким новичком. Все еще пытаюсь разобраться во всем."