http://proxmox.su Новое в теме Proxmox VE с 6 нодами и CEPH с 2 DC. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 17 Oct 2026 22:14:48 +0300 Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну... Теперь сообщение вообще исчезло... Интересно, почему! Раньше было в модерации, а теперь — как будто и не существовало! Замечательно. Спасибо!
03.07.2025 23:32:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329229/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329229/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Thu, 03 Jul 2025 23:32:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отправил еще один вопрос, но его отправили на модерацию. Не уверен, почему! Ну ладно, вот еще раз: "Но даже так, если у меня будет третий "DC", то CEPH будет с 3 серверами + qdevice/vm witness, то есть 4 сервера, что по сути не идеальная конфигурация для Ceph, верно? Простите, если кажусь таким новичком. Все еще пытаюсь разобраться во всем."
03.07.2025 00:36:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329228/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329228/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Thu, 03 Jul 2025 00:36:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Но все равно, если у меня будет третий "DC", то CEPH будет с 3 серверами + qdevice/vm witness, то есть, 4 сервера, что по сути не идеальная конфигурация для Ceph, верно? Простите, если я кажусь таким новичком. Я все еще пытаюсь разобраться во всех этих штуках.
03.07.2025 00:13:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329227/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329227/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Thu, 03 Jul 2025 00:13:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Виртуальный третий сайт не сработает, если сгорят оба реальных. Это то, что я пытался сказать. Прошу прощения, что это было не совсем понятно. См. тут: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_quorum. Мой совет — разместить его на стороне пользователей (и использовать это в качестве третьего сайта), если это не совпадает с DC1 или DC2. P.S. Не доверяйте мне (я всего лишь незнакомец в интернете), пожалуйста, попробуйте свои идеи и проверьте их, "выдергивая провода" (виртуальные), прежде чем запускать это в продакшн.
03.07.2025 00:00:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message329226/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329226/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Thu, 03 Jul 2025 00:00:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Возможно, я неправильно понял эту тему, потому что представлял, что DC3 может быть VM или другим физическим сервером, находящимся внутри DC1 или DC2. Но похоже, с точки зрения кворума, VM или другой физический сервер должен находиться вне DC1/DC2.
02.07.2025 23:57:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329225/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329225/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Wed, 02 Jul 2025 23:57:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обратите внимание, что это Ceph и использует 3 DC. Я предположил, что вы хотите это сделать с 2 DC и PVE. Я предложил решение с 3 площадками, но также указал, что 2 площадок недостаточно. Хотя бы для автоматического восстановления, когда потеряно половина узлов (но вручную это возможно). Я не читал ни одной темы углублённо и со вниманием, поэтому могу сильно ошибаться, в таком случае извините, и мне будет интересно узнать.
02.07.2025 23:51:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message329224/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329224/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Wed, 02 Jul 2025 23:51:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, эта конфигурация вообще некорректная?

Тема: 'Ceph Stretch кластер - помощь с Crush правилами' 26 ноября 2024 г.

Привет! Мы валидируем дизайн расширенного кластера, такой как:

- ЦОД 1 - 3 PVE (Dell R650) с 5 NVME (1 OSD на диск)
- ЦОД 2 - 3 PVE (Dell R650) с 5 NVME (1 OSD на диск)
- ЦОД 3 - 1 Виртуальный PVE в качестве свидетеля

Пока что все хорошо, расширенный режим работает с такой (конкретной) конфигурацией кластера:

Код:
ceph osd crush add-bucket dc1 datacenter
ceph osd crush add-bucket dc2 datacenter
ceph osd crush move dc1 root=default
ceph osd crush move dc2 root=default
ceph osd crush move dc1pve1 datacenter=dc1
ceph osd crush move dc1pve2 datacenter=dc1...

Так, и что? Ожидаем ответов: 8 Форум: Proxmox VE: Установка и конфигурация

Я не пытаюсь казаться умным, но даже эта тема и страница документации Ceph рекомендуют расширенный Ceph, когда задействовано два ЦОД. Я просто пытаюсь разобраться во всех фактах, прежде чем переходить к практике.
02.07.2025 23:48:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329223/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329223/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Wed, 02 Jul 2025 23:48:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это не сработает. Если вы потеряете половину своих узлов (например, из-за пожара в DC1), то оставшаяся половина не будет иметь более чем половину голосов, и система не сочтёт себя кворумной (и не запустит VMs). Если один узел выйдет из строя, кластер продолжит работать нормально, и HA VMs (которые находились на вышедшем из строя узле) будут перезапущены на рабочем узле. Если вы потеряете кворум (из-за одновременной потери слишком большого количества узлов), то было доказано, что автоматическое восстановление невозможно. Однако, вы можете восстановить систему вручную, выбрав оставшиеся узлы, чтобы они ожидали меньше голосов. Может быть, этого будет достаточно для вас? Лично я бы рекомендовал использовать больше трёх узлов в каждом DC, так как он становится уязвимым, когда один DC сгорает, и вы теряете один узел из-за проблем с оборудованием. Оба DC общаются друг с другом, обычно через единую точку отказа (SPOF), которая также соединяет пользователей с обоими DC и VMs, работающими на них. Разместите QDevice на SPOF, который соединяет пользователей (или в любом другом месте ближе к пользователям), чтобы он автоматически выбирал выживший DC. Это обсуждалось несколько раз раньше (на этом форуме), и каждый раз, когда кто-то пытается быть умным, но математически невозможно предотвратить раздвоение мозга автоматически с двумя DC без третьего сайта и QDevice.
02.07.2025 23:32:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message329222/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329222/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Wed, 02 Jul 2025 23:32:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет... Просто еще один вопрос: если я создам VM, чтобы он был qdevice/vm witness для pve кластера/ceph кластера, могу ли я поместить эту VM в HA Layer? Таким образом, когда DC1 посыпется, то VM Witness/qdevice переедет на другой DC, чтобы быть witness для оставшихся 3 серверов. Так и должно быть? (Надеюсь, я понятно выразился!)
02.07.2025 23:16:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329221/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329221/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Wed, 02 Jul 2025 23:16:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я нашел эту тему K Thread "Ceph Stretch cluster - Crush rules assistance" от 26 ноября 2024 года.

Привет! Мы валидируем дизайн стрейч-кластера, который выглядит так:

- Дата-центр 1 - 3 PVE (Dell R650) с 5 NVME (по 1 OSD на диск)
- Дата-центр 2 - 3 PVE (Dell R650) с 5 NVME (по 1 OSD на диск)
- Дата-центр 3 - 1 Виртуальный PVE в качестве witness.

Пока всё хорошо, стрейч-режим работает отлично с такой (конкретной конфигурацией стрейч-кластера):

Код:
ceph osd crush add-bucket dc1 datacenter
ceph osd crush add-bucket dc2 datacenter
ceph osd crush move dc1 root=default
ceph osd crush move dc2 root=default
ceph osd crush move dc1pve1 datacenter=dc1
ceph osd crush move dc1pve2 datacenter=dc1...

KKЖду ответов!

Форум: Proxmox VE: Установка и настройка.

Это именно мой сценарий. Я просто сомневался по поводу VM Witness.
01.07.2025 17:59:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329220/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329220/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 17:59:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Qdevice может быть виртуальной машиной, но обычно это отдельное устройство, чтобы оно продолжало работать: https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_corosync_external_vote_support. Это может быть Raspberry Pi или Debian-сервер... обычно не запускающий PVE. Полагаю, оно может работать на PBS. Двух Qdevice точно не нужно. После установки первого у вас будет нечетное количество голосов, а добавление второго вернет его к четному числу голосов, что плохая идея с Qdevice: https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_supported_setups
01.07.2025 17:34:00, SteveITS.]]> http://proxmox.su/forum/messages/forum63/message329219/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329219/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 17:34:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Помни, что на каждом сайте должно быть минимум 3 узла, чем больше – тем лучше. Судя по тому, что я прочитал, Ceph stretch mode учитывает топологию сайта. Можно назначить MON на дата-центры и добавить свидетельский MON в VM в третьем месте. В случае сбоя сайта, выживший сайт + свидетель могут автоматически поддерживать кворум. Это разработано именно для такой двух-DC конфигурации. Так что, хотя stretch mode и не обязателен, я бы настоятельно рекомендовал его для вашего сценария. Он добавляет уровень безопасности и автоматизации, который сложно повторить вручную. Без stretch mode при обрыве связи между локациями вы рискуете получить ситуацию "split-brain". Также вам придётся вручную восстанавливать сервис.
01.07.2025 17:34:00, MagicFab.]]> http://proxmox.su/forum/messages/forum63/message329218/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329218/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 17:34:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет... Ссылка ведет на 100G MPLS. Вот думаю про этот qdevice и ceph witness. Это, наверное, ВМ с Proxmox, настроенная как обычный PVE и Ceph-сервер? (Конечно, без OSD!) По одной ВМ на каждой стороне? Спасибо.
01.07.2025 17:24:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329217/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329217/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 17:24:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Какая скорость канала MPLS? 10 Гбит/с? Обычно советуют разворачивать два кластера, возможно, как здесь: https://forum.proxmox.com/#proxmox-datacenter-manager.27. Раз вы не хотите чётное количество узлов (ни половина не будет иметь более 50% кворума, если канал отключен), рассмотрите вариант использования Qdevice или 7-го узла в одном из мест, чтобы у него было 4.
01.07.2025 17:15:00, SteveITS.]]> http://proxmox.su/forum/messages/forum63/message329216/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329216/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 17:15:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всё в порядке. Я разберусь сама. Спасибо.
04.07.2025 00:05:00, Gilberto Ferreira.]]> http://proxmox.su/forum/messages/forum63/message329215/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329215/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Fri, 04 Jul 2025 00:05:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я вижу "Но даже так, если у меня будет третий "DC", то CEPH будет с 3 сервером + qdevice/vm witness, то есть, 4 сервера, что по сути не идеальная конфигурация для Ceph, верно? Простите, если я выгляжу таким новичком. Я все еще пытаюсь разобраться во всех деталях." три раза: https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781458, https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781459 и https://forum.proxmox.com/threads/proxmox-ve-with-6-nodes-and-ceph-with-2-dc.168028/post-781681. Но у меня нет опыта работы с Ceph и я не знаю, как ответить.
03.07.2025 23:35:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message329214/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329214/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Thu, 03 Jul 2025 23:35:00 +0300 Proxmox Виртуальная Среда Proxmox VE с 6 нодами и CEPH с 2 DC. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет. Нужен совет по такой ситуации: использую 6 серверов Dell с Proxmox и Ceph. 3 ноды будут находиться в DC1, а 3 ноды – в DC2. Эти 2 DC находятся на расстоянии 10 км друг от друга, между ними есть MPLS-канал. Время отклика ping – около 1 мс. Так что интересно, будет ли Ceph работать нормально в таком сценарии? Нужна ли какая-то особая конфигурация? Я где-то читал про stretch Ceph или что-то похожее. Это обязательно? Спасибо за любую помощь. С наилучшими пожеланиями.
01.07.2025 14:59:00, pveadventure.]]> http://proxmox.su/forum/messages/forum63/message329213/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. http://proxmox.su/forum/messages/forum63/message329213/78389-proxmox-ve-s-6-nodami-i-ceph-s-2-dc. Tue, 01 Jul 2025 14:59:00 +0300 Proxmox Виртуальная Среда