Аспро: ЛайтШоп [тема: proxmox4 — как справиться с отказом узла и drbd9]

proxmox4 — как справиться с отказом узла и drbd9

Tue, 16 Feb 2016 10:40:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Я новичок в proxmox и linux и столкнулся с похожей ситуацией.

root@pve1:~# drbdmanage list-nodes
+------------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|------------------------------------------------------------------------------------------------------------|
| pve1 | 76800 | 76692 | | ok |
| pve2 | unknown | unknown | | OFFLINE, pending actions: adjust connections |
| pve3 | 76800 | 76462 | | ok |
+------------------------------------------------------------------------------------------------------------+
root@pve1:~#

И я выяснил, что у меня стоит 2 версии drbdmanage, может в этом проблема, но я не уверен:

root@pve3:~# apt-cache showpkg drbdmanage
Package: drbdmanage
Versions:
0.91-1 (/var/lib/apt/lists/download.proxmox.com_debian_dists_jessie_pve-no-subscription_binary-amd64_Packages) (/var/lib/dpkg/status)
Description Language:
File: /var/lib/apt/lists/download.proxmox.com_debian_dists_jessie_pve-no-subscription_binary-amd64_Packages
MD5: c7bffaad25204bd2f70884f8679d0737

0.50-2 (/var/lib/apt/lists/download.proxmox.com_debian_dists_jessie_pve-no-subscription_binary-amd64_Packages)
Description Language:
File: /var/lib/apt/lists/download.proxmox.com_debian_dists_jessie_pve-no-subscription_binary-amd64_Packages
MD5: c7bffaad25204bd2f70884f8679d0737

Reverse Depends:
Dependencies:
0.91-1 - init-system-helpers (2 1.18~) python (0 (null)) python:any (3 2.8) python:any (2 2.7.5-5~) drbd-utils (2 8.9.4) python-gobject (0 (null)) python-dbus (0 (null)) lvm2 (0 (null)) thin-provisioning-tools (0 (null))
0.50-2 - init-system-helpers (2 1.18~) python (0 (null)) python:any (3 2.8) python:any (2 2.7.5-5~) drbd-utils (2 8.9.4) python-gobject (0 (null)) python-dbus (0 (null)) lvm2 (0 (null)) thin-provisioning-tools (0 (null))
Provides:
0.91-1 -
0.50-2 -
Reverse Provides:
root@pve3:~#

Какую из этих версий drbdmanage нам стоит использовать? Может, это промах… не знаю.

С уважением, Кристина
16.02.2016 10:40:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Sat, 03 Sep 2016 12:42:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, это снова JD. Надеюсь, это поможет. Вчера вечером я собрал мини PVE-кластер из трех узлов в VirtualBox.

Что понадобится для сборки кластера:
http://pve.proxmox.com/wiki/Proxmox_VE_4.x_Cluster

Чтобы установить drbdmanage:
http://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Jessie

Чтобы подготовить DRBD:
http://pve.proxmox.com/wiki/DRBD9

Когда создаешь первую виртуальную машину, это выглядит примерно так:
root@pve3:~# drbdadm status
.drbdctrl role:Secondary volume:0 disk: UpToDate volume:1 disk: UpToDate
pve1 role:Secondary volume:0 peer-disk:UpToDate volume:1 peer-disk:UpToDate
pve2 role:Secondary volume:0 peer-disk:UpToDate volume:1 peer-disk:UpToDate
vm-100-disk-1 role:Secondary disk: UpToDate
pve1 role primary peer-disk:UpToDate
pve2 role:Secondary peer-disk:UpToDate
pve1 теперь главный.

ВАЖНО: перед тем как мигрировать VM, я отключил «аппаратную виртуализацию KVM» в настройках, потому что кластер работает в VirtualBox.

Когда мигрируешь vm-100-disk-1 на pve2, это выглядит примерно так:
root@pve3:~# drbdadm status
.drbdctrl role:Secondary volume:0 disk: UpToDate volume:1 disk: UpToDate
pve1 role:Secondary volume:0 peer-disk:UpToDate volume:1 peer-disk:UpToDate
pve2 role:Secondary volume:0 peer-disk:UpToDate volume:1 peer-disk:UpToDate
vm-100-disk-1 role:Secondary disk: UpToDate
pve1 role:Secondary peer-disk:UpToDate
pve2 role primary peer-disk:UpToDate
Теперь pve2 главный.

Ресурсы выглядят примерно так:
root@pve3:~# drbdmanage list-resources
+------------------------------------------------------------------------------------------------------------+
| Name | | State |
| vm-100-disk-1 | | ok |
+------------------------------------------------------------------------------------------------------------+

drbdmanage list-assignments показывает твой ресурс на всех узлах:
root@pve3:~# drbdmanage list-assignments
+------------------------------------------------------------------------------------------------------------+
| Node | Resource | Vol ID | | State |
|------|----------------|--------|--------------------------------------------------------------------|-------|
| pve1 | vm-100-disk-1 | * | | ok |
| pve2 | vm-100-disk-1 | * | | ok |
| pve3 | vm-100-disk-1 | * | | ok |
+------------------------------------------------------------------------------------------------------------+

Надеюсь, это поможет. Для более глубокого изучения рекомендую эти книги:
https://forum.proxmox.com/threads/books-on-proxmox-ve.28122/

Если нужна поддержка по подписке:
http://www.proxmox.com/en/proxmox-ve/pricing

Всего хорошего,
Christine
03.09.2016 12:42:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Tue, 06 Sep 2016 13:48:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Мастер выбирается по времени последнего heartbeat. Вчера pve3 был мастером.

root@pve1:~# ha-manager status
quorum OK
master pve3 (active, Mon Sep 5 11:57:02 2016)
lrm pve1 (active, Mon Sep 5 11:56:58 2016)
lrm pve2 (active, Mon Sep 5 11:56:58 2016)
lrm pve3 (active, Mon Sep 5 11:57:02 2016)
service ct:310 (pve2, started)
service vm:205 (pve1, started)

Сегодня я сделал обновления и дальнейшие тесты, и pve1 стал мастером.

root@pve2:~# ha-manager status
quorum OK
master pve1 (active, Tue Sep 6 12:42:02 2016)
lrm pve1 (active, Tue Sep 6 12:42:02 2016)
lrm pve2 (idle, Tue Sep 6 12:42:07 2016)
lrm pve3 (old timestamp — мертв? Tue Sep 6 12:39:15 2016)
-----> он действительно мертв из-за перезагрузки
service ct:310 (pve1, started)
service vm:205 (pve1, started)

Надеюсь, это поможет. Всего наилучшего,
Christine
06.09.2016 13:48:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Mon, 05 Sep 2016 18:55:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, некоторые устройства пропадают из /dev/drbd/by-res (это устройства моих виртуалок, поэтому они не могут стартовать на другом узле). После создания этих dev-файлов я могу выполнить миграцию, и, похоже, они выдерживают перезагрузку. Ещё один вопрос — как выбрать узел, который будет мастером кластера. Я не знаю, как это сделать. Хочу задать приоритет узлу, чтобы самый мощный по умолчанию становился мастером на случай сбоя другого узла.
05.09.2016 18:55:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Mon, 05 Sep 2016 12:06:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, JD! После того как ты создашь свои виртуальные машины в WebGui и заглянешь в /var/lib/drbd.d/, должна быть примерно такая картина:
root@pve1:~# ls -al /var/lib/drbd.d/
total 20
drwxr-xr-x 2 root root 4096 Aug 12 11:32 .
drwxr-xr-x 45 root root 4096 Feb 16 2016 ..
-rw-r--r-- 1 root root 29 Aug 12 11:50 drbdmanage_global_common.conf
-rw-r--r-- 1 root root 1127 Aug 12 11:32 drbdmanage_vm-205-disk-1.res
-rw-r--r-- 1 root root 1166 Jul 12 16:05 drbdmanage_vm-310-disk-1.res
root@pve1:~#

Чтобы активировать "HA": в WebGui выбери "datacenter", перейди на вкладку "HA" — создай там "группу" и добавь в неё узлы, которые будут заниматься HA. Потом можешь добавить ресурсы (виртуальные машины). Когда всё это будет готово, сможешь делать "онлайн миграцию" своих виртуалок.

Твой ha-manager в командной строке покажет что-то вроде этого:
root@pve1:~# ha-manager status
quorum OK
master pve3 (active, Mon Sep 5 11:57:02 2016)
lrm pve1 (active, Mon Sep 5 11:56:58 2016)
lrm pve2 (active, Mon Sep 5 11:56:58 2016)
lrm pve3 (active, Mon Sep 5 11:57:02 2016)
service ct:310 (pve2, started)
service vm:205 (pve1, started)

Всего хорошего,
Christine
05.09.2016 12:06:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Mon, 05 Sep 2016 10:56:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Кристин. Я следую этой инструкции, чтобы собрать кластер: http://pve.proxmox.com/wiki/Proxmox_VE_4.x_Cluster, и этой — чтобы подготовить свой DRBD: http://pve.proxmox.com/wiki/DRBD9, добавляя рекомендуемые пакеты из списка. Я не использовал установку Proxmox на Debian Jessie, потому что ставил серверы с помощью ISO-образа Proxmox. Сейчас удалю свою виртуальную машину и попробую создать новую, чтобы проверить, появится ли файл drbdmanage_vm*.res в /var/lib/drbd.d/ на всех трёх узлах. Спасибо.
05.09.2016 10:56:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Sat, 03 Sep 2016 11:35:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Christine, я не создаю файлы с расширением *.res. Замечаю, что drbdmanage_vm-100-disk-2.res автоматически создаётся Proxmox в /var/lib/drbd.d/ на трёх узлах, когда я создаю ВМ через веб-интерфейс Proxmox. Но после перезагрузки третьего узла этот файл исчезает из /var/lib/drbd.d/. Из-за этого миграция на этом узле становится невозможной. С наилучшими пожеланиями, Jean-Daniel
03.09.2016 11:35:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Fri, 02 Sep 2016 21:48:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, JD, наверное, ты перепутал свой собственноручно написанный drbd.res и конфиг с «drbdmanage», да? Но так не получится, извини. drbdmanage сделает всё за тебя. Всего хорошего, Кристина.
02.09.2016 21:48:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Fri, 02 Sep 2016 17:06:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Dan, привет, Christine!
Я удалил всё, что связано с drbd на мастере, переустановил drbdmanage с предложенным пакетом, повторил все шаги — и теперь всё работает. Но сегодня я перезагрузил один из узлов, и теперь на этом узле я не вижу своего vm.res в /var/lib/drbd.d.
drbdadm status показывает:
volume:0 disk: UpToDate
volume:1 disk: UpToDate
dmz-pve1 role: Secondary
volume:0 peer-disk: UpToDate
volume:1 peer-disk: UpToDate
dmz-pve2 role: Secondary
volume:0 peer-disk: UpToDate
volume:1 peer-disk: UpToDate
vm-100-disk-2 role: Secondary disk: UpToDate
dmz-pve1 role: Primary peer-disk: UpToDate
dmz-pve2 role: Secondary peer-disk: UpToDate

drbd-overview показывает:
0:.drbdctrl/0 Connected(3*) Secondary(3*) UpTo(dmz-pve3)/UpTo(dmz-pve2, dmz-pve1)
1:.drbdctrl/1 Connected(3*) Secondary(3*) UpTo(dmz-pve3)/UpTo(dmz-pve2, dmz-pve1)
101:vm-100-disk-2/0 Connected(3*) Seco(dmz-pve2, dmz-pve3)/Prim(dmz-pve1) UpTo(dmz-pve3)/UpTo(dmz-pve2, dmz-pve1)

ha-manager status выдаёт:
quorum OK
master dmz-pve1 (active, Fri Sep 2 16:56:21 2016)
lrm dmz-pve1 (active, Fri Sep 2 16:56:25 2016)
lrm dmz-pve2 (active, Fri Sep 2 16:56:25 2016)
lrm dmz-pve3 (idle, Fri Sep 2 16:56:25 2016)

На двух узлах в /var/lib/drbd.d есть:
root@dmz-pve1:~# ll /var/lib/drbd.d/
итого 8
-rw-r--r-- 1 root root 29 авг 29 17:17 drbdmanage_global_common.conf
-rw-r--r-- 1 root root 1086 авг 29 17:17 drbdmanage_vm-100-disk-2.res

На третьем, который был только что перезагружен:
root@dmz-pve3:~# ll /var/lib/drbd.d/
итого 4
-rw-r--r-- 1 root root 29 сен 2 14:49 drbdmanage_global_common.conf

Если я пытаюсь мигрировать виртуальную машину на этот узел, то получаю ошибку:
Could not open '/dev/drbd/by-res/vm-100-disk-2/0'

lvdisplay показывает корректную информацию, но в /dev/drbd ничего нет, кроме .drbdctrl_0 и .drbdctrl_1.

С таким подходом собрать HA-кластер совсем непросто.
02.09.2016 17:06:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Fri, 02 Sep 2016 10:19:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, dtm! Извини, но у меня нет особого опыта именно с satellite nodes. Я просто точно следовала этим шагам: http://pve.proxmox.com/wiki/DRBD9 и, возможно, тебе поможет это с drbd.org https://www.drbd.org/en/doc/users-guide-90/s-dm-add-node http://www.drbd.org/en/community/connecting Всего наилучшего! Кристин
02.09.2016 10:19:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Thu, 01 Sep 2016 20:35:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, JD, ты выполнял какие-то действия, помимо тех, что отметила Кристин? Я повторял эти шаги несколько раз, но всё равно получаю сообщение «операция не разрешена на спутниковом узле». Спасибо, Дэн.
01.09.2016 20:35:00, dtm17.

proxmox4 — как справиться с отказом узла и drbd9

Thu, 25 Aug 2016 17:47:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет снова! Наконец-то у меня всё заработало, но не так просто, как объяснялось в основной документации. Спасибо!
25.08.2016 17:47:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Thu, 25 Aug 2016 17:09:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я пробовал это решение, но когда добавляю узел (drbdmanage add-node -q dmz-pve2 192.168.2.20), получаю:
Operation completed successfully
Operation completed successfully
Executing join command using ssh.
ВАЖНО: Вывод, который вы видите, исходит от dmz-pve2
ВАЖНО: Ваши команды выполняются на dmz-pve2
Ошибка: Операция не разрешена на спутниковом узле

drbdmanage list-nodes показывает:
+------------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|----------|-----------|-----------|------------|------------------------------------|
| dmz-pve2 | unknown | unknown | | pending actions: adjust connections |
| dmz-pve3 | 4033728 | 4033728 | | ok |
+------------------------------------------------------------------------------------------------------------+

а drbd-overview выдаёт:
0:.drbdctrl/0 Connected(2*) Secondary(2*) UpToDa/UpToDa
1:.drbdctrl/1 Connected(2*) Secondary(2*) UpToDa/UpToDa

Есть идеи?
С уважением, Жан-Даниэль
25.08.2016 17:09:00, JD Tissot.

proxmox4 — как справиться с отказом узла и drbd9

Tue, 16 Feb 2016 14:21:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет снова, теперь я понимаю лучше, извиняюсь за мой неудачный шаг! Думаю, это был python. Я удалил drbdmanage и создал его заново: на всех 3 узлах я сделал следующее:

root@pve3:~# apt-get remove drbdmanage
Чтение списка пакетов... Готово
Будут удалены следующие пакеты, которые больше не нужны: drbd-utils libdbus-glib-1-2 python-dbus python-dbus-dev python-gobject
Используйте 'apt-get autoremove' для их удаления.
Будут УДАЛЕНЫ следующие пакеты: drbdmanage
0 обновлено, 0 установлено новых, 1 удалён, 0 не обновлено.
После операции будет освобождено 1,341 кБ дискового пространства.
Продолжить? [Y/n] y
.....................................
.....................................

root@pve3:~# apt-get autoremove
Чтение списков пакетов... Готово
Построение дерева зависимостей
Чтение информации о состоянии... Готово
Будут УДАЛЕНЫ следующие пакеты: drbd-utils libdbus-glib-1-2 python-dbus python-dbus-dev python-gobject
0 обновлено, 0 установлено новых, 5 удалено, 0 не обновлено.
..................................
..................................

root@pve3:~# apt-get install drbdmanage
Чтение списков пакетов... Готово
Построение дерева зависимостей
Чтение информации о состоянии... Готово
Будут установлены следующие дополнительные пакеты: drbd-utils libdbus-glib-1-2 python-dbus python-dbus-dev python-gobject
Рекомендуемые пакеты: python-dbus-doc python-dbus-dbg
Будут установлены НОВЫЕ пакеты: drbd-utils drbdmanage libdbus-glib-1-2 python-dbus python-dbus-dev python-gobject
0 обновлено, 6 установлено новых, 0 удалено, 0 не обновлено.
Необходимо получить 0 B/1,240 kB архивов.
После операции будет использовано дополнительно 3,403 кБ дискового пространства.
Продолжить? [Y/n] y
..................................

Теперь установил рекомендуемые пакеты:

root@pve3:~# apt-get install python-dbus-doc python-dbus-dbg
Чтение списков пакетов... Готово
..................................

Затем удалил узлы на узле 1:

root@pve1:~# drbdmanage remove-node pve2 10.10.10.10
Вы собираетесь удалить узел 'pve2' из кластера. Это удалит все ресурсы с узла. Пожалуйста, подтвердите: yes/no: yes
Удаление узла 'pve2': операция успешно завершена
Вы собираетесь удалить узел '10.10.10.10' из кластера. Это удалит все ресурсы с узла. Пожалуйста, подтвердите: yes/no: yes
Удаление узла '10.10.10.10': Ошибка: Debug exception / внутренняя ошибка
Ошибка: Debug exception / внутренняя ошибка
------------------------------------------------------------

далее должно выглядеть так:

root@pve1:~# drbdmanage list-nodes
+------------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|------------------------------------------------------------------------------------------------------------|
| pve1 | 76800 | 76692 | | ok |
+------------------------------------------------------------------------------------------------------------+

Затем я удалил .drbdctrl:

root@pve1:~# drbdmanage uninit
Вы собираетесь удалить сервер drbdmanage с этого узла. ВНИМАНИЕ! Обратите внимание, что:
* Все временные конфигурационные файлы для ресурсов, управляемых drbdmanage, будут удалены
* Любые оставшиеся ресурсы, управляемые этой установкой drbdmanage, больше не будут управляться drbdmanage
Подтвердить: yes/no: yes
Логический том ".drbdctrl_0" успешно удалён
Логический том ".drbdctrl_1" успешно удалён

После этого следовал инструкции: http://pve.proxmox.com/wiki/DRBD9

После этого всё заработало нормально:

root@pve1:~# drbdmanage list-nodes
+------------------------------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|------------------------------------------------------------------------------------------------------------|
| pve1 | 76800 | 76692 | | ok |
| pve2 | 76800 | 76692 | | ok |
| pve3 | 76800 | 76462 | | ok |
+------------------------------------------------------------------------------------------------------------+

root@pve1:~# drbdmanage server-version
server_version=0.91
server_git_hash=GIT-hash: UNKNOWN
drbd_kernel_version=version: 9.0.0 (api:2/proto:86-110)
drbd_kernel_git_hash=GIT-hash: 360c65a035fc2dec2b93e839b5c7fae1201fa7d9
build by root@elsa, 2016-02-03 16:38:17
drbd_utils_version=
drbd_utils_git_hash=
Операция успешно завершена

С уважением, Кристин
16.02.2016 14:21:00, christine.

proxmox4 — как справиться с отказом узла и drbd9

Thu, 07 Jan 2016 22:39:00 +0300

proxmox4 — как справиться с отказом узла и drbd9 Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здравствуйте, у нас настроен кластер из 3 узлов с drbd9. Proxmox4 вместе с drbd9 — это действительно очень удобное сочетание! Один из узлов упал, нужно вернуть его обратно в кластер. Но у нас не получается это сделать. Переустановили его так же, как и остальные, следуя инструкции https://pve.proxmox.com/wiki/DRBD9 и https://pve.proxmox.com/wiki/Proxmox_VE_4.x_Cluster. Сейчас хотим удалить сломанный узел из кластера с главного узла. К сожалению, нельзя удалить офлайн-узел из кластера. Появляются такие ошибки: "drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config". Мы думаем, что проще всего было бы просто удалить узел из кластера и добавить его заново, чтобы вся конфигурация и существующие тома автоматически синхронизировались.

Вот несколько деталей:

drbdmanage list-nodes
+--------------+-----------+-----------+------+-------+
| Name | Pool Size | Pool Free | Site | State |
+--------------+-----------+-----------+------+-------+
| hyp10 | 16777216 | 0 | N/A | ok |
| hyp20 | 16777216 | 16521161 | N/A | OFFLINE |
| hyp30 | 16777216 | 9690519 | N/A | ok |
+--------------+-----------+-----------+------+-------+

drbdmanage remove-node -f hyp20
Вы собираетесь удалить узел 'hyp20' из кластера. Это удалит все ресурсы с этого узла. Пожалуйста, подтвердите: yes/no: yes

Jan 5 23:09:43 hyp30 kernel: [717721.879728] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config
Jan 5 23:09:48 hyp30 kernel: [717726.880759] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config
Jan 5 23:09:52 hyp30 kernel: [717731.278239] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config
Jan 5 23:09:56 hyp30 kernel: [717735.163982] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config
Jan 5 23:10:00 hyp30 kernel: [717738.849674] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config
Jan 5 23:10:05 hyp30 kernel: [717743.614836] drbd .drbdctrl: Auto-promote failed: Multiple primaries not allowed by config

Traceback (most recent call last):
Файл "/usr/bin/drbdmanage", строка 30, в
drbdmanage_client.main()
Файл "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", строка 3520, в main
client.run()
Файл "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", строка 1130, в run
self.parse(sys.argv[1:])
Файл "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", строка 991, в parse
args.func(args)
Файл "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", строка 1301, в cmd_remove_node
dbus.String(node_name), dbus.Boolean(force)
Файл "/usr/lib/python2.7/dist-packages/dbus/proxies.py", строка 70, в __call__
return self._proxy_method(*args, **keywords)
Файл "/usr/lib/python2.7/dist-packages/dbus/proxies.py", строка 145, в __call__
**keywords)
Файл "/usr/lib/python2.7/dist-packages/dbus/connection.py", строка 651, в call_blocking
message, timeout)
dbus.exceptions.DBusException: org.freedesktop.DBus.Error.NoReply: Ответ не получен. Возможные причины: удалённое приложение не отправило ответ, политика безопасности шины сообщений заблокировала ответ, истёк таймаут ожидания ответа или сетевое соединение прервано.

Мы также следовали этим инструкциям http://drbd.linbit.com/users-guide-9.0/s-node-failure.html#s-perm-node-failure, но безуспешно. Как можно подключить ресурс .drbdctrl? Может, у кого-то есть советы, как восстановить этот кластер? Было бы здорово, если бы эти шаги добавили в вики Proxmox — наверняка в будущем это пригодится много раз.
07.01.2016 22:39:00, uwonlineict.