Аспро: ЛайтШоп [тема: [РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.]

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Thu, 08 Apr 2021 10:42:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня похожая проблема. Можешь рассказать подробнее, что ты сделал на самом деле? Как ты создавал монитор с Ceph, если сервис уже был создан и работал?
08.04.2021 10:42:00, fxandrei.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Fri, 23 Oct 2020 03:54:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Видел такое поведение после того, как узел упал и потребовалась полная замена (даже не буду вдаваться в длинную историю, которая не особо важна). При запуске нового узла-заменителя Proxmox заметил следующее: Systemd-сервис для монитора узлов был включен и работал, но периодически вылетал. Затронутый монитор не отображался в `ceph mon_status`. Файлы keyring и monitor map для монитора были на месте в `/var/lib/ceph/mon/ceph-`. В Proxmox UI отображался IP-адрес монитора (без порта), а в колонках `version` и `quorum` было пусто. Когда пытался удалить проблемный монитор, выдавала ошибку `destroy : no such monitor id 'pve-' (500)` (и в CLI, и в UI). Решил я это так: создал монитор с помощью ceph, затем удалил и добавил его обратно через pveceph.
23.10.2020 03:54:00, rekahsoft.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Fri, 17 Apr 2020 21:23:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Решение, которое сработало для моего кластера:

Код: ceph-mon -i pxc05 --extract-monmap tmp/map
mkdir /var/lib/ceph/mon
rm /etc/systemd/system/ceph-mon.target.wants/ceph-mon@pxc05.service
pveceph createmon
17.04.2020 21:23:00, BurningHero.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Tue, 17 Mar 2020 16:36:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, эта ветка поможет. https://forum.proxmox.com/threads/ghost-monitor-in-ceph-cluster.58683/
17.03.2020 16:36:00, Alwin.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Tue, 17 Mar 2020 16:34:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Прости, я особо и не помню, и вскоре после этого забросил Ceph.
17.03.2020 16:34:00, icemox.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Tue, 17 Mar 2020 15:46:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня та же проблема. А сервис файл находится вот здесь: /etc/systemd/system/ceph-mon.target.wants. Что делать, удалять его?
17.03.2020 15:46:00, Pourya Mehdinejad.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Mon, 13 Jan 2020 20:48:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
ls /etc/systemd/system/ceph-mon.target.wants/
ls: не удалось открыть '/etc/systemd/system/ceph-mon.target.wants/': такого файла или каталога нет

systemctl status ceph-mon@pve11.service
● ceph-mon@pve11.service - Ceph cluster monitor daemon
Загружена: загружена (/lib/systemd/system/ceph-mon@.service; отключена; vendor preset: включена)
Drop-In: /usr/lib/systemd/system/ceph-mon@.service.d
└─ceph-after-pve-cluster.conf
Активна: неактивна (dead)
13.01.2020 20:48:00, psionic.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Sun, 22 Sep 2024 00:30:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Просто добавлю еще одну историю: Хост был оффлайн какое-то время, потом снова появился, а mon завис на "handle_auth_request failed to assign global_id". Я вышла почитать, а когда вернулась (через 15 минут) mon снова заработал. Он пробовал около 10 минут, потом начал синхронизироваться сам: Код: 2024-09-22T00:23:03.662+0200 7dcb5b2006c0 1 mon.h0@1(synchronizing) e7 sync_obtain_latest_monmap
2024-09-22T00:23:03.663+0200 7dcb5b2006c0 1 mon.h0@1(synchronizing) e7 sync_obtain_latest_monmap obtained monmap e7, что заняло около минуты, потом (с новой, актуальной monmap) он начал работать как ни в чем не бывало. (Это было 17.2.7 quincy). Скорее всего, было бы быстрее, если бы я вручную вставила актуальную monmap.
22.09.2024 00:30:00, grin.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Sat, 24 Feb 2024 04:17:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот как я попал в эту ситуацию. Твое решение почти сработало. Я не мог понять, что такое в последней строке. Оно автодополнялось как proxmox5.service для первых двух строк, но в последней не работало. В итоге я нашёл альтернативный финальный шаг: просто удалил папку в /var/lib/ceph/mon/: rm -r /var/lib/ceph/mon/ceph-proxmox5.
24.02.2024 04:17:00, aaxvig.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Wed, 02 Aug 2023 01:48:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Потратил кучу времени, пытаясь разобраться с этим призрачным багом, и ничего не помогало, кроме этих шагов. Почти сдался, пока не попробовал еще раз.
02.08.2023 01:48:00, proxymax.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Thu, 23 Feb 2023 08:45:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня та же проблема с монитором. Я выполнил все шаги Джозефа Хубера, включая внедрение. К сожалению, это не помогло, служба монитора отображается как "остановлена" и не запускается. Ни статус монитора, ни `ceph mon dump` его тоже не показывают. Что ещё можно сделать?
23.02.2023 08:45:00, thomas.weingart.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Thu, 22 Dec 2022 19:06:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это должно быть закреплено или добавлено в руководство! У меня была такая же проблема один в один с тремя мониторами. Моё решение – следовать шагам от @Jospeh Huber, а затем добавить снова через GUI. Как и ожидалось, монитор остаётся выключенным. Пробовал также injection, не помогло. Поэтому все шаги снова (но без injection!), двойная проверка, чтобы все моники не были видны больше в GUI. Выключил весь кластер, загружал по одному узлу. Затем всё стало как новое, пересоздание мониторов заработало как обычно. Quorum от всех мониторов на несколько секунд изменился на no, а потом всё вернулось в нормальное состояние (вложение). Интересно, что же произошло изначально? Я просто удалил несколько мониторов и добавил их снова через GUI, дав им достаточно времени, чтобы всё устоялось после каждого шага. У некоторых узлов это сработало, а у трех возникла эта проблема. Corosync слишком медленно синхронизирует конфигурацию? Не знаю…
22.12.2022 19:06:00, mr44er.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Sat, 19 Jun 2021 16:55:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Снова напоролся на это на днях, и теперь жалею, что не записал, как именно я это исправил. Чтобы воспроизвести проблему:
1. Добавьте новый узел Proxmox, но перед добавлением в кластер установите и настройте Ceph (ключевой момент здесь в том, что конфигурация завершена).
2. Добавьте этот новый узел в кластер; это приведет к тому, что монитор узла станет "призраком", как описано в этом посте.
"Призрачный" монитор в данном случае никогда не присоединился к кластеру, поэтому его нужно просто удалить. Для этого я использовал:
Bash: systemctl stop ceph-mon@
systemctl disable ceph-mon@
systemctl daemon-reload
systemctl reset-failed
pveceph mon destroy
19.06.2021 16:55:00, rekahsoft.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Tue, 11 May 2021 18:01:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня сегодня была та же проблема, но создание монитора вручную с использованием встроенных команд ceph не помогло. Это описано здесь: https://docs.ceph.com/en/latest/rados/operations/add-or-rm-mons/#adding-a-monitor-manual ... Но в моём случае результат оказался таким же, как при создании монитора с помощью инструментов Proxmox. После нескольких часов я решил поделиться своим решением... Надеюсь, это сэкономит время другим Коротко: решением было внедрение monmap в устаревший монитор: https://docs.ceph.com/en/latest/rad...ing-mon/#recovering-a-monitor-s-broken-monmap

Подробно:

1.) Удалите все компоненты и данные устаревшего монитора вручную:
`pveceph mon destroy ceph-mon@myhost` ... приводит к ошибке, описанной выше "no such monitor id"!

```
# остановите и отключите и удалите сервис
service ceph-mon@myhost stop
systemctl disable ceph-mon@myhost
systemctl daemon-reload
# удалите директорию данных монитора
rm -r /var/lib/ceph/mon/ceph-myhost
# вручную отредактируйте /etc/ceph/ceph.conf
# удалите IP устаревшего монитора
mon_host = xx.0.99.83 xx.0.99.82 xx.0.99.84
=> mon_host = xx.0.99.83 xx.0.99.82
# удалите секцию
[mon.myhost]
public_addr = xx.0.99.84
```

2.) После этого я смог снова добавить монитор через графический интерфейс или командную строку:

```
# на хосте, где отсутствует монитор
pveceph createmon
```

Но монитор не смог подключиться к кластеру... Я пробовал снова и снова, в логах (var/log/ceph/ ceph-mon@myhost.log там):

```
2021-05-11 16:37:47.465 7fdf7c47d700 -1 mon.myhost@-1(probing) e13 get_health_metrics reporting 11 slow ops, oldest is log(1 entries from seq 1 at 2021-05-11 16:33:35.201786)
2021-05-11 16:37:50.321 7fdf7e481700 1 mon.myhost@-1(probing) e13 handle_auth_request failed to assign global_id
2021-05-11 16:37:50.373 7fdf7e481700 1 mon.myhost@-1(probing) e13 handle_auth_request failed to assign global_id
```

Полезно запросить административный порт устаревшего монитора и напрямую запросить статус монитора из самого монитора, это помогает лучше понять ситуацию...

```
# получить патч административного сокета
ceph-conf --name mon.myhost --show-config-value admin_socket
# возможные команды монитора
ceph --admin-daemon /var/run/ceph/ceph-mon.myhost.asok help
# запросить статус монитора
ceph --admin-daemon /var/run/ceph/ceph-mon.myhost.asok mon_status
```

Подробности можно найти здесь: https://docs.ceph.com/en/latest/rados/troubleshooting/troubleshooting-mon/#understanding-mon-status

3.) Единственным рабочим решением для меня, чтобы вернуть монитор в кластер, было "внедрение monmap в монитор", как описано здесь: https://docs.ceph.com/en/latest/rad...ing-mon/#recovering-a-monitor-s-broken-monmap

С ручной корректировкой разрешений!

```
# войти на хост рабочего монитора, остановить сервис и извлечь карту
service ceph-mon@myworkinghost stop
ceph-mon -i myworkinghost --extract-monmap /tmp/monmap

#2021-05-11 16:44:04.119 7f6087bd6400 -1 wrote monmap to /tmp/monmap

# запустить сервис снова и перенести его на старый хост
service ceph-mon@myworkinghost start
scp /tmp/monmap mystalehost:/tmp/monmap

# на старом хосте монитора остановить монитор и внедрить карту
service ceph-mon@mystalehost stop
ceph-mon -i mystalehost --inject-monmap /tmp/monmap
# после этого права доступа необходимо установить вручную для пользователя "ceph" (были ошибки отказа в разрешении файла, так как после внедрения некоторые файлы принадлежали root)
chown ceph.ceph /var/lib/ceph/mon/ceph-mystalehost/store.db/*
# и снова запустить
service ceph-mon@mystalehost start
```
11.05.2021 18:01:00, Jospeh Huber.

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor.

Thu, 26 Sep 2019 15:23:00 +0300

[РЕШЕНО] Мне удалось создать "фантомный" ceph monitor. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Во время обновления с Luminous на Nautilus я каким-то образом создал "призрачного" ceph monitor. У меня кластер из четырех хостов, но ceph monitor только на трех. Наверное, потому что я скопировал-вставил команды обновления ceph monitor, узел, который монитора не имел, теперь отображается в GUI Proxmox, как будто у него есть монитор. Давайте назовем этот узел problemhost. Каждая команда говорит мне, что монитора не существует:

```
# pveceph status|grep problemhost — пустой
Bash: ceph mon rm problemhost
mon.problemhost не существует или уже удален
В ceph.conf ничего нет об этом узле.
/var/lib/ceph/mon пустой на этом хосте.
```

Но в GUI я вижу строку:

Имя: mon.problemhost
Хост: problemhost
Статус: остановлен
Адрес: Неизвестен

Если я кликаю "destroy", я получаю ошибку: "no such monitor id 'problemhost' (500)".

Из любопытства я попытался создать его: monitor 'problemhost' already exists (500).

Я попробовал перезагрузить все узлы, и он все равно там. Откуда GUI берет эту информацию?
26.09.2019 15:23:00, icemox.