http://proxmox.su Новое в теме Перенеси OSD на другой узел. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 08 Nov 2026 09:33:45 +0300 Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я бы предпочёл официальное руководство от Proxmox. Все посты на форуме с "историями успеха" о переносе OSD кажутся довольно анекдотичными. Половина людей говорит, что у них не получилось (и я в их числе), половина говорит "Отлично, получилось" без какого-либо подробного описания того, как именно они это сделали. Если у кого-то получается, то очевидно, что есть способ, но какая-то деталь мешает другим добиться успеха. Поэтому я и спрашивал о 100% рабочую процедуру. Процедура, упомянутая в том посте, сводится к "ceph-volume lvm activate --all", что, как я уже говорил, у меня не сработало.
24.02.2020 16:17:00, Cha0s.]]> http://proxmox.su/forum/messages/forum63/message333667/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333667/78956-perenesi-osd-na-drugoy-uzel. Mon, 24 Feb 2020 16:17:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@Cha0s, этот пост может помочь. https://forum.proxmox.com/threads/osd-move-issue.56932/post-263918

Редактирую: заменил ссылку, дал не ту.
24.02.2020 10:28:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message333666/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333666/78956-perenesi-osd-na-drugoy-uzel. Mon, 24 Feb 2020 10:28:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может кто-нибудь скинуть рабочую схему для этого? Сегодня пытался перенести OSD с одного хоста на другой, но Ceph его просто не распознал. "ceph-volume lvm activate --all" якобы выполнился успешно, но дерево OSD не перенесло OSD со старого узла на новый. Код:

# ceph-volume lvm activate --all
--> Activating OSD ID 0 FSID ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04
Running command: /bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
--> Absolute path not found for executable: selinuxenabled
--> Ensure $PATH environment variable contains common executable locations
Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-39c42c14-8d49-42aa-a887-1ae8bf01957b/osd-block-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04 --path /var/lib/ceph/osd/ceph-0 --no-mon-config
Running command: /bin/ln -snf /dev/ceph-39c42c14-8d49-42aa-a887-1ae8bf01957b/osd-block-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04 /var/lib/ceph/osd/ceph-0/block
Running command: /bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
Running command: /bin/chown -R ceph:ceph /dev/dm-0
Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /bin/systemctl enable ceph-volume@lvm-0-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04
stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04.service → /lib/systemd/system/ceph-volume@.service.
Running command: /bin/systemctl enable --runtime ceph-osd@0
stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /lib/systemd/system/ceph-osd@.service.
Running command: /bin/systemctl start ceph-osd@0
--> ceph-volume lvm activate successful for osd ID: 0

В итоге я удалил весь OSD и начал с нуля. То есть, перебалансировка началась и заняла несколько часов...
21.02.2020 19:21:00, Cha0s.]]> http://proxmox.su/forum/messages/forum63/message333665/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333665/78956-perenesi-osd-na-drugoy-uzel. Fri, 21 Feb 2020 19:21:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Запуск "ceph-volume lvm activate --all" на целевом хосте сработал у меня.
06.11.2019 23:47:00, Liviu Sas.]]> http://proxmox.su/forum/messages/forum63/message333664/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333664/78956-perenesi-osd-na-drugoy-uzel. Wed, 06 Nov 2019 23:47:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отлично! Попробую. Спасибо!
09.09.2019 14:36:00, Cha0s.]]> http://proxmox.su/forum/messages/forum63/message333663/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333663/78956-perenesi-osd-na-drugoy-uzel. Mon, 09 Sep 2019 14:36:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты все еще можешь, но с ceph-volume они не добавляются автоматически на новом хосте, тебе нужно (пере-)запустить "ceph-volume simple activate --all" или "ceph-volume lvm activate --all" после перемещения дисков с одного хоста на другой (и, наверное, неплохо бы очистить оставшиеся systemd юниты на старом хосте, если ты не выводишь его из эксплуатации).
09.09.2019 14:32:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message333662/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333662/78956-perenesi-osd-na-drugoy-uzel. Mon, 09 Sep 2019 14:32:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, в итоге и я так же сам сделал. Было бы неплохо, если бы можно было мигрировать OSD с хоста на хост, не разрушая и не пересоздавая их.
09.09.2019 14:19:00, Cha0s.]]> http://proxmox.su/forum/messages/forum63/message333661/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333661/78956-perenesi-osd-na-drugoy-uzel. Mon, 09 Sep 2019 14:19:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не удалось заставить процедуру работать. Мне нужно было протестировать несколько вариантов процедуры, всего 12 osd. В итоге мы просто вышли/остановили и уничтожили, затем перенесли и создали.

РЕДАКТИРОВАНИЕ: Процедура работала на той версии pve/ceph, а не на текущей. Я работаю над одной недавней темой и подумал, что это оно.
09.09.2019 13:43:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333660/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333660/78956-perenesi-osd-na-drugoy-uzel. Mon, 09 Sep 2019 13:43:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Эта процедура ещё работает? Я попробовал, но OSD не "автомонтируются" на новом хосте. Если я вручную обновляю карту CRUSH, чтобы переместить OSD со старого хоста на новый, используя команду: `ceph osd crush move osd.16 host=pve3`, то они отображаются на правильном хосте в дереве OSD, но не запускаются.
09.09.2019 13:19:00, Cha0s.]]> http://proxmox.su/forum/messages/forum63/message333659/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333659/78956-perenesi-osd-na-drugoy-uzel. Mon, 09 Sep 2019 13:19:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Альвин, спасибо за ответ. Заметь, мы решили купить новый корпус, материнскую плату и процессоры. Поскольку мы просто меняем материнскую плату и корпус (а накопитель оставляем прежний), попробуем вариант без переустановки ОС. Отчитаюсь через пару недель, как продвигается.
28.06.2018 10:09:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333658/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333658/78956-perenesi-osd-na-drugoy-uzel. Thu, 28 Jun 2018 10:09:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если ты меняешь только плату, а ОС остаётся прежней, то почему бы просто не использовать 'noout' и не оставить OSD там, где они сейчас? После замены платы система должна запуститься, и нужно будет синхронизировать только изменённые объекты. Если ты переносишь все OSD на новый нод, то, полагаю, этот нод должен существовать в карте Crush, потому что, кажется, OSD будут размещены в корневом бакете, а не под хост-бакетом. Команда 'ceph osd tree' покажет тебе расположение OSD.
27.06.2018 19:05:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message333657/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333657/78956-perenesi-osd-na-drugoy-uzel. Wed, 27 Jun 2018 19:05:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Так быстро, мне пришлось полностью заменить узел, в котором 8 OSD. В новой системе нет OSD, мы будем использовать 8 с этого старого узла. Не хотелось бы, чтобы все 8 OSD одновременно находились в процессе восстановления [не уверен, правильно ли я так выразился]. Возможно ли сначала отключить все 8, перенести их, а затем включить и не допустить, чтобы все 8 одновременно восстанавливались?
27.06.2018 18:57:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333656/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333656/78956-perenesi-osd-na-drugoy-uzel. Wed, 27 Jun 2018 18:57:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, я попробовал - поставил noout, выключил ноду с 8 OSD, перенёс OSD на запасную систему, а потом, при использовании вышеописанного метода, все равно получился высокий процент распорошенных объектов Ceph. Код: pgs: 34850/893478 объектов в деградированном состоянии (3.900%)
            341089/893478 объектов распорошены (38.175%). Так есть ли способ перенести все OSD на новый нод, чтобы Ceph пришлось делать минимум работы?
06.01.2018 18:24:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333655/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333655/78956-perenesi-osd-na-drugoy-uzel. Sat, 06 Jan 2018 18:24:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ладно, вместо того чтобы открывать новую тему, вот еще один связанный вопрос: нам нужно заменить материнскую плату на систему с 8 OSD. У нас есть запасная система, готовая принять эти 8 OSD. Вопрос: лучше ли переносить диски по одному или сразу все?
05.01.2018 17:10:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333654/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333654/78956-perenesi-osd-na-drugoy-uzel. Fri, 05 Jan 2018 17:10:00 +0300 Proxmox Виртуальная Среда Перенеси OSD на другой узел. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мне ещё несколько OSD нужно перенести на другие ноды. Я их стираю, используя stop, out, remove [и удаление разделов]. Потом добавляю с нуля на другой нод. Есть ли стандартный способ перенести OSD, сохранив данные, используя pve?
03.04.2017 08:55:00, RobFantini.]]> http://proxmox.su/forum/messages/forum63/message333653/78956-perenesi-osd-na-drugoy-uzel. http://proxmox.su/forum/messages/forum63/message333653/78956-perenesi-osd-na-drugoy-uzel. Mon, 03 Apr 2017 08:55:00 +0300 Proxmox Виртуальная Среда