+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Перенеси OSD на другой узел., Proxmox Виртуальная Среда

RobFantini

Guest

03.04.2017 08:55:00

Мне ещё несколько OSD нужно перенести на другие ноды. Я их стираю, используя stop, out, remove [и удаление разделов]. Потом добавляю с нуля на другой нод. Есть ли стандартный способ перенести OSD, сохранив данные, используя pve?

RobFantini

Guest

05.01.2018 17:10:00

Ладно, вместо того чтобы открывать новую тему, вот еще один связанный вопрос: нам нужно заменить материнскую плату на систему с 8 OSD. У нас есть запасная система, готовая принять эти 8 OSD. Вопрос: лучше ли переносить диски по одному или сразу все?

RobFantini

Guest

06.01.2018 18:24:00

Ну, я попробовал - поставил noout, выключил ноду с 8 OSD, перенёс OSD на запасную систему, а потом, при использовании вышеописанного метода, все равно получился высокий процент распорошенных объектов Ceph. Код: pgs: 34850/893478 объектов в деградированном состоянии (3.900%)
341089/893478 объектов распорошены (38.175%). Так есть ли способ перенести все OSD на новый нод, чтобы Ceph пришлось делать минимум работы?

RobFantini

Guest

27.06.2018 18:57:00

Привет! Так быстро, мне пришлось полностью заменить узел, в котором 8 OSD. В новой системе нет OSD, мы будем использовать 8 с этого старого узла. Не хотелось бы, чтобы все 8 OSD одновременно находились в процессе восстановления [не уверен, правильно ли я так выразился]. Возможно ли сначала отключить все 8, перенести их, а затем включить и не допустить, чтобы все 8 одновременно восстанавливались?

Alwin

Guest

27.06.2018 19:05:00

Если ты меняешь только плату, а ОС остаётся прежней, то почему бы просто не использовать 'noout' и не оставить OSD там, где они сейчас? После замены платы система должна запуститься, и нужно будет синхронизировать только изменённые объекты. Если ты переносишь все OSD на новый нод, то, полагаю, этот нод должен существовать в карте Crush, потому что, кажется, OSD будут размещены в корневом бакете, а не под хост-бакетом. Команда 'ceph osd tree' покажет тебе расположение OSD.

RobFantini

Guest

28.06.2018 10:09:00

Альвин, спасибо за ответ. Заметь, мы решили купить новый корпус, материнскую плату и процессоры. Поскольку мы просто меняем материнскую плату и корпус (а накопитель оставляем прежний), попробуем вариант без переустановки ОС. Отчитаюсь через пару недель, как продвигается.

Cha0s

Guest

09.09.2019 13:19:00

Эта процедура ещё работает? Я попробовал, но OSD не "автомонтируются" на новом хосте. Если я вручную обновляю карту CRUSH, чтобы переместить OSD со старого хоста на новый, используя команду: `ceph osd crush move osd.16 host=pve3`, то они отображаются на правильном хосте в дереве OSD, но не запускаются.

RobFantini

Guest

09.09.2019 13:43:00

Не удалось заставить процедуру работать. Мне нужно было протестировать несколько вариантов процедуры, всего 12 osd. В итоге мы просто вышли/остановили и уничтожили, затем перенесли и создали.

РЕДАКТИРОВАНИЕ: Процедура работала на той версии pve/ceph, а не на текущей. Я работаю над одной недавней темой и подумал, что это оно.

Cha0s Guest	#9 0 09.09.2019 14:19:00 Да, в итоге и я так же сам сделал. Было бы неплохо, если бы можно было мигрировать OSD с хоста на хост, не разрушая и не пересоздавая их.

fabian

Guest

#10

09.09.2019 14:32:00

Ты все еще можешь, но с ceph-volume они не добавляются автоматически на новом хосте, тебе нужно (пере-)запустить "ceph-volume simple activate --all" или "ceph-volume lvm activate --all" после перемещения дисков с одного хоста на другой (и, наверное, неплохо бы очистить оставшиеся systemd юниты на старом хосте, если ты не выводишь его из эксплуатации).

Cha0s Guest	#11 0 09.09.2019 14:36:00 Отлично! Попробую. Спасибо!

Liviu Sas Guest	#12 0 06.11.2019 23:47:00 Запуск "ceph-volume lvm activate --all" на целевом хосте сработал у меня.

Cha0s

Guest

#13

21.02.2020 19:21:00

Может кто-нибудь скинуть рабочую схему для этого? Сегодня пытался перенести OSD с одного хоста на другой, но Ceph его просто не распознал. "ceph-volume lvm activate --all" якобы выполнился успешно, но дерево OSD не перенесло OSD со старого узла на новый. Код:

# ceph-volume lvm activate --all
--> Activating OSD ID 0 FSID ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04
Running command: /bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
--> Absolute path not found for executable: selinuxenabled
--> Ensure $PATH environment variable contains common executable locations
Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-39c42c14-8d49-42aa-a887-1ae8bf01957b/osd-block-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04 --path /var/lib/ceph/osd/ceph-0 --no-mon-config
Running command: /bin/ln -snf /dev/ceph-39c42c14-8d49-42aa-a887-1ae8bf01957b/osd-block-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04 /var/lib/ceph/osd/ceph-0/block
Running command: /bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
Running command: /bin/chown -R ceph:ceph /dev/dm-0
Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /bin/systemctl enable ceph-volume@lvm-0-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04
stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-ad4d34b7-5f3d-4f99-bbda-da2e60ef0f04.service → /lib/systemd/system/ceph-volume@.service.
Running command: /bin/systemctl enable --runtime ceph-osd@0
stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /lib/systemd/system/ceph-osd@.service.
Running command: /bin/systemctl start ceph-osd@0
--> ceph-volume lvm activate successful for osd ID: 0

В итоге я удалил весь OSD и начал с нуля. То есть, перебалансировка началась и заняла несколько часов...

Alwin Guest	#14 0 24.02.2020 10:28:00 @Cha0s, этот пост может помочь. https://forum.proxmox.com/threads/osd-move-issue.56932/post-263918 Редактирую: заменил ссылку, дал не ту.

Cha0s Guest	#15 0 24.02.2020 16:17:00 Я бы предпочёл официальное руководство от Proxmox. Все посты на форуме с "историями успеха" о переносе OSD кажутся довольно анекдотичными. Половина людей говорит, что у них не получилось (и я в их числе), половина говорит "Отлично, получилось" без какого-либо подробного описания того, как именно они это сделали. Если у кого-то получается, то очевидно, что есть способ, но какая-то деталь мешает другим добиться успеха. Поэтому я и спрашивал о 100% рабочую процедуру. Процедура, упомянутая в том посте, сводится к "ceph-volume lvm activate --all", что, как я уже говорил, у меня не сработало.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры