+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

RSS

[РЕШЕНО] Невозможно активировать LV в VG iscsi, пока PV отображаются на дублирующих устройствах., Proxmox Виртуальная Среда

Adam Smith

Guest

01.02.2018 17:45:00

Кластер из двух узлов, (A) Proxmox 5.0 и (B) Proxmox 5.1 Один общий iSCSI с дисками VM на LVM на iSCSI Я получаю ошибку в строке темы, когда пытаюсь мигрировать онлайн VM или запустить мигрированную VM. Я обнаружил, что на узле A iSCSI это sdc, а его LVM — sdd, в то время как на узле B всё наоборот, что подтверждается сообщением на узле B: Код: WARNING: PV J84yRW-jQWV-kcOQ-T3oy-cR1Y-Ntec-P3iNze на /dev/sdd уже найден на /dev/sdc. WARNING: PV J84yRW-jQWV-kcOQ-T3oy-cR1Y-Ntec-P3iNze предпочитает устройство /dev/sdc, так как оно было обнаружено первым. Как мне создать удовлетворительную конфигурацию?

Marek Hanuš

Guest

22.04.2020 10:31:00

@LnxBil Спасибо за отличную статью о lvm и мультипути. Я заметил, что если я перезагружаю узел, иногда всё работает правильно (используется мультипуть), а иногда нет. Похоже, моя проблема вообще не связана с обновлением Proxmox. У меня есть фильтр по умолчанию для lvms, что означает «принимать всё». Мне стоит принимать только /dev/sda и устройства мультипути, не так ли? filter = [ "a|^/dev/sda[1-9]$|", "a|^/dev/mapper/*|", "r|^/dev/*|" ] из примера мог бы стать хорошей отправной точкой.

mergenus Guest	#3 0 13.08.2021 13:41:00 Это связано с синхронизацией времени. Если у двух узлов есть разные времена с слишком большими отклонениями друг от друга, возникает эта проблема.

Kishore Arav Guest	#4 0 06.04.2018 13:15:00 ЭТО ЗАРАБОТАЛО ПОСЛЕ ТОГО, КАК Я УСТАНОВИЛ apt install multipath-tools. Большое спасибо, Адам Смит!

Adam Smith Guest	#5 0 06.04.2018 14:37:00 Пожалуйста, но настоящим героем является @LnxBil.

obelix

Guest

18.12.2019 13:46:00

multipath работает очень странно... root@pm-node6:~# multipath -ll 36019cbd1e21024f0ccde35030000807f dm-25 EQLOGIC,100E-00 размер=4.0T функции='1 retain_attached_hw_handler' hwhandler='0' wp=rw `-+- политика='service-time 0' приоритет=50 состояние=активно `- 8:0:0:0 sdd 8:48 активен готов работает 360000000000000000e00000000010001 dm-13 IET,VIRTUAL-DISK размер=11T функции='1 retain_attached_hw_handler' hwhandler='0' wp=rw `-+- политика='service-time 0' приоритет=1 состояние=активно `- 9:0:0:1 sde 8:64 активен готов работает 368fc61d60c82a3f59b8005c21e05005b dm-24 EQLOGIC,100E-00 размер=8.4T функции='1 retain_attached_hw_handler' hwhandler='0' wp=rw `-+- политика='service-time 0' приоритет=50 состояние=активно `- 7:0:0:0 sdc 8:32 активен готов работает 368fc61d60ce225b11b91c59098d369bb dm-23 EQLOGIC,100E-00 размер=9.6T функции='1 retain_attached_hw_handler' hwhandler='0' wp=rw `-+- политика='service-time 0' приоритет=50 состояние=активно `- 6:0:0:0 sdb 8:16 активен готов работает ПРЕДУПРЕЖДЕНИЕ: PV ivzQIG-kzJQ-m69n-Z2Gw-yYnD-q2cn-01JBxU на /dev/mapper/368fc61d60ce225b11b91c59098d369bb уже найден на /dev/sdb. ПРЕДУПРЕЖДЕНИЕ: PV RtYTin-DjWo-CtUG-M1W9-yn59-kDxt-7rL4QO на /dev/sdc уже найден на /dev/mapper/368fc61d60c82a3f59b8005c21e05005b. ПРЕДУПРЕЖДЕНИЕ: PV e7UeKE-l0dj-lSv5-e7XV-gC6e-QMV4-Gkvcp3 на /dev/sdd уже найден на /dev/mapper/36019cbd1e21024f0ccde35030000807f. ПРЕДУПРЕЖДЕНИЕ: PV ivzQIG-kzJQ-m69n-Z2Gw-yYnD-q2cn-01JBxU предпочитает устройство /dev/sdb, так как устройство используется LV. ПРЕДУПРЕЖДЕНИЕ: PV RtYTin-DjWo-CtUG-M1W9-yn59-kDxt-7rL4QO предпочитает устройство /dev/sdc, так как устройство используется LV. ПРЕДУПРЕЖДЕНИЕ: PV e7UeKE-l0dj-lSv5-e7XV-gC6e-QMV4-Gkvcp3 предпочитает устройство /dev/sdd, так как устройство используется LV. ПРЕДУПРЕЖДЕНИЕ: PV ivzQIG-kzJQ-m69n-Z2Gw-yYnD-q2cn-01JBxU на /dev/mapper/368fc61d60ce225b11b91c59098d369bb уже найден на /dev/sdb. ПРЕДУПРЕЖДЕНИЕ: PV RtYTin-DjWo-CtUG-M1W9-yn59-kDxt-7rL4QO на /dev/sdc уже найден на /dev/mapper/368fc61d60c82a3f59b8005c21e05005b. ПРЕДУПРЕЖДЕНИЕ: PV e7UeKE-l0dj-lSv5-e7XV-gC6e-QMV4-Gkvcp3 на /dev/sdd уже найден на /dev/mapper/36019cbd1e21024f0ccde35030000807f. ПРЕДУПРЕЖДЕНИЕ: PV ivzQIG-kzJQ-m69n-Z2Gw-yYnD-q2cn-01JBxU предпочитает устройство /dev/sdb, так как устройство используется LV. ПРЕДУПРЕЖДЕНИЕ: PV RtYTin-DjWo-CtUG-M1W9-yn59-kDxt-7rL4QO предпочитает устройство /dev/sdc, так как устройство используется LV. ПРЕДУПРЕЖДЕНИЕ: PV e7UeKE-l0dj-lSv5-e7XV-gC6e-QMV4-Gkvcp3 предпочитает устройство /dev/sdd, так как устройство используется LV. ОШИБКА ЗАДАЧИ: невозможно активировать LV '/dev/cold/vm-185-disk-0': невозможно активировать LVs в VG cold, пока PVs находятся на дублирующих устройствах.

obelix Guest	#7 0 18.12.2019 16:57:00 2019-12-18 18:57:01 не удается активировать LV '/dev/cold/vm-131-disk-0': невозможно активировать LVs в VG cold, так как PVs отображаются на дублирующих устройствах.

obelix

Guest

18.12.2019 16:58:00

proxmox-ve: 5.4-1 (работающий ядро: 4.15.18-12-pve) pve-manager: 5.4-3 (работающая версия: 5.4-3/0a6eaa62) pve-kernel-4.15: 5.3-3 pve-kernel-4.15.18-12-pve: 4.15.18-35 pve-kernel-4.15.18-5-pve: 4.15.18-24 pve-kernel-4.13.13-5-pve: 4.13.13-38 pve-kernel-4.13.13-2-pve: 4.13.13-33 pve-kernel-4.10.17-4-pve: 4.10.17-24 pve-kernel-4.10.17-2-pve: 4.10.17-20 pve-kernel-4.10.15-1-pve: 4.10.15-15 pve-kernel-4.4.67-1-pve: 4.4.67-92 pve-kernel-4.4.59-1-pve: 4.4.59-87 pve-kernel-4.4.49-1-pve: 4.4.49-86 pve-kernel-4.4.44-1-pve: 4.4.44-84 pve-kernel-4.4.40-1-pve: 4.4.40-82 pve-kernel-4.4.21-1-pve: 4.4.21-71 corosync: 2.4.4-pve1 criu: 2.11.1-1~bpo90 glusterfs-client: 3.8.8-1 ksm-control-daemon: 1.2-2 libjs-extjs: 6.0.1-2 libpve-access-control: 5.1-8 libpve-apiclient-perl: 2.0-5 libpve-common-perl: 5.0-50 libpve-guest-common-perl: 2.0-20 libpve-http-server-perl: 2.0-13 libpve-storage-perl: 5.0-41 libqb0: 1.0.3-1~bpo9 lvm2: 2.02.168-pve6 lxc-pve: 3.1.0-3 lxcfs: 3.0.3-pve1 novnc-pve: 1.0.0-3 openvswitch-switch: 2.7.0-3 proxmox-widget-toolkit: 1.0-25 pve-cluster: 5.0-36 pve-container: 2.0-37 pve-docs: 5.4-2 pve-edk2-firmware: 1.20190312-1 pve-firewall: 3.0-19 pve-firmware: 2.0-6 pve-ha-manager: 2.0-9 pve-i18n: 1.1-4 pve-libspice-server1: 0.14.1-2 pve-qemu-kvm: 2.12.1-3 pve-xtermjs: 3.12.0-1 qemu-server: 5.0-50 smartmontools: 6.5+svn4324-1 spiceterm: 3.0-5 vncterm: 1.5-3

obelix Guest	#9 0 19.12.2019 06:27:00 все работает после перезагрузки

Marek Hanuš

Guest

#10

21.04.2020 08:34:00

У меня такая же проблема после обновления Proxmox с 5.0 до 5.4-13 на одном узле кластера. Перезагрузка или установка multipath-tools не помогли. Multipath уже использовался до обновления. Моё расследование показало, что в pvs и vgs бардак. Я вижу, что PV /dev/sdc привязан к VG vmfs-raid5-15k. Но должен использоваться устройство multipath /dev/mapper/3600000e00d110000001111ac00000000. То же самое для PV /dev/sdd (должен быть /dev/mapper/3600000e00d110000001111ac00020000) и /dev/sde (должен быть /dev/mapper/3600000e00d110000001111ac00010000). root@pve1:~# pvs ВНИМАНИЕ: PV LCSzb7-ba0b-yLpH-wriG-KGLs-fMy9-e5YCsz на /dev/vmfs-raid5-15k/vm-211-disk-2 уже найден на /dev/vmfs-raid10-15k/vm-211-disk-1. ВНИМАНИЕ: PV Xp8kxp-RKFp-ASar-SUOs-z30b-gX4b-nWBwW1 на /dev/mapper/3600000e00d110000001111ac00000000 уже найден на /dev/sdc. ВНИМАНИЕ: PV wThchH-2IWs-QRyM-q2dt-flLV-PeA6-0A1qIQ на /dev/sdd уже найден на /dev/mapper/3600000e00d110000001111ac00020000. ВНИМАНИЕ: PV d9hgJh-xa0b-Oyzz-3P70-SjQy-laVx-Q7BEbN на /dev/sde уже найден на /dev/mapper/3600000e00d110000001111ac00010000. ВНИМАНИЕ: PV LCSzb7-ba0b-yLpH-wriG-KGLs-fMy9-e5YCsz предпочитает устройство /dev/vmfs-raid10-15k/vm-211-disk-1, поскольку устройство было обнаружено первым. ВНИМАНИЕ: PV Xp8kxp-RKFp-ASar-SUOs-z30b-gX4b-nWBwW1 предпочитает устройство /dev/sdc, так как устройство используется LV. ВНИМАНИЕ: PV wThchH-2IWs-QRyM-q2dt-flLV-PeA6-0A1qIQ предпочитает устройство /dev/sdd, так как устройство используется LV. ВНИМАНИЕ: PV d9hgJh-xa0b-Oyzz-3P70-SjQy-laVx-Q7BEbN предпочитает устройство /dev/sde, так как устройство используется LV. PV VG Fmt Attr PSize PFree /dev/mapper/3600000e00d110000001111ac00030000 backup2 lvm2 a-- 1000.00g 1000.00g /dev/mapper/3600000e00d110000001111ac00050000 backups1 lvm2 a-- 1000.00g 1000.00g /dev/sda3 pve lvm2 a-- 255.75g 15.83g /dev/sdc vmfs-raid5-15k lvm2 a-- 1.60t 548.00g /dev/sdd vmfs-raid5-7k2 lvm2 a-- 2.37t 464.00g /dev/sde vmfs-raid10-15k lvm2 a-- 1.07t 862.00g /dev/vmfs-raid10-15k/vm-211-disk-1 postgres_data-vg lvm2 a-- 10.00g 0 /dev/vmfs-raid5-7k2/vm-103-disk-1 pvevm26-pxvebackup-vg lvm2 a-- 200.00g 0 /dev/vmfs-raid5-7k2/vm-103-disk-2 dockershare lvm2 a-- 10.00g 96.00m /dev/vmfs-raid5-7k2/vm-106-disk-2 pvevm27-vg-data lvm2 a-- 500.00g 0 /dev/vmfs-raid5-7k2/vm-213-disk-2 sqldata-vg lvm2 a-- 10.00g 508.00m /dev/vmfs-raid5-7k2/vm-213-disk-3 sqllog-vg lvm2 a-- 5.00g 508.00m /dev/vmfs-raid5-7k2/vm-219-disk-2 Docker-registry-data-vg lvm2 a-- 100.00g 96.00m Я также вижу, что все LV в состоянии ДОСТУПЕН, но не должны быть, потому что на узле Proxmox нет ни одной ВМ. Есть идеи, как это исправить?

LnxBil Guest	#11 0 22.04.2020 09:07:00 Обычно, в прошлом или как там, драйвер мультипути блокирует доступ к своему бекенду, так что ты не можешь его использовать. Может быть, это изменилось? Обычно мы устанавливаем фильтр LVM, чтобы ограничить, какие устройства сканируются на наличие подписей LVM, так что ты не найдешь дополнительные LVM при последовательных сканированиях, если у тебя, например, LVM на LVM. Обычно мы разрешаем sda, который всегда является загрузочным устройством, и наши названные мультипутевые устройства. Ссылка, которую я привел, содержит несколько примеров, включая локальное хранилище и SAN.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры