http://proxmox.su Новое в теме Помогите! Multipathing постоянно ломает мой корневой ZFS пул. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 11 Nov 2026 01:45:42 +0300 Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну вот, в итоге оказалось не так. Мы можем помочь с добавлением в чёрный список, если ты выложишь вывод команды lsscsi --size в CODE-теги. Часто можно просто использовать протокол, название продукта или производителя, чтобы исключить локальные диски из multipath.
16.05.2025 16:39:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326582/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326582/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Fri, 16 May 2025 16:39:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Боже мой, зачем вы позволяете multipathd захватывать ваши SATA-диски? Не делайте этого. Там вообще ноль преимуществ, зато добавится еще одна точка отказа.
15.05.2025 18:01:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message326581/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326581/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 18:01:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @Maximiliano! Скорее всего, это не iSCSI, а dual-expander SAS диск, учитывая, что это загрузочные диски. Хотя, как известно, на форуме уже были сообщения о том, что массово производимые бюджетные диски для потребителей используют одинаковые серийные номера, особенно если они из одной партии. Так что это вполне в духе тех самых забавных производственных причуд. Blockbridge: ультра-низкая задержка, общая память на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox
15.05.2025 16:38:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message326580/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326580/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 16:38:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, думаю, естественный вопрос здесь в том, почему твой хост видит разные диски с одинаковым серийным номером. Я могу представить, что это происходит, если диски были представлены хосту по двум разным путям, например, используя iSCSI с несколькими порталами к одному и тому же LUN, но я бы лично не рекомендовал использовать ZFS с нелокальными дисками. ZFS лучше всего работает с меньшим количеством слоев между ZFS и дисками, в их документации они даже рекомендуют избегать использования аппаратных контроллеров [1], если ты не используешь режим IT/HBA. Как ты добавлял диски в zpool? Multipath создает отображаемые устройства, когда видит два диска с одинаковым WWN (в `/dev/mapper/`), и передача их вместо дисков напрямую (например, по их пути в `/dev/by-id/` или `/dev/`) была бы лучшим вариантом, но вышеупомянутое предостережение все равно применилось бы. [1] https://openzfs.github.io/openzfs-d...uning/Hardware.html#hardware-raid-controllers
15.05.2025 16:30:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message326579/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326579/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 16:30:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@bbgeek17 – Да, думаю, ты попал в точку. Ноды 1-7 используют enterprise-диски, а ноды 8-18 — дешёвые коммерческие SSD (их куча, чтобы запас был на случай сбоев). Вернусь к использованию контроллера RAID на этих хостах – так диск, представленный RAID-контроллером, будет иметь уникальные свойства. Можно было бы избежать этой проблемы, добавив в /etc/multipath.conf чёрный список локальных дисков – это предотвратит проблему, но не исправит то, что уже произошло. Так что в любом случае предстоит долгий день… переустановка хостов, жди меня. Спасибо за твои подсказки.
15.05.2025 15:57:00, Sp00nman.]]> http://proxmox.su/forum/messages/forum63/message326578/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326578/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 15:57:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Серийные номера дисков в "хорошем" узле отличаются. В "плохом" узле — оба диска с одинаковым серийным номером. Это наверняка может запутать Multipath. Можно сразу исключить sda и sdb из рассмотрения Multipath в конфигурационном файле. Затем стоит проверить наличие обновлений прошивки для ваших дисков, внимательно изучить их параметры с помощью Udev и других инструментов, и, возможно, вернуть их производителю. Это диски для потребителей или корпоративного уровня? PS Можно также запустить: sg_inq /dev/sdX Blockbridge: Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
15.05.2025 14:57:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message326577/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326577/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 14:57:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Давай попробую показать тебе:

- Ниже рабочий узел без проблем:
Вот узел с проблемой:
15.05.2025 14:49:00, Sp00nman.]]> http://proxmox.su/forum/messages/forum63/message326576/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326576/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 14:49:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я несколько раз перечитал твой пост, и "multipath" встречается в заголовке, в утверждении, что это ломает работу, и в последующем утверждении о том, что конфигурация multipath одинакова на всех нодах. Возможно, я упустил, но как ты пришёл к выводу, что Multipath виноват в твоих проблемах с ZFS? Blockbridge: ультра-низкая задержка, общая хранилище на базе всех NVMe для Proxmox - https://www.blockbridge.com/proxmox
15.05.2025 14:29:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message326575/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326575/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 14:29:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
По сути, абсолютно все узлы идентичны: одинаковое железо, одинаковая настройка и конфиг, одинаковая multipath-конфигурация, все пропатчены и обновлены до последней версии из корпоративного репозитория. Единственное отличие – дата развертывания и какая версия ISO Proxmox использовалась.
15.05.2025 09:46:00, Sp00nman.]]> http://proxmox.su/forum/messages/forum63/message326574/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326574/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 09:46:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обновлены ли "рабочие" узлы, чтобы у всех были одинаковые версии пакетов? И как насчет конфигурационных файлов в /etc, есть ли между ними различия?
15.05.2025 09:10:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326573/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326573/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 09:10:00 +0300 Proxmox Виртуальная Среда Помогите! Multipathing постоянно ломает мой корневой ZFS пул. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, Proxmoxers! У меня серьезная проблема, и я в отчаянии, не знаю, как ее решить:

- У меня кластер из 18 узлов, каждый настроен с 2 x SATA SSD в ZFS raid1 для ОС и различных хранилищ, развернутых с использованием iSCSI и LVM thick provisioning для общего хранилища для узлов 1-7 кластера. Эти узлы были настроены в прошлом году с использованием ISO Proxmox 8.1. Узлы 8-18 были установлены в этом году с использованием ISO Proxmox 8.3 и затем 8.4.

Узлы 1-7 работают без проблем, а у новых узлов 8-18 постоянно возникает эта проблема:

- После нескольких перезагрузок (случайное количество) многопутевое подключение как-то повреждает мой пул ZFS, перемаркировывая диски, что приводит к следующему:

PRODUCTION [root@prox18-dc01 ~]# zpool status -v
pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or invalid.
Sufficient replicas exist for the pool to continue functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-4J
scan: scrub repaired 0B in 00:01:30 with 0 errors on Sun May 11 00:25:31 2025
config:
NAME                         STATE     READ WRITE CKSUM
rpool                        DEGRADED     0     0     0
mirror-0                   DEGRADED     0     0     0
35111111012345679-part3  ONLINE       0     0     0
5587448289148697325      UNAVAIL      0     0     0
was /dev/sdb3
errors: No known data errors

Я пытался zpool replace диск, пытался принудительно удалить неработающий диск, форматировал и затем zpool attach/add обновленный диск — безрезультатно.

Я предполагаю, что проблема связана с ошибкой в текущей интеграции Proxmox/ZFS, поскольку она не влияет на узлы, настроенные в прошлом году с использованием более старой версии Proxmox. Я предполагаю, что используется более старая версия ZFS (мое понимание заключается в том, что при создании пула ZFS пул создается с этой версией ZFS — даже если вы обновите версию ZFS, существующий пул останется на той версии, с которой он был создан, если вы специально не обновите пул).

Сталкивался ли кто-нибудь с этой проблемой раньше и есть ли какие-нибудь идеи, как ее решить без необходимости переустановки хоста? Если я не смогу найти решение, мне придется вернуться к аппаратному RAID, как будто это 2001 год.

Буду рад услышать ваши мнения.
15.05.2025 07:25:00, Sp00nman.]]> http://proxmox.su/forum/messages/forum63/message326572/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. http://proxmox.su/forum/messages/forum63/message326572/78026-pomogite_-multipathing-postoyanno-lomaet-moy-kornevoy-zfs-pul. Thu, 15 May 2025 07:25:00 +0300 Proxmox Виртуальная Среда