Всем привет, Proxmoxers! У меня серьезная проблема, и я в отчаянии, не знаю, как ее решить:
- У меня кластер из 18 узлов, каждый настроен с 2 x SATA SSD в ZFS raid1 для ОС и различных хранилищ, развернутых с использованием iSCSI и LVM thick provisioning для общего хранилища для узлов 1-7 кластера. Эти узлы были настроены в прошлом году с использованием ISO Proxmox 8.1. Узлы 8-18 были установлены в этом году с использованием ISO Proxmox 8.3 и затем 8.4.
Узлы 1-7 работают без проблем, а у новых узлов 8-18 постоянно возникает эта проблема:
- После нескольких перезагрузок (случайное количество) многопутевое подключение как-то повреждает мой пул ZFS, перемаркировывая диски, что приводит к следующему:
PRODUCTION [root@prox18-dc01 ~]# zpool status -v
pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or invalid.
Sufficient replicas exist for the pool to continue functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see:
scan: scrub repaired 0B in 00:01:30 with 0 errors on Sun May 11 00:25:31 2025
config:
NAME STATE READ WRITE CKSUM
rpool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
35111111012345679-part3 ONLINE 0 0 0
5587448289148697325 UNAVAIL 0 0 0
was /dev/sdb3
errors: No known data errors
Я пытался zpool replace диск, пытался принудительно удалить неработающий диск, форматировал и затем zpool attach/add обновленный диск — безрезультатно.
Я предполагаю, что проблема связана с ошибкой в текущей интеграции Proxmox/ZFS, поскольку она не влияет на узлы, настроенные в прошлом году с использованием более старой версии Proxmox. Я предполагаю, что используется более старая версия ZFS (мое понимание заключается в том, что при создании пула ZFS пул создается с этой версией ZFS — даже если вы обновите версию ZFS, существующий пул останется на той версии, с которой он был создан, если вы специально не обновите пул).
Сталкивался ли кто-нибудь с этой проблемой раньше и есть ли какие-нибудь идеи, как ее решить без необходимости переустановки хоста? Если я не смогу найти решение, мне придется вернуться к аппаратному RAID, как будто это 2001 год.
Буду рад услышать ваши мнения.
- У меня кластер из 18 узлов, каждый настроен с 2 x SATA SSD в ZFS raid1 для ОС и различных хранилищ, развернутых с использованием iSCSI и LVM thick provisioning для общего хранилища для узлов 1-7 кластера. Эти узлы были настроены в прошлом году с использованием ISO Proxmox 8.1. Узлы 8-18 были установлены в этом году с использованием ISO Proxmox 8.3 и затем 8.4.
Узлы 1-7 работают без проблем, а у новых узлов 8-18 постоянно возникает эта проблема:
- После нескольких перезагрузок (случайное количество) многопутевое подключение как-то повреждает мой пул ZFS, перемаркировывая диски, что приводит к следующему:
PRODUCTION [root@prox18-dc01 ~]# zpool status -v
pool: rpool
state: DEGRADED
status: One or more devices could not be used because the label is missing or invalid.
Sufficient replicas exist for the pool to continue functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see:
scan: scrub repaired 0B in 00:01:30 with 0 errors on Sun May 11 00:25:31 2025
config:
NAME STATE READ WRITE CKSUM
rpool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
35111111012345679-part3 ONLINE 0 0 0
5587448289148697325 UNAVAIL 0 0 0
was /dev/sdb3
errors: No known data errors
Я пытался zpool replace диск, пытался принудительно удалить неработающий диск, форматировал и затем zpool attach/add обновленный диск — безрезультатно.
Я предполагаю, что проблема связана с ошибкой в текущей интеграции Proxmox/ZFS, поскольку она не влияет на узлы, настроенные в прошлом году с использованием более старой версии Proxmox. Я предполагаю, что используется более старая версия ZFS (мое понимание заключается в том, что при создании пула ZFS пул создается с этой версией ZFS — даже если вы обновите версию ZFS, существующий пул останется на той версии, с которой он был создан, если вы специально не обновите пул).
Сталкивался ли кто-нибудь с этой проблемой раньше и есть ли какие-нибудь идеи, как ее решить без необходимости переустановки хоста? Если я не смогу найти решение, мне придется вернуться к аппаратному RAID, как будто это 2001 год.
Буду рад услышать ваши мнения.
