Привет, Доминик, и спасибо за поддержку в этом вопросе. fstab — это довольно стандартная штука; обычные вещи и два блока glusterfs в данном случае. Спойлер: cat /etc/fstab # <файловая система> <точка монтирования> <тип> <опции> <дамп> <передача> /dev/pve/root / ext4 errors=remount-ro 0 1 UUID=10C4-4D23 /boot/efi vfat defaults 0 1 /dev/pve/swap none swap sw 0 0 proc /proc proc defaults 0 0 /dev/pve/data2 /gluster/brick1 xfs defaults 1 2 /dev/pve/data11 /gluster/brick11 xfs defaults 1 2 Значимая часть для storage.cfg — это nfs-шар, о котором я говорил, затем два хранилища glusterfs и монтирования директорий, чтобы запустить на них контейнеры. Спойлер: cat /etc/pve/storage.cfg nfs: apollonnas-nfs export /volume1/proxmox path /mnt/pve/apollonnas-nfs server apollonnas.fritz.box content iso,images,backup,rootdir,vztmpl maxfiles 3 options vers=3 glusterfs: glusterfs path /mnt/pve/glusterfs volume gv0 content images server 192.168.178.50 server2 192.168.178.94 dir: glusterfs-container path /mnt/pve/glusterfs content rootdir shared 1 glusterfs: glusterfs2 path /mnt/pve/glusterfs2 volume gv1 content images server 192.168.178.50 server2 192.168.178.95 dir: glusterfs2-container path /mnt/pve/glusterfs2 content rootdir shared 1 ничего мне не дает... да, сервисы mnt-pve-* здесь (и я могу использовать systemctl status), чтобы получить их статус, но существуют только три: mnt-pve-apollonnas\x2dnfs.mount mnt-pve-glusterfs2.mount mnt-pve-glusterfs.mount root@pm3:~# systemctl status mnt-pve-glusterfs.mount ● mnt-pve-glusterfs.mount - /mnt/pve/glusterfs Загружен: загружен (/proc/self/mountinfo) Активен: активен (смонтирован) с субботы 2020-07-18 18:13:55 CEST; 2 недели 3 дня назад Где: /mnt/pve/glusterfs Что: 192.168.178.50:gv0 Задачи: 0 (лимит: 4915) Память: 0B CGroup: /system.slice/mnt-pve-glusterfs.mount... Думаю, эти сервисы монтирования автоматически создаются, как только производится "монтирование". Для меня монтирование появляется при вызове "mount": 192.168.178.50:gv0 на /mnt/pve/glusterfs типа fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072) 192.168.178.50:gv1 на /mnt/pve/glusterfs2 типа fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072) apollonnas.fritz.box:/volume1/proxmox на /mnt/pve/apollonnas-nfs типа nfs (rw,relatime,vers=3,rsize=131072,wsize=131072,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.178.23,mountvers=3,mountport=892,mountproto=udp,local_lock=none,addr=192.168.178.23) И тут неважно, если я размещаю "HA-контейнер" на gluster или на nfs-монтаже. Как видно из одного системного графика выше, монтирование происходит очень поздно, и менеджер HA уже пытается запустить контейнер/VM (и то же самое при выключении — они, по-видимому, удаляются слишком рано, прежде чем менеджер HA остановит VMs/Контейнеры. Может, в этом вся суть! У вас, похоже, glusterfs смонтирован через fstab, а у меня он определен сам по себе как хранилище proxmox (по документации). Может, это всё и есть корень проблемы???!! HA работает совершенно нормально, также как и узловое ограждение, миграции и прочее — все отлично, мне это действительно нравится. Как видно ниже, это ТОЛЬКО проблема при загрузке узла PVE и более проблематичная при его выключении. Моя проблема заключается в следующем: если я размещаю VM/Контейнер на своем NFS (ладно, только тестировал там) или на этом специальном монтировании каталога glusterfs, всё работает хорошо, если LXC не является HA.Если он объявлен как HA, я вижу следующие эффекты при остановке/перезагрузке/запуске узла: При запуске/загрузке узла PVE: Кажется, что менеджер HA пытается запустить LXC слишком рано, потому что чаще всего lxc выдает ошибки, что не может получить файловую систему контейнера. Я это устранил, просто определив повторы в HA, так что через какое-то время он сдается, а затем пробует снова, и тогда всё работает сразу. Причина, кажется, в том, что монтирование gluster/nfs отсутствует в некоторых случаях, когда он уже пытается запустить контейнер. Интересно, что это в основном затрагивает контейнеры LXC, а не VMs. Если я определяю lxc как не HA, а "запуск при старте" (так я понимаю, что включение управляется процессом pve-guest, а не менеджером ha), то это всегда работает. Кажется, это вопрос синхронизации при запуске. Этот эффект наблюдается примерно в 70% случаев, но тут я смог обойтись с помощью повторов. При выключении узла PVE: Здесь всё наоборот: Сначала кажется, что останавливаются "не HA" VMs и LXC — и это работает. Затем, похоже, останавливаются HA-экземпляры, но здесь у меня 100% случаев для контейнеров, когда они начинают вызывать ошибки файловой системы (в некоторых логах, как видно, даже до того, как их просят остановиться). Но иногда и HA-VM тоже. Так я понимаю, что таким образом монтирование уже удалено после завершения pve-guest, но менеджер HA все еще не остановил HA-сущности. И тут возникает эффект, что LXC не отключаются. Именно так это выглядит для меня при каждом отключении HA-контейнеров LXC. И да, выключение занимает вечность, и я хочу избавиться от этой проблемы. Я знаю, как это исправить, когда что-то происходит, и я на месте, но нет реального решения, если меня нет рядом. Инго
Инго