http://proxmox.su Новое в теме Поддержка Fibre Channel Shared Storage форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 12 Nov 2026 10:50:15 +0300 Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @megabyte927, добро пожаловать на форум! Особых изменений с последним релизом PVE 8.4 не произошло. Общий обзор и руководство по работе с legacy shared storage можно найти здесь: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/. Blockbridge: ультра низкая задержка все-NVME shared storage для Proxmox - https://www.blockbridge.com/proxmox
14.05.2025 00:29:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message326546/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326546/78023-podderzhka-fibre-channel-shared-storage Wed, 14 May 2025 00:29:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Имея пару кластеров GPFS, Lustre и NetApp, все с реальными отказоустойчивыми NFS-экспортами, я могу сказать, что просто забываю пытаться мучиться с каким-либо блочным хранилищем... но в любом случае, как говорится, каждому свое, как ему нравится.
16.05.2025 18:31:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message326545/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326545/78023-podderzhka-fibre-channel-shared-storage Fri, 16 May 2025 18:31:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
По правде говоря, в статье руководства по миграции (https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Storage_boxes_(SAN/NAS)) также упоминается отчет об ошибке (https://bugzilla.proxmox.com/show_bug.cgi?id=6096) с пометкой "recent developments". Похоже, один из разработчиков у партнера Proxmox работает над реализацией qcow2-on-LVM. Как только его работа будет завершена, снимки станут возможны с qcow2-образами на LVM. Но это не помогает тем, кому эта функциональность нужна прямо сейчас.
16.05.2025 17:30:00, Johannes S.]]> http://proxmox.su/forum/messages/forum63/message326544/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326544/78023-podderzhka-fibre-channel-shared-storage Fri, 16 May 2025 17:30:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как уже сказал @Johannes S, система резервного копирования использует внутренний механизм QEMU-снимок, который делает снимок на уровне блоков в памяти (изменения или измененные блоки ставятся в очередь), в то время как для кластерного LVM нет согласованного метода создания снимков. Это не новая проблема, а проблема дизайна, которую вряд ли исправят в текущей версии LVM, возможно, в LVM 3. Просто используйте поддерживаемое выделенное хранилище, и у вас не будет никаких проблем.
16.05.2025 16:35:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326543/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326543/78023-podderzhka-fibre-channel-shared-storage Fri, 16 May 2025 16:35:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, это только для резервного копирования. Но: можно сделать "живое" восстановление, когда ВМ загружается и запускает свои сервисы, пока восстановление продолжается. Таким образом, время простоя во время восстановления полностью отсутствует. Конечно, это не панацея для всех нужд, но всё же намного лучше, чем вообще никаких обходных путей. Подробности — в руководстве по миграции: https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Alternatives_Snapshots
16.05.2025 10:37:00, Johannes S.]]> http://proxmox.su/forum/messages/forum63/message326542/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326542/78023-podderzhka-fibre-channel-shared-storage Fri, 16 May 2025 10:37:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вопрос вот в чем. Можно ли использовать снимки гипервизора для целей, отличных от резервного копирования, при использовании LVM на общем хранилище? Если система резервного копирования это умеет, почему пользователь не может? Это бы решило мою проблему.
16.05.2025 05:01:00, megabyte927.]]> http://proxmox.su/forum/messages/forum63/message326541/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326541/78023-podderzhka-fibre-channel-shared-storage Fri, 16 May 2025 05:01:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это правда, и спасибо за подсказку не уводить разговор в сторону. Я просто хотел предложить вариант снижения рисков с обходным решением "использование локального хранилища для снимков", предложенным здесь. Думаю, мы все согласны, что это не решение, если вам нужно постоянное общее хранилище данных в продакшене (хотя часто репликация ZFS вполне "достаточна" для различных сценариев использования, но, конечно, не решение для всего!). И OP спрашивал о преимуществах ZFS, помимо функции RAID, так что, думаю, этот небольшой крюк был не так уж и плох. Для полноты картины: в теории общее хранилище с ZFS возможно с помощью ZFS over ISCSI, что также поддерживало бы снимки: https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI, но это должно поддерживаться на стороне хранилища, так что это не поможет в случае OP.
15.05.2025 22:49:00, Johannes S.]]> http://proxmox.su/forum/messages/forum63/message326540/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326540/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 22:49:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Кажется, разговор ушёл с темы треда "FC shared storage" к локальному ZFS vs RAID. Хотя обсуждение этой комбинации всегда оживлённое, хочу напомнить, что ZFS — это не решение для общего хранилища. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
15.05.2025 20:13:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message326539/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326539/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 20:13:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я постоянно это вижу. "Скорость" — это НЕ единственный показатель, по которому оценивается решение для хранения данных. На самом деле, вы РЕДКО используете ту "скорость", на которую способна подсистема, но регулярно полагаетесь на функции. Если вы можете обойтись без интегрированной проверки контрольной суммы на уровне файловой системы, встроенных снимков PVE, сжатия, дедупликации, тонкого выделения и т.д. и т.д., то, конечно, используйте свой аппаратный RAID. Я бы посоветовал, что если подсистема ZFS не соответствует вашим требованиям к производительности, кто заботится о том, что RAID "быстрее" (в кавычках, потому что на самом деле это неправда. RAID быстрее для отдельных I/O-запросов; по мере увеличения глубины очереди и количества запросов всё переворачивается, потому что контроллер RAID представляет собой единый LUN на том.
15.05.2025 19:51:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message326538/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326538/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 19:51:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за упоминание. Мы рассматриваем OCFS2 как переходную технологию только в случае, когда оборудование уже установлено. У OCFS2 есть свои проблемы. Мы всегда рекомендуем использовать поддерживаемую конфигурацию хранилища для новой инфраструктуры.
15.05.2025 19:41:00, gurubert.]]> http://proxmox.su/forum/messages/forum63/message326537/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326537/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 19:41:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Но HW рейд всё равно быстрее, как всегда.
15.05.2025 13:09:00, ness1602.]]> http://proxmox.su/forum/messages/forum63/message326536/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326536/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 13:09:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если речь только о RAID, то нет, но ZFS — это наааадёжно больше, чем просто RAID: снимки, тонкое выделение места, обнаружение битовых ошибок и автоматическое исправление, клоны, прозрачная компрессия, прозрачное шифрование, менеджер томов и файловая система в одном флаконе.
15.05.2025 12:56:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326535/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326535/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 12:56:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@Johannes S, спасибо за ответ. Сервера, которые я рассматриваю, используют аппаратный RAID. Производительность очень хорошая. Есть ли какие-то причины использовать ZFS, если доступен аппаратный RAID? Карты способны просто передавать диски насквозь, но я доверяю аппаратному RAID и у меня был положительный опыт использования. Спасибо. M.
15.05.2025 11:43:00, megabyte927.]]> http://proxmox.su/forum/messages/forum63/message326534/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326534/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 11:43:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для резервных копий vm с использованием нативной функциональности резервного копирования Proxmox или Proxmox Backup Server, снапшоты qemu используются (на уровне гипервизора), которым не требуется поддержка в бэкенде хранилища. Предполагаю, что Veeam делает что-то похожее. Это, конечно, возможно, но потребуется достаточно места на локальном хранилище для такой операции: Лично я бы выбрал ZFS (если у вас нет аппаратного RAID), так как тогда можно также реплицировать локально сохраненный образ на другие узлы вашего кластера, чтобы в случае сбоя вашего локального узла у вас все равно была рабочая (хотя и на несколько минут более старая) копия вашей VM: https://pve.proxmox.com/wiki/Storage_Replication Но ZFS и аппаратный RAID не очень хорошо сочетаются, а репликация хранилища работает только с ZFS. Известно, что компания-провайдер услуг Heinlein Support использует это для клиентов, которым нужна такая функциональность: https://www.heinlein-support.de/sites/default/files/media/documents/2022-03/Proxmox und Storage vom SAN.pdf В немецком форуме была дискуссия здесь с их сотрудником @gurubert https://forum.proxmox.com/threads/datacenter-und-oder-cluster-mit-local-storage-only.145189/ В ней он также упомянул, что его компания с радостью предложит свои услуги, если кому-то потребуется поддержка в этом вопросе. Одной из проблем является то, что OCFS не находится в активной разработке и (в связи с отсутствием официальной поддержки) редко используется в экосистеме Proxmox, как показано здесь: Тема "Проблема с PVE 8.1 и общим хранилищем OCFS2 с io_uring" 23 января 2024 г. Всем привет, у меня проблема с общим хранилищем OCFS2 после обновления одного из узлов кластера с 8.0 на 8.1. Общий том был правильно смонтирован на обновленном узле. Виртуальные машины можно было запустить, но они не могут правильно работать, потому что файловая система внутри VM находится в режиме только для чтения. Сообщения об ошибках в syslog хоста: Code: kernel: (kvm,85106,7):ocfs2_dio_end_io:2423 ERROR: Direct IO failed, bytes = -5
kernel: (kvm,85106,7):ocfs2_dio_end_io:2423 ERROR: Direct IO failed, bytes = -5
kernel: (kvm,85106,7):ocfs2_dio_end_io:2423 ERROR: Direct IO failed, bytes = -5 VM использует SCSI контроллер в VirtIO SCSI... AZ129 Ответы: 18 Форум: Proxmox VE: Установка и настройка Но поскольку ProxmoxVE по сути является Debian Linux, никто не прекратит использование чего-либо, что может работать и на обычном Debian, включая OCFS. Вот еще одна тема по этому поводу, хотя @LnxBil не был очень доволен OCFS в ней: https://forum.proxmox.com/threads/ocfs2-support.142407/ Таким образом, мой вывод (хотя я использую ProxmoxVE только в своей домашней лаборатории, а не на работе) заключается в том, что я бы выбрал OCFS только в том случае, если у меня есть провайдер услуг (будь то Heinlein Support или какая-то другая компания), который поможет в случае возникновения каких-либо проблем, и только как временное решение до следующего раза, когда необходимо будет обновить ваше оборудование для хранения. В следующий раз при обновлении оборудования я бы переключился на хранилище, которое изначально поддерживается в ProxmoxVE (будь то Ceph, ZFS с репликацией хранилища или ZFS через ISCSI или оборудование для хранения с поддержкой PVE, например, от Blockbridge). Точный выбор будет зависеть от фактических потребностей и среды, очевидно.
15.05.2025 05:51:00, Johannes S.]]> http://proxmox.su/forum/messages/forum63/message326533/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326533/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 05:51:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @bbgeek17, спасибо за ответ. Меня беспокоит отсутствие снапшотов. Я читал, что бэкапы все же возможны – может кто-нибудь объяснит, как это возможно без снапшотов? Я игрался с возможностями Veeam для Proxmox и заметил, что он смог сделать бэкап VM, которая находилась на LVM-томе, так что бэкапы без снапшотов, очевидно, работают. Подскажите, можно ли осуществлять лив-миграцию машин на/с LVM-общий том на локальный LVM-тонкий диск? Если да, то это позволит делать снапшоты (перемещаешь VM с общего хранилища на локальный, делаешь снапшот, а когда закончишь и очистишь снапшот, возвращаешь ее обратно?). Я видел разные статьи о людях, использующих другие файловые системы для общего хранилища, которые не поддерживаются Proxmox. OCFS был одним из примеров. Кто-нибудь использует неподдерживаемую кластерную файловую систему с Proxmox? Если да, то какую именно? Спасибо. М.
15.05.2025 05:12:00, megabyte927.]]> http://proxmox.su/forum/messages/forum63/message326532/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326532/78023-podderzhka-fibre-channel-shared-storage Thu, 15 May 2025 05:12:00 +0300 Proxmox Виртуальная Среда Поддержка Fibre Channel Shared Storage Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Хотел узнать, есть ли какие-то успехи или изменения за последние 12 месяцев, которые позволили бы Proxmox работать с Fibre Channel общим хранилищем и снапшотами. Я видел несколько статей на эту тему, но самая свежая из них была 12 месяцев назад. Спасибо всем. М.
14.05.2025 00:22:00, megabyte927.]]> http://proxmox.su/forum/messages/forum63/message326531/78023-podderzhka-fibre-channel-shared-storage http://proxmox.su/forum/messages/forum63/message326531/78023-podderzhka-fibre-channel-shared-storage Wed, 14 May 2025 00:22:00 +0300 Proxmox Виртуальная Среда