http://proxmox.su Новое в теме [РЕШЕНО]Дедупликация? форума Proxmox Backup Server на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 24 May 2026 23:59:08 +0300 [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Привет, пожалуйста, не захватывай чужие темы, этот вопрос лучше вынести в отдельную ветку. По твоему вопросу — кажется, ты путаешь два совершенно разных сценария использования. Конечно, подход, когда ты делаешь снимок файловой системы, постоянно отправляешь изменения по сети и используешь их для восстановления, намного быстрее, чем копировать, возможно зашифрованный, образ или архив, сохранённый на другой машине через сеть. Но это не задача бэкап-сервера, это задача failover. Скорее всего, тебя ограничивают аппаратные характеристики, особенно скорость работы дисков и сеть при восстановлении?
25.11.2020 18:19:00, che.]]> http://proxmox.su/forum/messages/forum64/message355510/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355510/81246-resheno_deduplikatsiya Wed, 25 Nov 2020 18:19:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Есть ли способ быстро восстановить ВМ из бэкапов в PBS? Когда в качестве бэкапа используются ZFS-снэпшот и репликация, я просто копирую снэпшот на бэкап-сервер под новым именем датасета и создаю новую ВМ на его основе. Весь процесс занимает не более 10 минут. В PBS я могу смонтировать бэкап диска через proxmox-backup-client как loopback-устройство, получить доступ к файлам, но загрузить ВМ с этого устройства нельзя. Можно восстановить бэкап на новую ВМ, но чтение и запись всех данных займут много времени. Допустим, у меня есть ВМ с 20 ТБ данных, скорость чтения и восстановления из бэкапа — 100 МБ/с, тогда процесс восстановления займет больше 58 часов, что далеко не быстрое восстановление. Есть ли способ ускорить восстановление ВМ? Спасибо.
25.11.2020 14:49:00, Earthwalker.]]> http://proxmox.su/forum/messages/forum64/message355509/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355509/81246-resheno_deduplikatsiya Wed, 25 Nov 2020 14:49:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Во-первых, мы уже можем устранять дубликаты на стороне клиента во многих случаях. Нам не нужно хранить полную информацию о дедупликации в памяти, а только те части, которые сейчас важны для выполняемой операции. Кроме того, для нас информация о дедупликации занимает не 320 байт на (обычно маленький) блок, а 32 байта на (большой) кусок, так что даже когда мы кэшируем данные в памяти, это гораздо эффективнее.
09.11.2020 07:52:00, fabian.]]> http://proxmox.su/forum/messages/forum64/message355508/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355508/81246-resheno_deduplikatsiya Mon, 09 Nov 2020 07:52:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Да, я могу с этим согласиться, после того как немного с этим поработал... Просто интересно, что ты сделал бы по-другому в своей реализации, чтобы не столкнуться с теми же проблемами. Разные размеры блоков или лучшее выравнивание блоков? Спасибо за подробные ответы!
08.11.2020 15:01:00, Squ1sh.]]> http://proxmox.su/forum/messages/forum64/message355507/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355507/81246-resheno_deduplikatsiya Sun, 08 Nov 2020 15:01:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Это всё ещё на несколько порядков медленнее, чем ОЗУ, так что производительность всё равно сильно пострадает (и будет использоваться ОЗУ, которое можно было бы потратить на кэширование метаданных или данных). Если вы не на 100% уверены, что это идеально подходит для вашей комбинации аппаратного обеспечения и нагрузки, то всё же рекомендуется не включать дедупликацию ZFS нигде. Хотя ZFS поддерживает использование файловых vdev, это в основном подходит для тестирования. Дедупликация всё равно будет ограничена всеми требованиями и недостатками по памяти и оборудованию. Плюс это добавит ещё один уровень косвенного обращения, без той гибкости, которую мы получаем с нашей собственной реализацией chunk store.
06.11.2020 13:17:00, fabian.]]> http://proxmox.su/forum/messages/forum64/message355506/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355506/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 13:17:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
ZFS работает только до тех пор, пока у вас есть доступ к блочному устройству. Если вы используете NFS или другие сетевые файловые системы, вы снова ограничены этим. Я не вижу особого минуса в том, что PBS сам занимается дедупликацией — так он остаётся гораздо более гибким.
06.11.2020 13:02:00, Cookiefamily.]]> http://proxmox.su/forum/messages/forum64/message355505/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355505/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 13:02:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Хмм, обидно. Теперь, когда вы, ребята из proxmox, втянули меня в чтение и изучение всей этой классной штуки про ZFS и их функцию дедупликации. > ей нужно хранить информацию о дедупликации в памяти. Да, чтобы работать быстро, её надо кешировать в памяти. Но таблицу дедупликации можно хранить и на специальном устройстве (например, на SSD). > Во многих настройках ZFS не используется. Неужели нельзя просто позволить pbs создать один или несколько больших файлов на любом хранилище и запустить поверх них zpool->zfs (всё это делается на лету через pbs)?
06.11.2020 11:35:00, Squ1sh.]]> http://proxmox.su/forum/messages/forum64/message355504/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355504/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 11:35:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Множество настроек не используют ZFS. PBS dedup не требует специальной файловой системы, так что всё полностью гибко.
06.11.2020 11:22:00, tom.]]> http://proxmox.su/forum/messages/forum64/message355503/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355503/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 11:22:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Потому что дедупликация в ZFS работает довольно плохо во многих случаях (ей нужно хранить информацию для дедупликации в памяти!), да и мы не хотели привязываться к одной конкретной реализации хранилища.
06.11.2020 11:22:00, fabian.]]> http://proxmox.su/forum/messages/forum64/message355502/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355502/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 11:22:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Можно спросить, есть ли какая-то особая техническая причина, почему вы заново изобрели (реализовали) это колесо, вместо того чтобы просто использовать дедупликацию ZFS? Я имею в виду, что pve и так уже очень активно использует ZFS, в том числе для отправки дельт томов на другие серверы. Мне казалось бы очевидным просто использовать её и позволить ей управлять дедупликацией!?
06.11.2020 11:18:00, Squ1sh.]]> http://proxmox.su/forum/messages/forum64/message355501/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355501/81246-resheno_deduplikatsiya Fri, 06 Nov 2020 11:18:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Нет.
05.11.2020 18:22:00, tom.]]> http://proxmox.su/forum/messages/forum64/message355500/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355500/81246-resheno_deduplikatsiya Thu, 05 Nov 2020 18:22:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Привет! Он использует ZFS в качестве бэкенда для дедупликации?
05.11.2020 18:17:00, Squ1sh.]]> http://proxmox.su/forum/messages/forum64/message355499/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355499/81246-resheno_deduplikatsiya Thu, 05 Nov 2020 18:17:00 +0300 Proxmox Backup Server [РЕШЕНО]Дедупликация? Proxmox Backup Server в форуме Proxmox Backup Server.
Привет! Хотелось бы понять, как работает дедупликация — она происходит между разными хранилищами данных или только внутри самой резервной копии (то есть между резервными копиями одного и того же источника)? Спасибо!
21.10.2020 13:14:00, devilkin.]]> http://proxmox.su/forum/messages/forum64/message355498/81246-resheno_deduplikatsiya http://proxmox.su/forum/messages/forum64/message355498/81246-resheno_deduplikatsiya Wed, 21 Oct 2020 13:14:00 +0300 Proxmox Backup Server