Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Backup Server
    [РЕШЕНО]Дедупликация?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [РЕШЕНО]Дедупликация?, Proxmox Backup Server
     
    devilkin
    Guest
    #1
    0
    21.10.2020 13:14:00
    Привет! Хотелось бы понять, как работает дедупликация — она происходит между разными хранилищами данных или только внутри самой резервной копии (то есть между резервными копиями одного и того же источника)? Спасибо!
     
     
     
    Squ1sh
    Guest
    #2
    0
    05.11.2020 18:17:00
    Привет! Он использует ZFS в качестве бэкенда для дедупликации?
     
     
     
    tom
    Guest
    #3
    0
    05.11.2020 18:22:00
    Нет.
     
     
     
    Squ1sh
    Guest
    #4
    0
    06.11.2020 11:18:00
    Можно спросить, есть ли какая-то особая техническая причина, почему вы заново изобрели (реализовали) это колесо, вместо того чтобы просто использовать дедупликацию ZFS? Я имею в виду, что pve и так уже очень активно использует ZFS, в том числе для отправки дельт томов на другие серверы. Мне казалось бы очевидным просто использовать её и позволить ей управлять дедупликацией!?
     
     
     
    fabian
    Guest
    #5
    0
    06.11.2020 11:22:00
    Потому что дедупликация в ZFS работает довольно плохо во многих случаях (ей нужно хранить информацию для дедупликации в памяти!), да и мы не хотели привязываться к одной конкретной реализации хранилища.
     
     
     
    tom
    Guest
    #6
    0
    06.11.2020 11:22:00
    Множество настроек не используют ZFS. PBS dedup не требует специальной файловой системы, так что всё полностью гибко.
     
     
     
    Squ1sh
    Guest
    #7
    0
    06.11.2020 11:35:00
    Хмм, обидно. Теперь, когда вы, ребята из proxmox, втянули меня в чтение и изучение всей этой классной штуки про ZFS и их функцию дедупликации. > ей нужно хранить информацию о дедупликации в памяти. Да, чтобы работать быстро, её надо кешировать в памяти. Но таблицу дедупликации можно хранить и на специальном устройстве (например, на SSD). > Во многих настройках ZFS не используется. Неужели нельзя просто позволить pbs создать один или несколько больших файлов на любом хранилище и запустить поверх них zpool->zfs (всё это делается на лету через pbs)?
     
     
     
    Cookiefamily
    Guest
    #8
    0
    06.11.2020 13:02:00
    ZFS работает только до тех пор, пока у вас есть доступ к блочному устройству. Если вы используете NFS или другие сетевые файловые системы, вы снова ограничены этим. Я не вижу особого минуса в том, что PBS сам занимается дедупликацией — так он остаётся гораздо более гибким.
     
     
     
    fabian
    Guest
    #9
    0
    06.11.2020 13:17:00
    Это всё ещё на несколько порядков медленнее, чем ОЗУ, так что производительность всё равно сильно пострадает (и будет использоваться ОЗУ, которое можно было бы потратить на кэширование метаданных или данных). Если вы не на 100% уверены, что это идеально подходит для вашей комбинации аппаратного обеспечения и нагрузки, то всё же рекомендуется не включать дедупликацию ZFS нигде. Хотя ZFS поддерживает использование файловых vdev, это в основном подходит для тестирования. Дедупликация всё равно будет ограничена всеми требованиями и недостатками по памяти и оборудованию. Плюс это добавит ещё один уровень косвенного обращения, без той гибкости, которую мы получаем с нашей собственной реализацией chunk store.
     
     
     
    Squ1sh
    Guest
    #10
    0
    08.11.2020 15:01:00
    Да, я могу с этим согласиться, после того как немного с этим поработал... Просто интересно, что ты сделал бы по-другому в своей реализации, чтобы не столкнуться с теми же проблемами. Разные размеры блоков или лучшее выравнивание блоков? Спасибо за подробные ответы!
     
     
     
    fabian
    Guest
    #11
    0
    09.11.2020 07:52:00
    Во-первых, мы уже можем устранять дубликаты на стороне клиента во многих случаях. Нам не нужно хранить полную информацию о дедупликации в памяти, а только те части, которые сейчас важны для выполняемой операции. Кроме того, для нас информация о дедупликации занимает не 320 байт на (обычно маленький) блок, а 32 байта на (большой) кусок, так что даже когда мы кэшируем данные в памяти, это гораздо эффективнее.
     
     
     
    Earthwalker
    Guest
    #12
    0
    25.11.2020 14:49:00
    Есть ли способ быстро восстановить ВМ из бэкапов в PBS? Когда в качестве бэкапа используются ZFS-снэпшот и репликация, я просто копирую снэпшот на бэкап-сервер под новым именем датасета и создаю новую ВМ на его основе. Весь процесс занимает не более 10 минут. В PBS я могу смонтировать бэкап диска через proxmox-backup-client как loopback-устройство, получить доступ к файлам, но загрузить ВМ с этого устройства нельзя. Можно восстановить бэкап на новую ВМ, но чтение и запись всех данных займут много времени. Допустим, у меня есть ВМ с 20 ТБ данных, скорость чтения и восстановления из бэкапа — 100 МБ/с, тогда процесс восстановления займет больше 58 часов, что далеко не быстрое восстановление. Есть ли способ ускорить восстановление ВМ? Спасибо.
     
     
     
    che
    Guest
    #13
    0
    25.11.2020 18:19:00
    Привет, пожалуйста, не захватывай чужие темы, этот вопрос лучше вынести в отдельную ветку. По твоему вопросу — кажется, ты путаешь два совершенно разных сценария использования. Конечно, подход, когда ты делаешь снимок файловой системы, постоянно отправляешь изменения по сети и используешь их для восстановления, намного быстрее, чем копировать, возможно зашифрованный, образ или архив, сохранённый на другой машине через сеть. Но это не задача бэкап-сервера, это задача failover. Скорее всего, тебя ограничивают аппаратные характеристики, особенно скорость работы дисков и сеть при восстановлении?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры