+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Очень большой объём (диск 10 ТБ), Proxmox Backup Server

sander93

Guest

18.03.2021 21:50:00

Привет! Мы очень довольны PBS! Резервное копирование стало намного быстрее, и благодаря функции инкрементального копирования/удаления дубликатов мы можем хранить больше данных. У нас выделен сервер PBS с 12 дисками по 8 ТБ и 2 корпоративными SSD для специального устройства. Сейчас у нас установлен параметр special_small_blocks на 4K, это правильное значение? (используется всего 110 ГБ на специальном устройстве при 28,4 ТБ данных резервных копий). Единственная проблема — очень большие тома: у нас есть 2 виртуальные машины с томами по 10 ТБ каждая. Резервное копирование этих ВМ занимает очень много времени (больше 24 часов). Есть ли способ ускорить процесс? Я также боюсь, что после холодной перезагрузки (без dirty bitmap) весь том придется копировать заново. Виртуальные машины — Windows. С уважением, Сандер

sander93 Guest	#2 0 17.05.2021 14:30:00 Извиняюсь за поздний ответ. У нас резервное копирование происходит по сети на более чем 10 ГБ (на самом деле 2 x 10ГБ LACP). Источник резервного копирования — кластер Ceph, может ли в этом быть проблема?

velocity08

Guest

30.05.2021 03:50:00

Интересуюсь этой темой, так как мы сейчас работаем с PBS, чтобы подобрать оптимальный размер special_small_blocks. Вопрос: какой размер блока вы установили для своего ZFS datastore? Оставили ли вы значение по умолчанию — 128k? Если да, то, возможно, будет лучше поставить размер блока 1M для пула datastore, чтобы ускорить запись и чтение. @dcsapak, поправь меня, если ошибаюсь, но если размер блока datastore будет 1M, это должно улучшить производительность записи и чтения, так как данные, записываемые в datastore, обычно крупнее 128k, и это сыграет роль на "вращающихся" HDD, хотя для SSD это не так заметно.
Cheers, G

dcsapak

Guest

31.05.2021 08:38:00

Я не совсем понимаю, что ты имеешь в виду, ты про 'special_small_blocks' или про recordsize? Первое влияет только на то, где сохраняются блоки ("обычные" vdev или "специальное устройство"), а второе просто указывает, какой максимальный record_size у файла перед тем, как он будет разбит.

velocity08 Guest	#5 0 31.05.2021 09:31:00 размер записи для хранилища ZFS (не для специального устройства) "Удачи, G"

dcsapak

Guest

31.05.2021 10:32:00

Хорошо, да, если установить это выше, для больших файлов это должно привести к меньшему количеству операций чтения на файл. Какое значение лучше — зависит от конкретных данных и используемых дисков. Учтите, что если вы это измените, эффект будет только для новых записанных файлов.

guletz

Guest

31.05.2021 10:55:00

Привет! Посмотри вот это: https://forum.proxmox.com/threads/backup-repo-zfs-record-size-considerations.73512/#post-328175. Судя по этому посту, тебе, на мой взгляд, нужно будет установить special_small_blocks на 64k. Также я бы рекомендовал иметь минимум 32 ГБ на PBS. Удачи/Бафта!

guletz

Guest

31.05.2021 10:59:00

... любая мелочь может стать проблемой! Я бы попробовал скопировать с помощью dd с хоста PMX, где запущена твоя большая Windows VM, на /dev/null. Так ты сможешь увидеть скорость чтения на исходной VM. Если скорость нормальная, тогда стоит двигаться дальше и проверять другие моменты! Удачи / Bafta!

velocity08

Guest

31.05.2021 13:47:00

Итак, мы говорим про PBS, разве все бэкапы и соответствующие им файлы не будут больше 128К? Если файлы размером 4К и меньше идут на special_device, не лучше ли тогда настроить обычный RaidZ2 с размером записи 512К или 1М? Какие еще файлы хранятся на RaidZ2 и могут быть меньше 512К или 1М, если основной бэкап — это образы виртуальных машин? Может, я что-то упускаю. Единственная другая мысль — если бэкапы PVE сами по себе, тогда они хранятся как файлы в структуре папок? Тогда, возможно, стоит задать размер записи для VM в 512К или 1М, а для файлового бэкапа вроде PVE — 128К? Буду очень признателен за ваши мысли и рекомендации. Спасибо, G.

dcsapak Guest	#10 0 31.05.2021 16:28:00 Только сами чанки, метаданные (например, manifest, didx, fidx) вероятно не намного больше нескольких сотен килобайт, но останется проверить, повысится ли производительность при увеличении значения. Может, попробуешь поставить значение выше и сделать пару замеров? (Конечно, придется переписать весь хранилище данных, чтобы чанки записались заново).

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры