Привет! Во-первых, я большой фанат PBS, особенно нравится резервное копирование виртуальных машин и огромная экономия места на диске, а ещё значительно более быстрые бэкапы — просто мечта. Без PBS бэкап занимает 8 часов, с PBS — всего 15 минут, да и влияние на работу минимальное или отсутствует вовсе. В целом, это реально серьёзное улучшение.
Идея была использовать PBS для бэкапа примерно 1,3 ТБ данных, которые постепенно растут, но при этом около 500 тысяч файлов. Начальный бэкап не важен, а вот последующие — к сожалению, PBS тут совсем не справляется.
Параметры:
Файлов: 500 тысяч
Общий объём: 1,3 ТБ
Сеть: 10 Гбит
Целевой сервер: 64 ГБ ECC, AMD Ryzen 5 3600, ZFS RAID10 (4×16 ТБ)
Во время нескольких тестов на PBS-сервере не было запущено других задач. Значения усреднённые, без выбросов вверх или вниз. В среднем за каждый инкрементальный бэкап появляется около 500 новых файлов, меньше 10 изменённых и примерно 40 новых папок.
PBS тратит на инкрементальные бэкапы от 1 часа 30 минут до 2 часов. Restic же делает это за 3–5 минут.
До того, как кто-то попробует повторить, считаю, что PBS просто не рассчитан на такую нагрузку и, возможно, из-за протокола или структуры данных слишком много накладных расходов при таком количестве файлов.
Пишу это просто, чтобы поделиться информацией с другими и, возможно, помочь команде Proxmox Backup Server.
Идея была использовать PBS для бэкапа примерно 1,3 ТБ данных, которые постепенно растут, но при этом около 500 тысяч файлов. Начальный бэкап не важен, а вот последующие — к сожалению, PBS тут совсем не справляется.
Параметры:
Файлов: 500 тысяч
Общий объём: 1,3 ТБ
Сеть: 10 Гбит
Целевой сервер: 64 ГБ ECC, AMD Ryzen 5 3600, ZFS RAID10 (4×16 ТБ)
Во время нескольких тестов на PBS-сервере не было запущено других задач. Значения усреднённые, без выбросов вверх или вниз. В среднем за каждый инкрементальный бэкап появляется около 500 новых файлов, меньше 10 изменённых и примерно 40 новых папок.
PBS тратит на инкрементальные бэкапы от 1 часа 30 минут до 2 часов. Restic же делает это за 3–5 минут.
До того, как кто-то попробует повторить, считаю, что PBS просто не рассчитан на такую нагрузку и, возможно, из-за протокола или структуры данных слишком много накладных расходов при таком количестве файлов.
Пишу это просто, чтобы поделиться информацией с другими и, возможно, помочь команде Proxmox Backup Server.
