Аспро: ЛайтШоп [тема: скорость резервного копирования против скорости восстановления]

скорость резервного копирования против скорости восстановления

Sat, 15 Feb 2025 23:45:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Наблюдаю такое же поведение. Xeon Silver 4314 (PVE, ZFS 3x NVME SSD) -> Xeon E2690v4 (PBS на PVE, ZFS 3x SATA SSD) с 2x 10G LACP-сетью. Скорость бэкапа варьируется от 1.4 до 1.9 Гбит/с и довольно сильно грузит процессор PBS. Два одновременно идущих задания по бэкапу достигают скорости свыше 3.5 Гбит/с и, похоже, полностью загружают CPU E2690v4 на PBS. Вероятно, из-за TCP+TLS соединения, которое используется для потока бэкапа. Было бы здорово иметь возможность отключить TLS. Скорее всего, это невозможно, так как для этого интерфейс Proxmox должен быть доступен через незащищенный HTTP. Не скажу, что жалуюсь на низкую скорость бэкапа, но это явно далеко от пропускной способности 10G между этими серверами. Скорость восстановления при этом всего 450-800 Мбит/с, что меня ещё больше удивляет. При этом CPU PBS не кажется сильно загруженным, а для storage pool чтение должно быть простым делом.
15.02.2025 23:45:00, Ballistic.

скорость резервного копирования против скорости восстановления

Mon, 02 May 2022 12:33:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Ещё кое-что... Скорость резервного копирования вовсе не была проблемой... PBS получал данные на скорости 950 Мбит/с... резервировал одну виртуальную машину... но восстанавливал ту же самую на скорости 350 Мбит/с. Учитывая всё вышесказанное, можно сказать, что PBS «пишет быстрее, чем читает» — что не так уж и часто встречается... запись 950 <> чтение 350... По моему мнению, у нас есть хорошие шансы это изменить... Спасибо, с уважением, Tonci.
02.05.2022 12:33:00, tonci.

скорость резервного копирования против скорости восстановления

Mon, 02 May 2022 11:58:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Есть ещё кое-что, на что стоит обратить внимание (после дополнительных тестов «комбинаций»)... Мой кластер состоит из двух мощных хостов (pve1 и pve2) и «маленького» третьего кворумного узла (pve3) — SUPERMICRO A2 C3558 Atom с 4 дисками WD RED Pro по 4 ТБ SATA 7200 rpm в zraid10. На этом кворумном оборудовании одновременно работают PVE и PBS (очень хорошее соседство). Хранилище данных PBS — один датасет rpool/data-pbs, недавно созданный на основном rpool. Хранилище образов PVE — var/lib/vz, есть ещё один датасет data-nfs для nfs-сервера, который держит архивы vzdump. Так что у каждого из трёх хостов есть nfs-сервер и PBS-сервер, подключённые для бэкапа (кворумный узел самостоятельно держит PBS и NFS-сервер как бэкап-хранилище).

Когда я восстанавливаю одну виртуальную машину из PBS на, например, PVE1, скорость восстановления достигает 300-350 Мб/с. Когда восстанавливается вторая ВМ на тот же хост, скорость для неё тоже поднимается до 300-350 Мб/с, а сеть загружается до 600 Мб/с — то есть PBS отдаёт данные на скорости 600 Мб/с. Короче, я одновременно восстанавливал 6 ВМ:

- 2 ВМ: PBS -> PVE1
- 2 ВМ: PBS -> PVE2
- 2 ВМ: PBS -> PVE3 (то есть с кворумного узла обратно на него же)

Очень удивился, когда заметил, что ни одна сессия восстановления не мешала другой! Скорость восстановления на PVE1 оставалась стабильной (около 450 Мб/с) на протяжении всего процесса, несмотря на то, что PBS одновременно читал и писал две ВМ у себя локально. Загруженность CPU и IOWait у PBS возрастала соответственно, но соотношение между CPU и IOWait было вполне нормальным (на фото).

Это скорость сети PBS по отношению к хостам (pve1 и pve2) — примерно 900 Мб/с, по 450 Мб/с на каждый.

Проводил тесты с двумя SSD-серверами (zfs raid1) как отдельным устройством — прирост производительности был не впечатляющим, всего 10-15% на бэкапы/восстановления. По моему мнению, в таком случае риск выделения метаданных на отдельные диски не стоит затраченного времени ради столь малого прироста.

В общем, считаю, что этот третий кворумный узел (Atom C3558, 4 диска 4 ТБ SATA) способен выдерживать очень большую нагрузку на чтение и запись и явно имеет достаточно мощности, чтобы восстанавливать одну ВМ за раз со скоростью выше 300-350 Мб/с.

Возможно ли добавить какую-то дополнительную логику, чтобы разрешить скорость восстановления до максимума, который может обеспечить оборудование (и сеть), особенно для сценариев, похожих на этот?

Большое спасибо заранее! С уважением, Tonci.
02.05.2022 11:58:00, tonci.

скорость резервного копирования против скорости восстановления

Fri, 29 Apr 2022 13:56:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
vzdump восстанавливает на максимальной скорости, даже если восстанавливаешь всего одну виртуальную машину...
29.04.2022 13:56:00, tonci.

скорость резервного копирования против скорости восстановления

Fri, 29 Apr 2022 13:19:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Привет, извини за поздний ответ. К сожалению, сейчас у меня нет ясного понимания, в чём может быть проблема, кроме того, что я уже написал выше. Такое тоже происходит, когда ты восстанавливаешь обычный бэкап vzdump? Или только с pbs?
29.04.2022 13:19:00, dcsapak.

скорость резервного копирования против скорости восстановления

Tue, 26 Apr 2022 11:07:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
это storage.cfg
директория: локальный путь /var/lib/vz
содержимое: images, rootdir
shared 0

zfspool: data2
пул data2
содержимое rootdir, images
точка монтирования /data2
узлы pve02-company, pve01-company
sparse 1

zfspool: data3
пул data3
содержимое images, rootdir
точка монтирования /data3
узлы pve01-ivero, pve02-ivero
sparse 1

pbs: pbs01
хранилище st1-company
сервер 10.168.3.8
содержимое backup
fingerprint 3c:a9:b6:0b:89:09:df:fa:77:3c:d6:f3:e5:f7:3f:ec:0c:5f:67:43:98
prune-backups keep-all=1
username root@pam

nfs: nfs-pbs
export /rpool/data/nfs/export
путь /mnt/pve/nfs-pbs
сервер 10.168.3.8
содержимое backup, vztmpl, iso
prune-backups keep-last=2

Это виртуальная машина, которую восстанавливают:
agent: 1
balloon: 0
boot: order=virtio0;net0;ide0
cores: 4
ide0: nfs-pbs:iso/virtio-win.iso, media=cdrom, size=528322K
machine: pc-i440fx-6.1
memory: 2048
meta: creation-qemu=6.1.1, ctime=1646467931
name: W2K16-dc
net0: virtio=DE:95:C5:52:21:96, bridge=vmbr1, firewall=1, tag=10
numa: 0
ostype: win10
scsihw: virtio-scsi-pci
smbios1: uuid=e5926879-97c1-460b-9cb4-e94a7d27ac55
sockets: 1
vga: qxl
virtio0: data2:vm-1001-disk-0, size=32G
vmgenid: fa0aba15-5b49-4a5b-8f41-0fa1dee7b32a

#qmdump#map:virtio0:drive-virtio0:data2::
26.04.2022 11:07:00, tonci.

скорость резервного копирования против скорости восстановления

Tue, 26 Apr 2022 10:55:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
ммм... не мог бы ты выложить конфигурацию виртуальной машины и настройки хранилища сервера pve?
26.04.2022 10:55:00, dcsapak.

скорость резервного копирования против скорости восстановления

Tue, 26 Apr 2022 10:54:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Сейчас я проверил с hw-raid томом (LSI3108) (1 том -> zfsraid0), и результат такой же, как с 4 x 1Т серверными SSD в zraid10. Но мы ведь всё время говорим об одном и том же таргете, все эти 4 ВМ одновременно восстанавливаются с PBS на один и тот же таргет... Значит, таргет способен писать в 4 ВМ одновременно, при этом поток идет со скоростью 1 Гбит/с. Как я могу протестировать скорость записи этого таргета? Когда мы восстанавливаем одну и ту же ВМ с помощью vzdump на тот же таргет, скорость без проблем поднимается до 900 Мбит/с.
26.04.2022 10:54:00, tonci.

скорость резервного копирования против скорости восстановления

Tue, 26 Apr 2022 10:25:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Хорошо, значит соединение pve <-> pbs должно быть достаточно быстрым (117 МБ/с), и оставшиеся операции с чанками тоже неплохи... Моё предположение — либо целевое хранилище недостаточно быстрое при записи только резервной копии, либо сам процесс восстановления даёт сбой. Насколько быстрое у тебя целевое хранилище?
26.04.2022 10:25:00, dcsapak.

скорость резервного копирования против скорости восстановления

Mon, 25 Apr 2022 22:42:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Привет, вот что показывает бенчмарк: Итак, я восстанавливаю 4 разные ВМ на одно и то же целевое хранилище zraid10 4 x 1T ssd (локально на хосте pve).
25.04.2022 22:42:00, tonci.

скорость резервного копирования против скорости восстановления

Mon, 21 Mar 2022 11:11:00 +0300

скорость резервного копирования против скорости восстановления Proxmox Backup Server в форуме Proxmox Backup Server.
Моя конфигурация PBS состоит из: 4 x 4Т SATA (5400 об/мин) -> raidz10, PBS + datastore datasate /rpool/datastore1, 2 x satadom SSD 64Г -> raidz1 - специальное устройство. Скорость резервного копирования достигает 85-95% пропускной способности гигабитной сети, и это вполне устраивает, но скорость восстановления вызывает некоторые вопросы. При восстановлении одной ВМ (по одной) скорость восстановления составляет около 40% пропускной способности, то есть примерно 400-450 Мбит/с, но когда восстанавливаешь несколько ВМ одновременно (на тот же хост), гигабитная сеть полностью загружается! Значит, PBS в такой конфигурации способен отдавать данные восстановления на полной скорости сети. Есть ли какая-то причина, почему одна ВМ не может восстанавливаться быстрее, чем 400 Мбит/с? Заранее большое спасибо! С уважением, Tonci.
21.03.2022 11:11:00, tonci.