+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Сборка мусора выполняется всё дольше с каждым днём., Proxmox Backup Server

imrelaszlo84

Guest

26.10.2023 17:57:00

Привет! Пожалуйста, помогите, я не могу понять, в чём проблема. Программное обеспечение: Backup Server 3.0-3 Есть два идентичных хранилища данных. Назовём их DATASTORE-OKAY и DATASTORE-SLOW. Они примонтированы с QNAP NAS через NFS. На NAS установлен NVMe SSD кэш поверх ZFS.

DATASTORE-OKAY:
Количество файлов индекса: 60
Использование оригинальных данных: 722,906 ГиБ
Использование на диске: 20,307 ГиБ (2,81%)
Чанков на диске: 31985
Коэффициент дедупликации: 35,60
Сборка мусора начинается в 0:00 и заканчивается в 0:09. Думаю, это нормально.

DATASTORE-SLOW:
Количество файлов индекса: 31
Использование оригинальных данных: 30,289 ТиБ
Использование на диске: 11,008 ГиБ (0,04%)
Чанков на диске: 14075
Коэффициент дедупликации: 2817,61
Сборка мусора начинается в 0:30, а сегодня завершилась в 7:15 (!!!), заняла 6 часов 45 минут (!!!)...
Интересно, что объём данных не растёт, но процесс каждый день занимает на 20 минут больше времени.

Вот как выглядит время работы сборки мусора за последние дни, скопировано из "Longest tasks (30 days)":
2023.10.26: сборка мусора занимает 6:45:21
2023.10.25: сборка мусора занимает 6:18:18
2023.10.24: сборка мусора занимает 5:56:36
2023.10.23: сборка мусора занимает 5:36:10
2023.10.22: сборка мусора занимает 5:16:28
2023.10.21: сборка мусора занимает 4:56:58
2023.10.20: сборка мусора занимает 4:37:17
2023.10.19: сборка мусора занимает 4:17:37
2023.10.18: сборка мусора занимает 3:57:54

С каждым днём процесс становится медленнее примерно на 20 минут. На практике это ровно на 20 минут дольше каждый день. Параллельных задач, будь то сохранение или проверка, нет.

Содержимое /etc/fstab:
[NAS-IP-ADDRESS]:/DATASTORE-OKAY /mnt/NAS/DATASTORE-OKAY nfs defaults 0 0
[NAS-IP-ADDRESS]:/DATASTORE-SLOW /mnt/NAS/DATASTORE-SLOW nfs defaults 0 0

mount:
[NAS-IP-ADDRESS]:/DATASTORE-SLOW на /mnt/NAS/DATASTORE-SLOW тип nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=172.21.111.220,local_lock=none,addr=[NAS-IP-ADDRESS])
[NAS-IP-ADDRESS]:/DATASTORE-OKAY на /mnt/NAS/DATASTORE-OKAY тип nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=172.21.111.220,local_lock=none,addr=[NAS-IP-ADDRESS])

Не подскажете, где стоит искать ошибку?

SamFredo

Guest

11.11.2023 10:34:00

На двух серверах у меня было похожее дело. Решением оказалось просто перезагрузить резервный сервер. Я пытался разобраться, почему возникала задержка до и после перезагрузки, но так и не понял. Пока что оба работают достаточно быстро (то есть минуты вместо часов).

imrelaszlo84 Guest	#3 0 11.11.2023 11:44:00 Попробую. Ты тоже используешь NFS-монты в качестве цели, как и я? Если да, можешь прислать параметры монтирования NFS?

SamFredo Guest	#4 0 11.11.2023 13:03:00 ACL: стандартные опции монтирования: lazytime, noatime, nodev, noexec Редактирую. Через пару дней: заметил, что ты спрашивал про NFS-монты, а не про монтирование разделов. К сожалению, я это не использую.

Dunuin Guest	#5 0 11.11.2023 13:43:00 PBS нужно немного времени...

SamFredo Guest	#6 0 11.11.2023 13:48:00 Да, я помню, что тщательно изучал это и пришёл к выводу использовать указанные выше варианты. К сожалению, сейчас моя память не слишком меня выручает. Но если вспомню детали, обязательно поделюсь здесь.

Dunuin

Guest

11.11.2023 13:55:00

Что по сути делает GC:
Фаза 1: обновляет atime всех чанков
Фаза 2: удаляет все чанки, у которых atime старше 24 часов и 5 минут

Поэтому режим «relatime» подходит, так как обновляет atime каждые 24 часа, а «noatime» — нет, он вообще не обновляет atime. Из-за этого «noatime» может привести к потере данных, потому что GC может удалить чанки, которые на самом деле ещё нужны.

imrelaszlo84 Guest	#8 0 11.11.2023 14:08:00 Думаю, это скриншот из Proxmox VE, а не из Proxmox Backup Server.

SamFredo Guest	#9 0 13.11.2023 06:51:00 Да, действительно. У меня есть PBS в виртуальной машине на PVE. Редактирую: о, извиняюсь, я только что заметил, что ты спрашивал про NFS монтирования, а не про монтирования разделов.

imrelaszlo84 Guest	#10 0 13.11.2023 18:58:00 У меня есть отдельная виртуальная машина на другом оборудовании, хост — SolusVM / KVM; к ней подключён QNAP NAS через NFS, соединение 1 Гбит/с.

imrelaszlo84 Guest	#11 0 11.11.2023 10:15:00 Привет, Доминик! Извини, только сейчас добрался до этого. К сожалению, это не помогло. Вот результаты: "OKAY" хранилище (а что значит «ок», оно всё равно тормозит): Код: Количество индексных файлов: 108 Удалено мусора: 0 Б Удалено чанков: 0 Удалено плохих чанков: 0 Осталось плохих чанков: 0 Ожидают удаления: 1,816 МиБ (в 1 чанке) Исходное использование данных: 1,272 ТиБ Использование на диске: 29,678 ГиБ (2,28%) Чанков на диске: 51484 Время работы: примерно 50 минут "SLOW" хранилище: Код: Количество индексных файлов: 37 Удалено мусора: 0 Б Удалено чанков: 0 Удалено плохих чанков: 0 Осталось плохих чанков: 0 Ожидают удаления: 456,086 КиБ (в 3 чанках) Исходное использование данных: 37,027 ТиБ Использование на диске: 12,794 ГиБ (0,03%) Чанков на диске: 16380 Время работы: около 8 часов 45 минут

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры