Аспро: ЛайтШоп [тема: Ускорить Backupserver за счёт добавления специального устройства zfs?]

Ускорить Backupserver за счёт добавления специального устройства zfs?

Wed, 05 Oct 2022 07:31:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
да, именно тот (и многие другие) прочитают не только метаданные (ну, они прочитают метаданные в PBS, но это не совсем метаданные на уровне файловой системы)..
05.10.2022 07:31:00, fabian.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Tue, 04 Oct 2022 15:52:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
При использовании primarycache=metadata операции, такие как /usr/bin/proxmox-backup-client snapshots --repository 'repo' --output-format text, занимают гораздо больше времени — примерно в 8 раз дольше (с 10 секунд до около 80). Думаю, что такая команда требует чтения чего-то из самих файлов репозитория, и в этом случае выгоднее использовать primarycache=all. Мы применяем эту команду, чтобы мониторить наличие и актуальность резервных копий, возможно, есть какой-то альтернативный способ, который я упустил. Пока продолжаю разбираться с производительностью моих репозиториев, когда для других операций, например verify или restore, кэшируется только metadata.
04.10.2022 15:52:00, VictorSTS.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Sat, 01 Oct 2022 07:35:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
zfs set primarycache=metadata <название пула datatore>
01.10.2022 07:35:00, kalleb.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Sat, 01 Oct 2022 02:15:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
Гораздо полезнее использовать SSD как специальные устройства, которые хранят только метаданные. Преимущество в том, что ARC с primarycache=metadata будет помогать только при чтении. Специальные устройства также помогут при записи (даже асинхронной записи, чего SLOG не умеет). Единственное преимущество ARC или L2ARC — что вы не потеряете данные, если SSD выйдет из строя. И корпоративные SSD всё ещё дешевле, чем такая же по объёму дополнительная оперативная память. А продукты Proxmox идут с настройками ZFS по умолчанию. Там нет ни одной оптимизации ZFS из коробки. Оптимизировать нужно самостоятельно, ZFS не рассчитан на работу с оптимальными настройками сразу. Всегда надо менять конфиги перед использованием.
01.10.2022 02:15:00, Dunuin.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Sat, 01 Oct 2022 00:17:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
Спасибо за подсказку! Как именно ты настроил кэш? Глобально или на основе пула? До сих пор я использовал достаточно много оперативной памяти, L2ARC и SLOG, чтобы ускорить процесс при настройке PBS. Специальные устройства достаточно дорогие, особенно если учесть объём необходимого метаданных (например, 30 больших HDD и 2 быстрых DC NVMe).
01.10.2022 00:17:00, DerDanilo.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Fri, 30 Sep 2022 22:09:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
Привет, есть ли какая-то причина, почему Proxmox не рекомендует выставлять primarycache=metadata (вместо all) на PBS с ZFS? Заполнять ARC (кэш) данными резервных копий, которые ты, скорее всего, больше никогда не прочитаешь, довольно бессмысленно. Это уменьшает доступный кэш для метаданных. Установив primarycache=metadata, мне удалось увеличить скорость резервного копирования с 60 до 180 МиБ/с и сократить время сбора мусора с часов до секунд. Проблема с пропусками в кэше метаданных в том, что отсутствующие данные приходится синхронно считывать с диска (что приостанавливает операции записи), и при медленных HDD это может очень сильно замедлить запись. Конечно, можно использовать специальные устройства (SSD), но на мой взгляд это пустая трата денег. Попробуйте поставить primarycache=metadata. Наш PBS — Intel с 6 ядрами и Hyper-Threading (видится как 12 CPU), 16 ГБ ОЗУ, 6 дисков по 4 ТБ в raidz2 и 10 Gb сетевые интерфейсы. Нет L2ARC, нет SLOG, нет специальных устройств.
30.09.2022 22:09:00, kalleb.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Sun, 16 Mar 2025 21:53:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
Столкнулся с теми же долгими задачами, но "высокопрочным SSD" здесь (в Тунисе) нет в продаже как запасных частей, только в составе больших систем у крупных интеграторов (я же маленький). В моём pbs всего один SATA3 6Т NAS-диск. Могу ли я добавить два потребительских SSD по 500 ГБ в зеркальный RAID-Z? Я выбираю больше, чем соотношение 20G/1T, чтобы было много запасных ячеек.
16.03.2025 21:53:00, Fathi.

Ускорить Backupserver за счёт добавления специального устройства zfs?

Wed, 10 Mar 2021 11:52:00 +0300

Ускорить Backupserver за счёт добавления специального устройства zfs? Proxmox Backup Server в форуме Proxmox Backup Server.
Мне нравится proxmox backup server, но бюджет позволяет использовать только магнитные диски и raidz2. Поэтому особенно процедуры проверки и очистки собирают уйму времени. Для 8 ТБ пространства для бэкапов сейчас проверка занимает 2 дня, а сбор мусора — 1 день. Думаю, с проверкой особо ничего не сделаешь: либо делать её, либо нет. Но очистка мусора должна работать намного быстрее с помощью ZFS Special Device на SSD, верно? Вот вопросы: могу ли я добавить зеркальное special device в zfs raidz2 пул? Читал где-то, что special device должен иметь тот же уровень избыточности, что и сам пул. Значит, special device тоже должен быть raidz2? Если я добавлю special device, как заполнить метаданные zfs на этом устройстве? Придется ли удалять и заново создавать все бэкапы или метаданные как-то сами переселятся на special device?
10.03.2021 11:52:00, adoII.