http://proxmox.su Новое в теме Специальное устройство ZFS — насколько ускоряется проверка данных? форума Proxmox Backup Server на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 17 Jun 2026 20:16:53 +0300 Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Поскольку это решение для резервного копирования, обычно используйте то, что у вас есть, а если нужна лучшая производительность — обновляйтесь. Так что если у вас есть потребительские SSD, подключённые к RAID-карте, пользуйтесь ими.
14.03.2023 16:14:00, ness1602.]]> http://proxmox.su/forum/messages/forum64/message338094/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338094/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Tue, 14 Mar 2023 16:14:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Да, конечно, можно! От ежедневного до «никогда». Рекомендации сильно разнятся. Как обычно: всё зависит от ваших собственных ожиданий и требований. Лично у меня перепроверка запланирована с интервалом шесть-восемь недель для моего основного PBS. Чтобы быть готовым к полностью уничтоженному хранилищу данных (или к полной поломке железа хоста PBS), у меня есть дополнительные бэкапы (просто обычные дампы, без PBS), которые хранятся на удалённом сервере в другом здании. «Никто не хочет делать бэкапы. Все хотят восстановление!»
10.03.2023 15:08:00, UdoB.]]> http://proxmox.su/forum/messages/forum64/message338093/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338093/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Fri, 10 Mar 2023 15:08:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Можно ли реже запускать задачи верификации? Например, делать это всего раз в месяц?
10.03.2023 11:31:00, kwinz.]]> http://proxmox.su/forum/messages/forum64/message338092/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338092/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Fri, 10 Mar 2023 11:31:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Если хочешь понять, почему у тебя низкая скорость верификации, сделай такой тест: tar cf - ./your-datastore | pv >/dev/null. У меня на массиве получается не больше 50 МБ/с.
31.12.2023 18:04:00, RolandK.]]> http://proxmox.su/forum/messages/forum64/message338091/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338091/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Sun, 31 Dec 2023 18:04:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Это ускоряет всё, так как HDD больше не перегружаются множеством мелких случайных операций ввода-вывода, ведь метаданные теперь не нужно хранить на HDD. К сожалению, нет. @Dunuin, я поставил zfs_arc_meta_balance=50000 в ZFS, чтобы увеличить приоритет метаданных, но реально заметного улучшения в производительности проверки не увидел. Куски размером 4 МБ всё ещё достаточно «маленькие», чтобы вызывать частые перемещения головок диска, и это сильно влияет на производительность чтения в pbs.
31.12.2023 17:58:00, RolandK.]]> http://proxmox.su/forum/messages/forum64/message338090/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338090/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Sun, 31 Dec 2023 17:58:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Бедный я, всë надеялся, что профессиональный LSI Megaraid будет читать данные с обоих зеркальных дисков и предупреждать в случае расхождений... Мои мысли: если уж хотите погубить SSD, используйте их для ежедневных бэкапов... И чтобы "сделать ещё лучше", берите диски из одной партии — если один SSD сгорит, остальные могут последовать за ним. Причём выходят из строя не только с ошибками записи, но и с полным отсутствием возможности чтения. Впрочем, PBS предлагает Backup Remotes, так что выход из строя HDD на первом Backup-сервере не такой уж страшный случай. Хорошее решение!!!

Признаюсь: «…повреждённый 4КБ сектор на каждые 10^15 прочитанных байт» — это проблема, которую, вероятно, лучше всего решать через Raid5 или Raid6, ведь даже диски с 10^16 или 10^17 прочитанных байт не идеальны, да и стоят недёшево. Не до конца уверен, насколько точное чтение у Raid5 по сравнению с ZFS.

Нашёл несколько интересных (хотя и старых) ссылок по поводу ошибок чтения на HDD:  
https://www.physicsforums.com/threads/unrecoverable-read-errors-and-raid5.789603/  
https://www.high-rely.com/2012/08/13/why-raid-5-stops-working-in-2009-not/  
https://www.raidtips.com/raid5-ure.aspx

Из моего двадцатилетнего опыта — проблем с повреждёнными данными при чтении HDD не было, если диск был в порядке. Хотя, может, я просто их не заметил. Подобные случаи видел на SD-картах, но никогда на HDD...

Так что ZFS на SSD с ECC-памятью — возможно, лучший вариант. Или использовать ленточные накопители в качестве второго резервного места.
14.03.2023 15:35:00, juergen852.]]> http://proxmox.su/forum/messages/forum64/message338089/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338089/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Tue, 14 Mar 2023 15:35:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Ext + карта RAID — действительно хорошее решение как для Proxmox, так и для PBS. Я бы также рекомендовал иметь запасную карту RAID и тестировать процедуры деградации и восстановления RAID на всякий случай. RAID + ext4 всегда работает быстрее любого ZFS RAID на базе HDD, так что это отличный вариант.
14.03.2023 13:35:00, ness1602.]]> http://proxmox.su/forum/messages/forum64/message338088/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338088/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Tue, 14 Mar 2023 13:35:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
> Добавит ли сжатие ZFS что-то существенное, если бэкапы уже сжаты? Нет, не добавит.  
> Какое преимущество использования ZFS (при расходе памяти) вместо ext4 на RAID-контроллере для бэкап-пространства? Proxmox Backup Server действительно обладает множеством функций, из-за которых некоторые возможности ZFS кажутся лишними. Главное преимущество ZFS по сравнению с вашей текущей настройкой — это то, что зеркала ZFS и RAID-Z намного лучше исправляют ошибки. RAID-Z требует найти количество целых блоков на количество дисков минус 1 в каждой (128К) полосе. Полосы ещё называют группами четности. То есть для каждой отдельной полосы, пока найдены хорошие данные хотя бы на некоторых дисках, система может всё восстановить. Можно “смешивать и сочетать”. Например, для одной повреждённой полосы она возьмёт данные с жестких дисков A+B+C, а для другой, где повреждён диск C, — с дисков A+B+D. То же самое с зеркалами. ZFS восстановит повреждённый файл, если найдёт хороший блок данных хотя бы на одном из дисков в каждой проблемной области. Большинство современных корпоративных HDD в характеристиках указывают не более одного не обнаруженного повреждённого сектора размером 4КБ на 10^15 прочитанных байт. Очень вероятно, что на ваших HDD возникают ошибки на отдельных секторах, и эти ошибки спокойно пройдут на уровень аппаратного RAID. Но шанс, что два диска одновременно выйдут из строя в одном и том же секторе размером 4КБ и затронут один и тот же RAID-Z stripe, крайне мал. Это удобно ещё и потому, что ZFS не просто сообщит об ошибке, а ещё и исправит её. Классический RAID не хранит контрольные суммы по блокам и работает с гораздо более крупными диск-базированными блоками. Proxmox Backup Server всё равно найдёт ошибки при проверке, но, по моему мнению, не исправит их автоматически. Мне не хочется заниматься судебной экспертизой данных и вручную пытаться собирать блоки с разных дисков, надеясь вернуть файл, который пройдёт проверку на ext4 Datastore. Не намерен начинать религиозную дискуссию, но аппаратный RAID — это устаревшая технология, которая была создана до эпохи многопроцессорных систем и сегодня имеет очень мало реальных случаев применения на новых системах. Кроме того, у ext4 есть и другие странности, которые выдают его возраст, например, ограничение размера файла всего в 16 ТБ! Это ограничение действует даже если файл разреженный (sparse) и на диске занимает всего несколько мегабайт. ext4 всё равно это не потянет. Сегодня этого уже может не хватить для одного образа диска, например. Не знаю, насколько это актуально для PBS, но я бы не использовал ext4 для массового хранения дата-пула.
14.03.2023 13:25:00, kwinz.]]> http://proxmox.su/forum/messages/forum64/message338087/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338087/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Tue, 14 Mar 2023 13:25:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
По соображениям экономии я использую несколько целей из 18ТБ HDD в аппаратных зеркалах Raid1 для бэкапов. Таким образом, каждое место для бэкапа имеет максимум 18ТБ пространства. Бэкапы выбирают «ярлыки пула ресурсов», назначенные каждой машине, чтобы я мог решить, на какую цель и с какой машины сохранять данные. Так несколько проверок (или бэкапов) могут выполняться параллельно на несколько зеркальных целей по 18ТБ, распределяя нагрузку на диски, если контроллеры достаточно быстрые.

Признаюсь, что проверка занимает 1-2 дня на выходных, в зависимости от загрузки дисков. По данным веб-статистики, скорость чтения при проверке в среднем около 150–200 МБ/сек (максимум около 250). Для Raid5 SATA-SSD на том же сервере средняя скорость чтения от 200 до 300 МБ/сек (максимум около 400). Так что мой вариант значительно медленнее, чем «NVMe: скорость 2018.49/4278.22 MiB/s», но при этом быстрее, чем указанные выше «ZFS special device and HDDs 79.50/168.53 MiB/s».

В чем преимущество использования ZFS (которая потребляет память) вместо ext4 на raid-контроллере для бэкап-пространства? PBS Dedup вроде бы тоже работает на моих дисках с ext4, например, отображается коэффициент дедупликации 36.15. Судя по всему, скорость — не причина выбирать ZFS на HDD... Будет ли сжатие ZFS значительно полезным, если бэкапы уже сжаты?
14.03.2023 12:43:00, juergen852.]]> http://proxmox.su/forum/messages/forum64/message338086/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338086/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Tue, 14 Mar 2023 12:43:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Нет проблем, ZFS scrub и PBS verify работают, по сути, на двух разных уровнях. Scrubbing проверяет, совпадает ли контрольная сумма данных, которые считываются из пула, с предыдущей. PBS же делает это на уровне приложения, с отдельными кусками данных. По моему мнению и с точки зрения пользователя/администратора при чистом использовании PBS на ZFS обе процедуры преследуют одну цель: подтвердить, что данные, которые вы читаете сегодня, точно такие же, какие вы записали вчера. Я не настраивал scrubbing, так что никаких рекомендаций не дам. Запускаю его с настройками по умолчанию — раз в месяц.
10.03.2023 16:47:00, UdoB.]]> http://proxmox.su/forum/messages/forum64/message338085/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338085/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Fri, 10 Mar 2023 16:47:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Спасибо за ответ! Я просто спрашивал, потому что ты упоминал, что сделал апгрейд железа на дорогие NVMe, так как верификация "занимала слишком много времени и накладывалась друг на друга". Не запускать их так часто тоже могло бы решить проблему с наложением, верно?

И ещё я заметил, что ты тоже используешь ZFS! Недавно читал на форуме пост, где хотят новую функцию с более лёгкой проверкой — чтобы PBS проверял только метаданные, но не сверял контрольные суммы чанков (или содержимое файлов, если они не зашифрованы). Вот ссылка: https://forum.proxmox.com/threads/pbs-on-zfs-and-verification-job.121917/

Интересно, делаешь ли ты какие-то zfs scrub кроме заданий верификации PBS? В ZFS есть куча настроек, чтобы заставить scrub работать в фоне. Ты об этом думал или можешь дать совет, если захочется сделать что-то похожее?

[правка]: Ой, только что заметил — ты не тот, кто изначально писал! Моя ошибка!
10.03.2023 15:32:00, kwinz.]]> http://proxmox.su/forum/messages/forum64/message338084/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338084/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Fri, 10 Mar 2023 15:32:00 +0300 Proxmox Backup Server Специальное устройство ZFS — насколько ускоряется проверка данных? Proxmox Backup Server в форуме Proxmox Backup Server.
Привет! Некоторое время назад мне пришлось заменить наш PBS сервер резервного копирования с обычных жестких дисков на SSD, потому что задачи проверки на всех хранилищах данных занимали слишком много времени, из-за чего они накладывались друг на друга и в итоге образовывалась бесконечная очередь. После проведения тестов с помощью специальных устройств ZFS, возможно, это решение поможет вернуться к жестким дискам — ведь они гораздо дешевле. Мой вопрос: у кого-то есть опыт, насколько специальное устройство на SSD в сочетании с обычными дисками повысит производительность задач проверки? Спасибо и всего наилучшего, Мартин.
12.11.2022 12:31:00, MaLe.]]> http://proxmox.su/forum/messages/forum64/message338083/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh http://proxmox.su/forum/messages/forum64/message338083/79432-spetsialnoe-ustroystvo-zfs-_-naskolko-uskoryaetsya-proverka-dannykh Sat, 12 Nov 2022 12:31:00 +0300 Proxmox Backup Server