Нет проблем, ZFS scrub и PBS verify работают, по сути, на двух разных уровнях. Scrubbing проверяет, совпадает ли контрольная сумма данных, которые считываются из пула, с предыдущей. PBS же делает это на уровне приложения, с отдельными кусками данных. По моему мнению и с точки зрения пользователя/администратора при чистом использовании PBS на ZFS обе процедуры преследуют одну цель: подтвердить, что данные, которые вы читаете сегодня, точно такие же, какие вы записали вчера. Я не настраивал scrubbing, так что никаких рекомендаций не дам. Запускаю его с настройками по умолчанию — раз в месяц.

> Добавит ли сжатие ZFS что-то существенное, если бэкапы уже сжаты? Нет, не добавит.  
> Какое преимущество использования ZFS (при расходе памяти) вместо ext4 на RAID-контроллере для бэкап-пространства? Proxmox Backup Server действительно обладает множеством функций, из-за которых некоторые возможности ZFS кажутся лишними. Главное преимущество ZFS по сравнению с вашей текущей настройкой — это то, что зеркала ZFS и RAID-Z намного лучше исправляют ошибки. RAID-Z требует найти количество целых блоков на количество дисков минус 1 в каждой (128К) полосе. Полосы ещё называют группами четности. То есть для каждой отдельной полосы, пока найдены хорошие данные хотя бы на некоторых дисках, система может всё восстановить. Можно “смешивать и сочетать”. Например, для одной повреждённой полосы она возьмёт данные с жестких дисков A+B+C, а для другой, где повреждён диск C, — с дисков A+B+D. То же самое с зеркалами. ZFS восстановит повреждённый файл, если найдёт хороший блок данных хотя бы на одном из дисков в каждой проблемной области. Большинство современных корпоративных HDD в характеристиках указывают не более одного не обнаруженного повреждённого сектора размером 4КБ на 10^15 прочитанных байт. Очень вероятно, что на ваших HDD возникают ошибки на отдельных секторах, и эти ошибки спокойно пройдут на уровень аппаратного RAID. Но шанс, что два диска одновременно выйдут из строя в одном и том же секторе размером 4КБ и затронут один и тот же RAID-Z stripe, крайне мал. Это удобно ещё и потому, что ZFS не просто сообщит об ошибке, а ещё и исправит её. Классический RAID не хранит контрольные суммы по блокам и работает с гораздо более крупными диск-базированными блоками. Proxmox Backup Server всё равно найдёт ошибки при проверке, но, по моему мнению, не исправит их автоматически. Мне не хочется заниматься судебной экспертизой данных и вручную пытаться собирать блоки с разных дисков, надеясь вернуть файл, который пройдёт проверку на ext4 Datastore. Не намерен начинать религиозную дискуссию, но аппаратный RAID — это устаревшая технология, которая была создана до эпохи многопроцессорных систем и сегодня имеет очень мало реальных случаев применения на новых системах. Кроме того, у ext4 есть и другие странности, которые выдают его возраст, например, ограничение размера файла всего в 16 ТБ! Это ограничение действует даже если файл разреженный (sparse) и на диске занимает всего несколько мегабайт. ext4 всё равно это не потянет. Сегодня этого уже может не хватить для одного образа диска, например. Не знаю, насколько это актуально для PBS, но я бы не использовал ext4 для массового хранения дата-пула.

Бедный я, всë надеялся, что профессиональный LSI Megaraid будет читать данные с обоих зеркальных дисков и предупреждать в случае расхождений... Мои мысли: если уж хотите погубить SSD, используйте их для ежедневных бэкапов... И чтобы "сделать ещё лучше", берите диски из одной партии — если один SSD сгорит, остальные могут последовать за ним. Причём выходят из строя не только с ошибками записи, но и с полным отсутствием возможности чтения. Впрочем, PBS предлагает Backup Remotes, так что выход из строя HDD на первом Backup-сервере не такой уж страшный случай. Хорошее решение!!!

Признаюсь: «…повреждённый 4КБ сектор на каждые 10^15 прочитанных байт» — это проблема, которую, вероятно, лучше всего решать через Raid5 или Raid6, ведь даже диски с 10^16 или 10^17 прочитанных байт не идеальны, да и стоят недёшево. Не до конца уверен, насколько точное чтение у Raid5 по сравнению с ZFS.

Нашёл несколько интересных (хотя и старых) ссылок по поводу ошибок чтения на HDD:  
https://www.physicsforums.com/threads/unrecoverable-read-errors-and-raid5.789603/  
https://www.high-rely.com/2012/08/13/why-raid-5-stops-working-in-2009-not/  
https://www.raidtips.com/raid5-ure.aspx

Из моего двадцатилетнего опыта — проблем с повреждёнными данными при чтении HDD не было, если диск был в порядке. Хотя, может, я просто их не заметил. Подобные случаи видел на SD-картах, но никогда на HDD...

Так что ZFS на SSD с ECC-памятью — возможно, лучший вариант. Или использовать ленточные накопители в качестве второго резервного места.

Если хочешь понять, почему у тебя низкая скорость верификации, сделай такой тест: tar cf - ./your-datastore | pv >/dev/null. У меня на массиве получается не больше 50 МБ/с.

Да, конечно, можно! От ежедневного до «никогда». Рекомендации сильно разнятся. Как обычно: всё зависит от ваших собственных ожиданий и требований. Лично у меня перепроверка запланирована с интервалом шесть-восемь недель для моего основного PBS. Чтобы быть готовым к полностью уничтоженному хранилищу данных (или к полной поломке железа хоста PBS), у меня есть дополнительные бэкапы (просто обычные дампы, без PBS), которые хранятся на удалённом сервере в другом здании. «Никто не хочет делать бэкапы. Все хотят восстановление!»