Аспро: ЛайтШоп [тема: Проверка заданий — ужасная производительность ввода-вывода]

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 21:52:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Я уже объяснял это. Команда выше не создаст обычный raid10. Она создаёт два полосатых квадримира. И я также писал правильную команду для raid10 в нескольких сообщениях выше: zfs set recordsize=1M YourPoolName/DatasetUsedAsDatastore
21.11.2022 21:52:00, Dunuin.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 16:39:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Ок, спасибо за информацию. Есть идеи, почему команда ниже создаёт пул всего на 26 ТБ? Не совсем понимаю, как проверить, что это RAID 10.

Код:
sudo zpool create -f zfs -o ashift=12 mirror /dev/sdb /dev/sdc /dev/sdd /dev/sda mirror /dev/sdf /dev/sdg /dev/sde /dev/sdh special mirror /dev/nvme0n1 /dev/nvme1n1

Этот способ вроде работает, но это единственный вариант, кроме как через GUI?

Код:
sudo zpool create -f zfs -o ashift=12 mirror /dev/sda /dev/sdb special mirror /dev/nvme0n1 /dev/nvme1n1
sudo zpool add zfs mirror /dev/sdc /dev/sdd
sudo zpool add zfs mirror /dev/sde /dev/sdf
sudo zpool add zfs mirror /dev/sdg /dev/sdh

Ещё, как правильно задать recordsize? Это то же самое, что blocksize?
21.11.2022 16:39:00, harmonyp.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 15:09:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Я бы также установил recordsize на 1M или даже 4M. Для последнего сначала нужно включить соответствующую функцию пула. SLOG и L2ARC особой пользы не принесут, да и SLOG не стоит ставить на те же диски, что и специальные устройства, из-за сильного износа.
21.11.2022 15:09:00, Dunuin.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 14:29:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Чтобы создать RAID-10, я выполню команду:
sudo zpool create -f zfs -o ashift=12 mirror /dev/sdb /dev/sdc /dev/sdd /dev/sda mirror /dev/sdf /dev/sdg /dev/sde /dev/sdh special mirror /dev/nvme0n1 /dev/nvme1n1
zfs set special_small_blocks=4K zfs
zfs set compression=lz4 zfs

Диски sda по 14 ТБ, а NVMe — всего по 500 ГБ. Нужно ли мне запускать что-то вроде этого для L2ARC или ZIL?
Команды:
zpool create -f -o ashift=12 cache
zpool create -f -o ashift=12 log

Обратите внимание, что после запуска всего этого размера пула ZFS почему-то всего 28 ГБ.
21.11.2022 14:29:00, harmonyp.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 14:25:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
LZ4 подойдет. Это не поможет с чанками, так как они уже сжаты с помощью ZSTD клиентом PVE. Но можно сэкономить пару мегабайт или гигабайт, сжав индексные файлы. Насчёт "special_small_blocks=4K" — зависит от ситуации... ваши SSD должны быть достаточно большими, чтобы вместить эти дополнительные данные. Если они заполнятся, метаданные перейдут на HDD, и всё снова будет тормозить.
21.11.2022 14:25:00, Dunuin.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 14:21:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Я поменял на mirror, что соответствует RAID 1. Какая команда правильная для RAID 10? Остальные команды подходят для PBS?
21.11.2022 14:21:00, harmonyp.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 14:14:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
Это создаст stripe/raid0. Если выйдет из строя хотя бы один диск, вы потеряете все данные на этом пуле, и никакой защиты от битрота не будет. Если sda до sdh — это HDD, я настоятельно рекомендую использовать полосатое зеркало (raid10):

zpool create -f zfs -o ashift=12 mirror /dev/sda /dev/sdb mirror /dev/sdc /dev/sdd mirror /dev/sde /dev/sdf mirror /dev/sdg /dev/sdh special mirror /dev/nvme0n1 /dev/nvme1n1

И я бы не использовал /dev/sda и так далее для добавления дисков в пул. Лучше использовать /dev/disk/by-id/... вместо этого.
21.11.2022 14:14:00, Dunuin.

Проверка заданий — ужасная производительность ввода-вывода

Mon, 21 Nov 2022 14:06:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
У меня есть следующие устройства
Код:
/dev/nvme0n1
/dev/nvme1n1
/dev/sdb
/dev/sdc
/dev/sdd
/dev/sda
/dev/sdf
/dev/sdg
/dev/sde
/dev/sdh

Я собираюсь выполнить вот эту команду, просто хочу удостовериться, что этого достаточно для создания пула:
Код:
sudo zpool create -f zfs -o ashift=12 mirror /dev/sdb /dev/sdc /dev/sdd /dev/sda /dev/sdf /dev/sdg /dev/sde /dev/sdh special mirror /dev/nvme0n1 /dev/nvme1n1
zfs set special_small_blocks=4K zfs
zfs set compression=lz4 zfs

Как думаешь, это оптимально?
21.11.2022 14:06:00, harmonyp.

Проверка заданий — ужасная производительность ввода-вывода

Fri, 14 Oct 2022 23:10:00 +0300

Проверка заданий — ужасная производительность ввода-вывода Proxmox Backup Server в форуме Proxmox Backup Server.
У меня около 100 виртуальных машин, которые я ежедневно резервирую, и при верификации испытываю ужасную производительность ввода-вывода — процесс занимает больше 10 часов.

Используемые диски — 4x RAID 10 (аппаратный RAID) WUH721414AL5201 (https://www.serversupply.com/HARD D...PM/WESTERN DIGITAL/WUH721414AL5201_313352.htm). Аппаратный RAID-контроллер: LSI MegaRAID SAS 9361-8i.

Это из-за размера сектора диска? Может, его стоит установить меньшим?
Код:
Размер сектора: 512
Логический размер сектора: 512
14.10.2022 23:10:00, harmonyp.