Привет! Я сейчас в отпуске и нагоняю странички... Ты читал эти сообщения? : https://forum.proxmox.com/threads/zfs-configuration-planning-for-virtual-machines.73445/post-328913 https://forum.proxmox.com/threads/zfs-configuration-planning-for-virtual-machines.73445/post-328941 Там упоминается книга под названием: Jude, Lucas FreeBSD Mastery: ZFS, страница 42 (в моем экземпляре это была страница 72). Она подробно рассказывает о характеристиках файловой системы ZFS, особенно о raid10 по сравнению с RaidZ1/2 с точки зрения производительности. Могу только рекомендовать. Хорошая книга.

Привет, я провел тест с RAID10 и одним резервным диском, но результаты немного смущают... Я запустил тест с параметрами: Code: fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=16384M --numjobs=4 --runtime=240 --group_reporting, и результат fio: Code: Jobs: 4 (f=4): [w(4)][100.0%][w=234MiB/s][w=59.9k IOPS][eta 00m:00s]
randwrite: (groupid=0, jobs=4): err= 0: pid=15411: Wed Aug 26 12:24:50 2020
 write: IOPS=60.5k, BW=236MiB/s (248MB/s)(55.4GiB/240001msec); 0 zone resets
   slat (usec): min=3, max=40619, avg=64.85, stdev=309.03
   clat (nsec): min=240, max=22155k, avg=447.20, stdev=17431.89
    lat (usec): min=4, max=40619, avg=65.43, stdev=310.51
   clat percentiles (nsec):
    |  1.00th=[ 282], 5.00th=[ 290], 10.00th=[ 302], 20.00th=[ 310],
    | 30.00th=[ 322], 40.00th=[ 322], 50.00th=[ 330], 60.00th=[ 342],
    | 70.00th=[ 350], 80.00th=[ 402], 90.00th=[ 482], 95.00th=[ 540],
    | 99.00th=[ 892], 99.50th=[ 1784], 99.90th=[ 4960], 99.95th=[ 5536],
    | 99.99th=[12864]
  bw (  KiB/s): min=41192, max=65736, per=24.99%, avg=60510.20, stdev=2051.12, samples=1916
  iops        : min=10298, max=16434, avg=15127.51, stdev=512.78, samples=1916
 lat (nsec)   : 250=0.01%, 500=91.65%, 750=6.98%, 1000=0.49%
 lat (usec)   : 2=0.42%, 4=0.22%, 10=0.22%, 20=0.01%, 50=0.01%
 lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%
 lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%, 50=0.01%
 cpu          : usr=1.75%, sys=68.69%, ctx=552428, majf=0, minf=43
 IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=0,14527678,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=1

Статус выполнения группы 0 (все задания):
 WRITE: bw=236MiB/s (248MB/s), 236MiB/s-236MiB/s (248MB/s-248MB/s), io=55.4GiB (59.5GB), run=240001-240001msec, в то время как zpool iostat 2 показал: Code: pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
NVME-VM-1   13.6G  11.6T      0  44.6K      0  3.38G
NVME-VM-1   13.7G  11.6T      0  45.5K      0  3.47G
NVME-VM-1   13.7G  11.6T      0  45.2K      0  3.41G
NVME-VM-1   13.8G  11.6T      0  45.0K      0  3.38G
NVME-VM-1   13.9G  11.6T      0  46.4K      0  3.46G
NVME-VM-1   13.9G  11.6T      0  31.9K      0  2.43G
NVME-VM-1   13.9G  11.6T      0      0      0      0 iostat -hxdm 2 показал: Code: r/s     w/s         rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util Device
   0.00     11837.00      0.0k    892.2M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.2k   0.06  65.8% nvme5n1
   0.00     11853.50      0.0k    892.1M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.1k   0.06  65.8% nvme4n1
   0.00     11600.50      0.0k    899.6M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    79.4k   0.06  65.6% nvme2n1
   0.00     11923.00      0.0k    899.4M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.2k   0.06  65.6% nvme3n1 Я ожидал повышения производительности, особенно по IOPS, и результаты fio это подтвердили, но не такие, как zpool iostat и iostat. Средние результаты zpool iostat 2: Code: RAID10:  45.5K
RAIDZ2: 121.0K, в то время как iostat -hxdm 2 показал (в среднем): Code: RAID10: 11853.50 w/s
RAIDZ2: 24029.50 ws, вопрос: почему zpool и iostat показывают такие результаты? Спасибо

zeuxprox, ты можешь настроить ceph на одном узле, нам нужно настроить ceph так, чтобы он не использовал репликацию на основе узлов, а работал на основе HDD/OSD. Подробности можно найти здесь: https://linoxide.com/hwto-configure-single-node-ceph-cluster/. Краткий обзор ниже, который мы сделали для нашего DR местоположения, которое было одноузловым, в то время как первичный кластер состоял из 5 узлов. Затем мы написали скрипт для асинхронного экспорта/импорта снимков ceph, чтобы передать данные на наш DR сервер для безопасности: https://github.com/deependhulla/ceph-dr-sync-tool-for-proxmox. Быстрая настройка: cd /root/ ceph osd getcrushmap -o crush_map_compressed crushtool -d crush_map_compressed -o crush_map_decompressed cp crush_map_decompressed crush_map_decompressed_backup_orginal # редактируем файл crush_map_decompressed (в vi или mcedit) # ищем: step chooseleaf firstn 0 type host # изменяем на: step chooseleaf firstn 0 type osd # сохраняем файл: crush_map_decompressed crushtool -c crush_map_decompressed -o new_crush_map_compressed ceph osd setcrushmap -i new_crush_map_compressed ## теперь проверяем ceph -s: он теперь показывает состояние active+clean. Это руководство поможет протестировать настройку ceph на одном узле.

Лучшее использование Ceph — это многовузловая конфигурация, и мы тоже настоятельно рекомендуем это для основной системы, но в нашем случае нам нужен был дополнительный резерв на месте восстановления (DR) на одном сервере с 3-HDD, чтобы использовать импорт/экспорт снимков Ceph для частой отправки на удаленное место. На практике мы не столкнулись с замедлением, так как сеть не использовалась — все на одном хосте. И он работает для нашего DR уже год, так что в реальности алгоритм Ceph Crush с шагом chooseleaf firstn 0 type host дает нам стабильный результат. Ceph — отличное программное обеспечение.