+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом, Proxmox Виртуальная Среда

mcz

Guest

14.05.2025 17:30:00

Привет! У меня гиперконвергированный Proxmox-кластер с Ceph (19.2.1) состоит из 3 серверов. У всех процессоры Threadripper Pro Zen3, Zen4 с 16-32 ядрами, 256 ГБ ОЗУ и изначально по одному NVME OSD (Kioxia CM7r) на сервер. Сеть для виртуальных машин и клиентов имеет несколько избыточных 10-гигабитных NIC. Сеть для Ceph — только 100-гигабитный DAC без свитча, подключенный напрямую в режиме широковещания. Я протестировал CephRBD пул с помощью fio и получил хорошую скорость чтения, запись медленная. Резервное копирование виртуальных машин на PBS (10-гигабитный канал, NVME хранилище) занимает много времени (виртуальные машины большие, 1 ТБ, 3 ТБ), а когда оно работает, Ceph показывает максимальную скорость чтения (в Proxmox GUI) не более 900 МБ/с, что, я думаю, является лимитом 10-гигабитного подключения сетевого интерфейса для виртуальных машин. Это замедляет доступ к виртуальным машинам. PBS сервер показывает максимальную скорость передачи 120 Мб/с (1 Гбит), что составляет 10% от физической скорости кабеля PBS. Все настроено с MTU 9000, самая свежая прошивка. Поэтому я планирую купить несколько 100-гигабитных карт и Microtik Switch CRS520-4XS-16XQ-RW, который можно подключить через 25-гигабитный кабель к существующему 10-гигабитному Ubiquiti свитчу для всей сети. Мой вопрос: если виртуальные машины будут работать в ОЗУ и будут подключены к 100-гигабитной frontend сети через 100-гигабитный свитч, то они будут общаться друг с другом со скоростью 100 гигабит, верно? И если я подключу PBS к тому же свитчу с 10-гигабитным каналом, то получу скорость передачи 10 гигабит, но чтение и запись Ceph будут лучше с frontend 100-гигабитной сетью, верно? Или лучше сначала инвестировать в 3 дополнительных OSD (NVME Kioxia CM7r), чтобы получить в общей сложности 6 OSD в кластере и получить гораздо лучшие скорости чтения и записи (хранилище при этом расширится)? Нужно ли сначала обновить frontend до 100 гигабит или купить больше OSD, чтобы получить более быстрые чтение и запись Ceph и более быструю резервную копию на PBS? Спасибо.

LnxBil

Guest

15.05.2025 09:09:00

Ты читаешь данные с бэкенда со скоростью 900 МБ/с, а до PBS доходит только 120 МБ/с? Звучит странно. LACP? Если они на разных узлах PVE, это может быть причиной. Локально они могут общаться так быстро, как позволяет вся цепочка. По моему опыту, в трех-узловой системе с локальным NVMe я бы рекомендовал подкрутить настройки чтения CEPH так, чтобы ты ВСЕГДА читал только с локального NVMe, который быстрее, чем чтение через CEPH со всех узлов, где есть данные.

mcz

Guest

15.05.2025 10:27:00

Спасибо большое за отличную идею по использованию NVME данных в Ceph перед тем, как они попадут на другие ноды! Как это можно настроить? Есть ли какие-нибудь руководства, которые я мог бы использовать? Сетевые интерфейсы во Frontend работают в режиме Bond (balance-alb). Вот результаты fio для пула CephRBD (1 OSD на ноду - Kioxia CM7 Hardware может выдавать Read: 2,7Mio IOPS Write: 300k IOPS - все OSD зашифрованы), эти цифры нормальные?

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec) : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec) : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec) : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec) : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec) : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): | 1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw ( MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec) : 500=99.65%, 1000=0.35%
lat (usec) : 2=0.01%, 4=0.03%, 10=0.03%, 20=0.01%, 50=0.01%
cpu : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec
```

The output is from multiple runs of the `fio` command, with varying results for the latency values.

Here's a breakdown of the key observations and what they imply:

* **`ioengine=libaio`**: This specifies that `fio` is using the Linux `libaio` library for asynchronous I/O. This is generally a good choice for performance on Linux.
* **`bs=4k`**: The block size is 4KB. This is a common and generally reasonable block size.
* **`rw=randread`**: The workload is purely random reads.
* **`iodepth=1`**: The I/O depth is 1. This means only one I/O request is outstanding at a time. This is often used to test latency under single-threaded conditions.
* **`latency` values**: The crucial part. The average latency (`avg`) is around 1.5 ms, the `min` is around 0.8 ms and the `max` around 4.2 ms. The 99th percentile latency is around 4.2 ms. The "latency" reported by fio is the end-to-end latency, including queueing and processing time.
* **`short=0, dropped=0`**: This is good. It means all I/O requests were completed successfully and there were no short requests (requests that don't complete within the timeout).
* **CPU Utilization**: CPU utilization is roughly 21% user and 78% system.

**What's happening and interpretation**

The different outputs show the variance that can occur during each run. It's important to run these tests multiple times and average the results to get a more consistent view of performance.

Here's a summary of the observations:
* Random read latencies are generally low, around 1.5-4.2ms, which is decent for a purely random workload.
* Low I/O depth (iodepth=1) limits concurrency, so the system isn't fully utilized.
* Random reads are inherently more expensive than sequential reads, due to the need for the disk head to move around to different locations.
* The system is not experiencing significant I/O bottlenecks because there are no dropped or short requests.

**Possible improvements/further investigations**

* **Increase IODepth**: Experiment with increasing the `iodepth` parameter (e.g., to 4, 8, 16) to see if it improves throughput without significantly degrading latency. This could potentially saturate the disk. However, if the latency starts to increase noticeably, then the IODepth may be too high.
* **Increase Runs**: Run fio multiple times and record the results to get a better understanding of the system's average performance.
* **Test Different Workloads**: Test other workloads such as sequential reads/writes, mixed reads/writes to determine if the bottleneck is a specific workload.
* **Monitor System Resources**: While running fio, monitor system resources (CPU, memory, disk I/O) to identify any potential bottlenecks.
* **SSD vs. HDD**: Compare the results to other systems using SSD instead of HDDs to show potential performance improvements with solid-state drives.

In conclusion, the results show a reasonably performing random read workload. Further investigation and testing with different settings and workloads can help to fine-tune the system for optimal performance.

LnxBil Guest	#4 0 15.05.2025 13:01:00 Попробуй установить базовый уровень производительности в своей ВМ с помощью бенчмарка, внеси изменения и снова запусти бенчмарк. Напиши в треде 'Ceph Nested fault domains?' 28 ноября 2024 года, чтобы ответить на свой вопрос... Код: root@proxmox ~ > rbd config image list ceph/vm-100-disk-0 \| grep rbd_read_from_replica_policy rbd_read_from_replica_policy default config root@proxmox ~ > rbd config image set ceph/vm-100-disk-0 rbd_read_from_replica_policy localize root@proxmox ~ > rbd config image list ceph/vm-100-disk-0 \| grep rbd_read_from_replica_policy rbd_read_from_replica_policy localize image Yet it does not make that much difference as I thought. LnxBil

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры