http://proxmox.su Новое в теме 3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 12 Nov 2026 13:40:24 +0300 3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Попробуй установить базовый уровень производительности в своей ВМ с помощью бенчмарка, внеси изменения и снова запусти бенчмарк. Напиши в треде 'Ceph Nested fault domains?' 28 ноября 2024 года, чтобы ответить на свой вопрос...

Код:
root@proxmox ~ > rbd config image list ceph/vm-100-disk-0 | grep rbd_read_from_replica_policy
rbd_read_from_replica_policy                 default      config

root@proxmox ~ > rbd config image set ceph/vm-100-disk-0 rbd_read_from_replica_policy localize

root@proxmox ~ > rbd config image list ceph/vm-100-disk-0 | grep rbd_read_from_replica_policy
rbd_read_from_replica_policy                 localize     image Yet it does not make that much difference as I thought. LnxBil
15.05.2025 13:01:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326168/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom http://proxmox.su/forum/messages/forum63/message326168/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom Thu, 15 May 2025 13:01:00 +0300 Proxmox Виртуальная Среда 3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо большое за отличную идею по использованию NVME данных в Ceph перед тем, как они попадут на другие ноды! Как это можно настроить? Есть ли какие-нибудь руководства, которые я мог бы использовать? Сетевые интерфейсы во Frontend работают в режиме Bond (balance-alb). Вот результаты fio для пула CephRBD (1 OSD на ноду - Kioxia CM7 Hardware может выдавать Read: 2,7Mio IOPS Write: 300k IOPS - все OSD зашифрованы), эти цифры нормальные?

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec)   : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec)   : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec)   : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec)   : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 750=0.20%, 1000=0.10%
lat (usec)   : 2=0.01%, 4=0.01%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec

fio --rw=randread --name=IOPS-read --bs=4k --direct=1 --filesize=1G --filename=/dev/RBD/CephPool/test --numjobs=1 --ioengine=libaio --iodepth=1 --refill_buffers --group_reporting --runtime=60 --time_based
IOPS-read: (g=0): rw=randread, bs=® 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.33 Starting 1 process
^X^C: 1 (f=1): [r(1)][13.3%][r=2259MiB/s][r=578k IOPS][eta 00m:52s]
fio: terminating on signal 2
IOPS-read: (groupid=0, jobs=1): err= 0: pid=2302862: Thu May 15 10:21:13 2025
read: IOPS=584k, BW=2280MiB/s (2391MB/s)(18.9GiB/8495msec)
slat (nsec): min=881, max=41913, avg=1139.85, stdev=191.08
clat (nsec): min=370, max=23806, avg=413.37, stdev=99.95
lat (nsec): min=1272, max=42464, avg=1553.22, stdev=220.54
clat percentiles (nsec): |  1.00th=[ 390], 5.00th=[ 390], 10.00th=[ 402], 20.00th=[ 402], | 30.00th=[ 402], 40.00th=[ 410], 50.00th=[ 410], 60.00th=[ 410], | 70.00th=[ 422], 80.00th=[ 422], 90.00th=[ 430], 95.00th=[ 430], | 99.00th=[ 442], 99.50th=[ 462], 99.90th=[ 812], 99.95th=[ 852], | 99.99th=[ 4832]
bw (  MiB/s): min= 2254, max= 2310, per=100.00%, avg=2282.32, stdev=16.06, samples=16
iops        : min=577060, max=591412, avg=584274.00, stdev=4110.21, samples=16
lat (nsec)   : 500=99.65%, 1000=0.35%
lat (usec)   : 2=0.01%, 4=0.03%, 10=0.03%, 20=0.01%, 50=0.01%
cpu          : usr=21.34%, sys=78.63%, ctx=80, majf=0, minf=11
IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=4957858,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: bw=1628MiB/s (1707MB/s), 1628MiB/s-1628MiB/s (1707MB/s-1707MB/s), io=14.4GiB (15.5GB), run=9061-9061msec
```

The output is from multiple runs of the `fio` command, with varying results for the latency values.

Here's a breakdown of the key observations and what they imply:

*   **`ioengine=libaio`**: This specifies that `fio` is using the Linux `libaio` library for asynchronous I/O.  This is generally a good choice for performance on Linux.
*   **`bs=4k`**:  The block size is 4KB.  This is a common and generally reasonable block size.
*   **`rw=randread`**: The workload is purely random reads.
*   **`iodepth=1`**: The I/O depth is 1. This means only one I/O request is outstanding at a time.  This is often used to test latency under single-threaded conditions.
*   **`latency` values**: The crucial part. The average latency (`avg`) is around 1.5 ms, the `min` is around 0.8 ms and the `max` around 4.2 ms. The 99th percentile latency is around 4.2 ms. The "latency" reported by fio is the end-to-end latency, including queueing and processing time.
*   **`short=0, dropped=0`**: This is good. It means all I/O requests were completed successfully and there were no short requests (requests that don't complete within the timeout).
*   **CPU Utilization**: CPU utilization is roughly 21% user and 78% system.

**What's happening and interpretation**

The different outputs show the variance that can occur during each run.  It's important to run these tests multiple times and average the results to get a more consistent view of performance.

Here's a summary of the observations:
*    Random read latencies are generally low, around 1.5-4.2ms, which is decent for a purely random workload.
*   Low I/O depth (iodepth=1) limits concurrency, so the system isn't fully utilized.
*   Random reads are inherently more expensive than sequential reads, due to the need for the disk head to move around to different locations.
*    The system is not experiencing significant I/O bottlenecks because there are no dropped or short requests.

**Possible improvements/further investigations**

*   **Increase IODepth**: Experiment with increasing the `iodepth` parameter (e.g., to 4, 8, 16) to see if it improves throughput without significantly degrading latency.  This could potentially saturate the disk.  However, if the latency starts to increase noticeably, then the IODepth may be too high.
*   **Increase Runs**: Run fio multiple times and record the results to get a better understanding of the system's average performance.
*   **Test Different Workloads**: Test other workloads such as sequential reads/writes, mixed reads/writes to determine if the bottleneck is a specific workload.
*   **Monitor System Resources**: While running fio, monitor system resources (CPU, memory, disk I/O) to identify any potential bottlenecks.
*   **SSD vs. HDD**: Compare the results to other systems using SSD instead of HDDs to show potential performance improvements with solid-state drives.

In conclusion, the results show a reasonably performing random read workload. Further investigation and testing with different settings and workloads can help to fine-tune the system for optimal performance.
15.05.2025 10:27:00, mcz.]]> http://proxmox.su/forum/messages/forum63/message326167/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom http://proxmox.su/forum/messages/forum63/message326167/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom Thu, 15 May 2025 10:27:00 +0300 Proxmox Виртуальная Среда 3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты читаешь данные с бэкенда со скоростью 900 МБ/с, а до PBS доходит только 120 МБ/с? Звучит странно. LACP? Если они на разных узлах PVE, это может быть причиной. Локально они могут общаться так быстро, как позволяет вся цепочка. По моему опыту, в трех-узловой системе с локальным NVMe я бы рекомендовал подкрутить настройки чтения CEPH так, чтобы ты ВСЕГДА читал только с локального NVMe, который быстрее, чем чтение через CEPH со всех узлов, где есть данные.
15.05.2025 09:09:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message326166/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom http://proxmox.su/forum/messages/forum63/message326166/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom Thu, 15 May 2025 09:09:00 +0300 Proxmox Виртуальная Среда 3 Сервер Ceph Cluster с 100Gbit бэкендом / 10 Gbit фронтендом Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня гиперконвергированный Proxmox-кластер с Ceph (19.2.1) состоит из 3 серверов. У всех процессоры Threadripper Pro Zen3, Zen4 с 16-32 ядрами, 256 ГБ ОЗУ и изначально по одному NVME OSD (Kioxia CM7r) на сервер. Сеть для виртуальных машин и клиентов имеет несколько избыточных 10-гигабитных NIC. Сеть для Ceph — только 100-гигабитный DAC без свитча, подключенный напрямую в режиме широковещания. Я протестировал CephRBD пул с помощью fio и получил хорошую скорость чтения, запись медленная. Резервное копирование виртуальных машин на PBS (10-гигабитный канал, NVME хранилище) занимает много времени (виртуальные машины большие, 1 ТБ, 3 ТБ), а когда оно работает, Ceph показывает максимальную скорость чтения (в Proxmox GUI) не более 900 МБ/с, что, я думаю, является лимитом 10-гигабитного подключения сетевого интерфейса для виртуальных машин. Это замедляет доступ к виртуальным машинам. PBS сервер показывает максимальную скорость передачи 120 Мб/с (1 Гбит), что составляет 10% от физической скорости кабеля PBS. Все настроено с MTU 9000, самая свежая прошивка. Поэтому я планирую купить несколько 100-гигабитных карт и Microtik Switch CRS520-4XS-16XQ-RW, который можно подключить через 25-гигабитный кабель к существующему 10-гигабитному Ubiquiti свитчу для всей сети. Мой вопрос: если виртуальные машины будут работать в ОЗУ и будут подключены к 100-гигабитной frontend сети через 100-гигабитный свитч, то они будут общаться друг с другом со скоростью 100 гигабит, верно? И если я подключу PBS к тому же свитчу с 10-гигабитным каналом, то получу скорость передачи 10 гигабит, но чтение и запись Ceph будут лучше с frontend 100-гигабитной сетью, верно? Или лучше сначала инвестировать в 3 дополнительных OSD (NVME Kioxia CM7r), чтобы получить в общей сложности 6 OSD в кластере и получить гораздо лучшие скорости чтения и записи (хранилище при этом расширится)? Нужно ли сначала обновить frontend до 100 гигабит или купить больше OSD, чтобы получить более быстрые чтение и запись Ceph и более быструю резервную копию на PBS? Спасибо.
14.05.2025 17:30:00, mcz.]]> http://proxmox.su/forum/messages/forum63/message326165/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom http://proxmox.su/forum/messages/forum63/message326165/77972-3-server-ceph-cluster-s-100gbit-bekendom-_-10-gbit-frontendom Wed, 14 May 2025 17:30:00 +0300 Proxmox Виртуальная Среда