http://proxmox.su Новое в теме Ceph Single Node против ZFS форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 15 Nov 2026 21:26:23 +0300 Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, Ceph действительно крут, новая версия, интегрированная с Proxmox (Octopus), действительно имеет лучшую производительность и новые функции. Я использую уровни ведра для стоек и уровни ведра для подов. Производительность феноменальна.
22.04.2021 11:13:00, ermanishchawla.]]> http://proxmox.su/forum/messages/forum63/message348325/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348325/80496-ceph-single-node-protiv-zfs Thu, 22 Apr 2021 11:13:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Лучшее использование Ceph — это многовузловая конфигурация, и мы тоже настоятельно рекомендуем это для основной системы, но в нашем случае нам нужен был дополнительный резерв на месте восстановления (DR) на одном сервере с 3-HDD, чтобы использовать импорт/экспорт снимков Ceph для частой отправки на удаленное место. На практике мы не столкнулись с замедлением, так как сеть не использовалась — все на одном хосте. И он работает для нашего DR уже год, так что в реальности алгоритм Ceph Crush с шагом chooseleaf firstn 0 type host дает нам стабильный результат. Ceph — отличное программное обеспечение.
22.04.2021 07:14:00, Deepen Dhulla.]]> http://proxmox.su/forum/messages/forum63/message348324/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348324/80496-ceph-single-node-protiv-zfs Thu, 22 Apr 2021 07:14:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если цель только тестирование, Ceph можно настроить для работы на одном узле, но он не выдаст ничего. Производительность Ceph определяется в зависимости от сетевой задержки, OSD_SLOWNESS, так что если у вас одноузловая установка, где репликация работает с OSD на том же сервере, вы не увидите ничего хорошего, когда перейдете в рабочий режим. Поэтому, еще раз повторю, используйте минимум трехузловую установку.
21.04.2021 15:24:00, ermanishchawla.]]> http://proxmox.su/forum/messages/forum63/message348323/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348323/80496-ceph-single-node-protiv-zfs Wed, 21 Apr 2021 15:24:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
zeuxprox, ты можешь настроить ceph на одном узле, нам нужно настроить ceph так, чтобы он не использовал репликацию на основе узлов, а работал на основе HDD/OSD. Подробности можно найти здесь: https://linoxide.com/hwto-configure-single-node-ceph-cluster/. Краткий обзор ниже, который мы сделали для нашего DR местоположения, которое было одноузловым, в то время как первичный кластер состоял из 5 узлов. Затем мы написали скрипт для асинхронного экспорта/импорта снимков ceph, чтобы передать данные на наш DR сервер для безопасности: https://github.com/deependhulla/ceph-dr-sync-tool-for-proxmox. Быстрая настройка: cd /root/ ceph osd getcrushmap -o crush_map_compressed crushtool -d crush_map_compressed -o crush_map_decompressed cp crush_map_decompressed crush_map_decompressed_backup_orginal # редактируем файл crush_map_decompressed (в vi или mcedit) # ищем: step chooseleaf firstn 0 type host # изменяем на: step chooseleaf firstn 0 type osd # сохраняем файл: crush_map_decompressed crushtool -c crush_map_decompressed -o new_crush_map_compressed ceph osd setcrushmap -i new_crush_map_compressed ## теперь проверяем ceph -s: он теперь показывает состояние active+clean. Это руководство поможет протестировать настройку ceph на одном узле.
21.04.2021 15:01:00, Deepen Dhulla.]]> http://proxmox.su/forum/messages/forum63/message348322/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348322/80496-ceph-single-node-protiv-zfs Wed, 21 Apr 2021 15:01:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сначала нужно включить прямой доступ и синхронизацию, иначе вам предстоит тестировать некоторые кэши. Я бы начал с измерения производительности записи/чтения, так как случайная запись/чтение в большинстве случаев будет медленнее. Кроме того, разные режимы RAID имеют разные схемы записи, особенно когда RAID10 является трехкратным зеркалом, где запись разбивается и затем записывается на два из зеркал. https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_zfs
26.08.2020 14:11:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message348321/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348321/80496-ceph-single-node-protiv-zfs Wed, 26 Aug 2020 14:11:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я провел тест с RAID10 и одним резервным диском, но результаты немного смущают... Я запустил тест с параметрами: Code: fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=16384M --numjobs=4 --runtime=240 --group_reporting, и результат fio: Code: Jobs: 4 (f=4): [w(4)][100.0%][w=234MiB/s][w=59.9k IOPS][eta 00m:00s]
randwrite: (groupid=0, jobs=4): err= 0: pid=15411: Wed Aug 26 12:24:50 2020
 write: IOPS=60.5k, BW=236MiB/s (248MB/s)(55.4GiB/240001msec); 0 zone resets
   slat (usec): min=3, max=40619, avg=64.85, stdev=309.03
   clat (nsec): min=240, max=22155k, avg=447.20, stdev=17431.89
    lat (usec): min=4, max=40619, avg=65.43, stdev=310.51
   clat percentiles (nsec):
    |  1.00th=[ 282], 5.00th=[ 290], 10.00th=[ 302], 20.00th=[ 310],
    | 30.00th=[ 322], 40.00th=[ 322], 50.00th=[ 330], 60.00th=[ 342],
    | 70.00th=[ 350], 80.00th=[ 402], 90.00th=[ 482], 95.00th=[ 540],
    | 99.00th=[ 892], 99.50th=[ 1784], 99.90th=[ 4960], 99.95th=[ 5536],
    | 99.99th=[12864]
  bw (  KiB/s): min=41192, max=65736, per=24.99%, avg=60510.20, stdev=2051.12, samples=1916
  iops        : min=10298, max=16434, avg=15127.51, stdev=512.78, samples=1916
 lat (nsec)   : 250=0.01%, 500=91.65%, 750=6.98%, 1000=0.49%
 lat (usec)   : 2=0.42%, 4=0.22%, 10=0.22%, 20=0.01%, 50=0.01%
 lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%
 lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%, 50=0.01%
 cpu          : usr=1.75%, sys=68.69%, ctx=552428, majf=0, minf=43
 IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=0,14527678,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=1

Статус выполнения группы 0 (все задания):
 WRITE: bw=236MiB/s (248MB/s), 236MiB/s-236MiB/s (248MB/s-248MB/s), io=55.4GiB (59.5GB), run=240001-240001msec, в то время как zpool iostat 2 показал: Code: pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
NVME-VM-1   13.6G  11.6T      0  44.6K      0  3.38G
NVME-VM-1   13.7G  11.6T      0  45.5K      0  3.47G
NVME-VM-1   13.7G  11.6T      0  45.2K      0  3.41G
NVME-VM-1   13.8G  11.6T      0  45.0K      0  3.38G
NVME-VM-1   13.9G  11.6T      0  46.4K      0  3.46G
NVME-VM-1   13.9G  11.6T      0  31.9K      0  2.43G
NVME-VM-1   13.9G  11.6T      0      0      0      0 iostat -hxdm 2 показал: Code: r/s     w/s         rMB/s     wMB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util Device
   0.00     11837.00      0.0k    892.2M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.2k   0.06  65.8% nvme5n1
   0.00     11853.50      0.0k    892.1M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.1k   0.06  65.8% nvme4n1
   0.00     11600.50      0.0k    899.6M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    79.4k   0.06  65.6% nvme2n1
   0.00     11923.00      0.0k    899.4M     0.00     0.00   0.0%   0.0%    0.00    0.09   0.00     0.0k    77.2k   0.06  65.6% nvme3n1 Я ожидал повышения производительности, особенно по IOPS, и результаты fio это подтвердили, но не такие, как zpool iostat и iostat. Средние результаты zpool iostat 2: Code: RAID10:  45.5K
RAIDZ2: 121.0K, в то время как iostat -hxdm 2 показал (в среднем): Code: RAID10: 11853.50 w/s
RAIDZ2: 24029.50 ws, вопрос: почему zpool и iostat показывают такие результаты? Спасибо
26.08.2020 12:46:00, zeuxprox.]]> http://proxmox.su/forum/messages/forum63/message348320/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348320/80496-ceph-single-node-protiv-zfs Wed, 26 Aug 2020 12:46:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это также то, что может выполнять один диск (без настройки). Протестируйте с RAID10, вы должны увидеть увеличение IO/s.
20.08.2020 10:06:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message348319/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348319/80496-ceph-single-node-protiv-zfs Thu, 20 Aug 2020 10:06:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я сейчас в отпуске и нагоняю странички... Ты читал эти сообщения? : https://forum.proxmox.com/threads/zfs-configuration-planning-for-virtual-machines.73445/post-328913 https://forum.proxmox.com/threads/zfs-configuration-planning-for-virtual-machines.73445/post-328941 Там упоминается книга под названием: Jude, Lucas FreeBSD Mastery: ZFS, страница 42 (в моем экземпляре это была страница 72). Она подробно рассказывает о характеристиках файловой системы ZFS, особенно о raid10 по сравнению с RaidZ1/2 с точки зрения производительности. Могу только рекомендовать. Хорошая книга.
19.08.2020 14:16:00, Q-wulf.]]> http://proxmox.su/forum/messages/forum63/message348318/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348318/80496-ceph-single-node-protiv-zfs Wed, 19 Aug 2020 14:16:00 +0300 Proxmox Виртуальная Среда Ceph Single Node против ZFS Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у моего клиента сейчас только один сервер со следующими характеристиками:  
Сервер: SUPERMICRO Server AS-1113S-WN10RT  
ЦП: 1 x AMD EPYC 7502 32C  
ОЗУ: 512 ГБ ECC  
Сетевой интерфейс 1: 4 x 10Gb SFP+ Intel XL710-AM1 (AOC-STG-I4S)  
Сетевой интерфейс 2: 4 x 10Gb SFP+ Intel XL710-AM1 (AOC-STG-I4S)  
SSD для ОС: 2 x Samsung PM983, 960GB, NVMe для ОС в RAID 1  
SSD для ВМ: 5 x Micron 9300 MAX 6.4 TB NVMe  

Я установлю Proxmox на 2 SSD Samsung, zfs RAID 1 (зеркало), но для ВМ какой вариант лучше выбрать из следующих двух, учитывая производительность, масштабируемость и безопасность данных: Ceph на одном узле или ZFS RAIDZ2? Учти, что я хочу иметь возможность потерять два диска одновременно и продолжать работу. Также имей в виду, что я буду использовать Proxmox Backup Server для выполнения инкрементальных резервных копий ВМ. Если выбор падает на первое решение (Ceph на узле), какой должна быть конфигурация? Какую производительность я могу ожидать при чтении и записи? Спасибо.
03.08.2020 16:32:00, zeuxprox.]]> http://proxmox.su/forum/messages/forum63/message348317/80496-ceph-single-node-protiv-zfs http://proxmox.su/forum/messages/forum63/message348317/80496-ceph-single-node-protiv-zfs Mon, 03 Aug 2020 16:32:00 +0300 Proxmox Виртуальная Среда