Делюсь своими $0.02, так как сам тщательно исследовал этот вопрос, будучи новичком, как и многие здесь. Сначала давайте зафиксируем, какое именно оборудование SSD вам нужно для любых журналов (FileStore), block.db, block.wal и т.д., включая просто прямые SSD, добавленные как OSD: нужны Enterprise SSD, и ничего другого. Нет, ваши Samsung 980 Pro M.2 не являются корпоративными дисками, как и ни один другой потребительский диск, который вы использовали — и ваша производительность будет ужасной. Корпоративные SSD — это совершенно другой уровень. В первую очередь, они обладают одной ключевой особенностью, которую вы можете проверить в технических характеристиках вашего SSD — это защита от потери питания. Корпоративные SSD имеют суперконденсаторы, которые обеспечивают питание устройству на короткий срок после отключения питания, чтобы успеть записать всё в очередь на диск до потери питания. Потребительские диски, такие как Samsung 980 Pro M.2, используют журнал транзакций. Почему защита от потери питания важна для производительности кластера CEPH как поддерживающего диска или block.db? Потому что CEPH сразу же запускает flush/f-sync после каждой записи. Корпоративный диск подтвердит этот f-sync мгновенно, не дожидаясь завершения записи, так как у него есть суперконденсатор, который гарантирует записи. В то время как потребительские SSD, такие как Samsung 980 Pro M.2, этого не сделают — они сначала запишут всё на NAND, а затем подтвердят. Эта незначительная разница в обработке f-sync имеет ключевое значение для производительности CEPH и может повысить производительность в 10–30 раз. У вас ужасные IOPS или пропускная способность в кластере Ceph? Скорее всего, это причина, если только ваше устройство block.db не слишком маленькое. Для справки, вы можете купить недорогие корпоративные диски на eBay. Я купил более десятка Samsung PM883 240GB по $30 за штуку (обычно около $50), подождав почти 6 месяцев, чтобы поймать выгодную сделку. Есть также старые PM863 и много SSD Intel DC. Даже SATA2 3Gb/s диски подойдут, так как вам нужны IOPS и реакция на f-sync, а не столько пропускная способность. Кстати, лучше брать небольшие диски, такие как 240GB. Читайте дальше, чтобы узнать почему. Теперь несколько фактов из официальной документации CEPH, связанных с провайдером BlueStore (предполагаю, что все здесь используют BlueStore). Цитата с страницы для уточнения относительно DB/WAL: нам нужно указать только устройство block.db. Что касается размеров... На самом деле, документация CEPH рекомендует: для нагрузок RGW, то есть RADOS Gateway, то есть AWS S3, вам нужно не менее 4% от общего объема поддерживающего блока. Если вы действительно в затруднительном положении и вам действительно нужен RGW, но вы не можете позволить себе корпоративные SSD для устройств block.db, вы можете обойтись меньшими размерами, 1-2% от размера блока, и использовать кэш данных RGW. Это, в любом случае, мой план, если мне когда-либо понадобится RGW. Да, это верно. Я взял этот факт, комбинировал его с требованием 2% размера для корпоративных SSD (без RGW) и максимальным числом OSD, которые может установить шасси (8x горячая замена), и пришел к своей формуле: 4 диска по 4TB (расширяемых до 6) и 2 по 240GB корпоративных SSD (по 80GB на каждый block.db). При 2% от 4TB это 80GB раздел. 240GB / 80GB = 3 раздела на каждый SSD. Так что 2 по 240GB SSD позволяют мне установить 6 HDD по 4TB в шасси. Учитывая, что я собираю 3 шасси, и у меня уже есть 12 HDD по 4TB, это подходит мне. Также я мог бы поменять 8-слотовое шасси Supermicro на 12-слотовое и получить в итоге 9 HDD по 4TB с 3 SSD по 240GB. Идеальная математика и возможность расширения. Есть еще один факт о резервировании, скрытый в этом наборе: если я потеряю один SSD, это значит, что я потеряю только 2 OSD (или 3 OSD, если расширюсь до 6 дисков). Поэтому я выбрал 240GB, а не 480GB — ну, и из-за стоимости! Для ясности: я специально купил 2 по 240GB вместо одного 480GB, так как планирую разделить 240GB на 2 раздела по 80GB, оставив 80GB для будущих добавленных 4TB. Кроме того, сделка на 240GB была отличной, и два диска обошлись намного дешевле, чем один 480GB. Так что выиграл везде. Системы, узлы и потребности у всех разные. Делайте расчеты (2% без использования RGW, 4%, если используете RGW — или больше для тяжелых нагрузок или при использовании кэша RGW). Я буду настраивать их на Nextcloud для обмена фотографиями/документами/доступом к диску внутри сети. Некоторые из вас могут сказать: "Но вам обязательно нужно использовать RGW с NextCloud, это для этого и предназначено, через S3 интерфейс!" На самом деле, мой случай использования — это их 40+ лет оцифрованных фотографий и старых видео, уже организованных в огромной коллекции. NextCloud не имеет никакой структуры/папок и т.д. в своем S3 бэкенде, сбрасывая всё в корневую папку с неясными названиями. Поэтому это прямое объектное хранилище файловой системы, а не S3. — Помните одно последнее: BlueStore будет по умолчанию предпочитать записи на устройство block.db и f-sync. Однако бывают случаи, когда BlueStore совсем обходится без вашего block.db и идет сразу к поддерживающему устройству. Если я правильно помню, это касается, например, стриминга.