Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    CEPH общий SSD для БД/WAL?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    CEPH общий SSD для БД/WAL?, Proxmox Виртуальная Среда
     
    barius
    Guest
    #1
    0
    04.12.2020 21:09:00
    Привет, я готовлюсь заказать оборудование для гиперконвергентного кластера на 3 узла. Не буду утомлять тебя точными подробностями конфигурации, но буду благодарен за общие советы по этому поводу. Чтобы оптимизировать производительность с ограниченным бюджетом (все SSD-накопители не вариант), я читал, что лучше всего разместить БД и WAL на быстрых SSD, а использовать более медленные диски для основного OSD-хранилища. Также кажется, что стоит создать один OSD на каждый основной диск хранения, но разделы (на SSD) подходят для БД/WAL. БД/WAL маленькая по сравнению с основным хранилищем (10% ???), так что я предпочитаю не выделять 2 отсека для каждого OSD. Особенно поскольку большее количество меньших OSD сократит время восстановления по сравнению с меньшим количеством больших OSD. Плохо ли делить SSD для БД/WAL нескольких OSD? Я больше всего переживаю, что, если (когда!!!) SSD выйдет из строя, все OSD с их БД/WAL на одном SSD придется уничтожить и перестраивать. Верно? Во-вторых, если я решу рискнуть и поделить SSD, как это реализовать? (предположим, что sdh — это HDD, а sds — SSD) Из сайта CEPH (Несколько устройств) у меня сложилось впечатление, что раздел будет создан автоматически. В руководстве PVECEPH говорится сделать что-то вроде этого, но не обсуждаются разделы. Код: pveceph osd create /dev/sdh -db_dev /dev/sds Или мне нужно создать раздел самостоятельно, а потом сделать что-то типа этого? Код: pveceph osd create /dev/sdh -db_dev /dev/sds1 Заранее большое спасибо за ваши ценные советы, Barius
     
     
     
    performans
    Guest
    #2
    0
    13.04.2021 10:36:00
    Я пытаюсь настроить то же самое (общий SSD для block.db и block.wal) и пока не смог это сделать правильно. Было бы здорово, если бы в Proxmox появилась возможность делать это через интерфейс. Надеюсь, команда Proxmox читает эту тему и рассмотрит возможность добавить функцию, чтобы мы могли устанавливать db и wal на один и тот же общий SSD, а также настраивать не только целый диск для OSD, но и использовать LVM в качестве целевого хранилища.
     
     
     
    tekhead
    Guest
    #3
    0
    26.02.2021 21:10:00
    Что ты в итоге сделал, @barius? У меня похожая ситуация. В эти выходные собираю кластер. 4 узла, по 2x4tb и 500gb SSD каждый. Судя по цифрам, SSD должен быть достаточно большим, чтобы впоследствии перейти на 4x4tb. Будет ли раздел для WAL и БД на SSD общим между узлами на машине, или тебе пришлось разделить его иначе? Спасибо за помощь!
     
     
     
    Tourman
    Guest
    #4
    0
    27.02.2021 03:00:00
    У меня в течение года работает кластер Proxmox 4x с ceph, и в каждой машине установлена карта fusion-io. В каждой машине по 4 жестких диска 1ТБ формата 2.5", из которых 300ГБ выделено под базу данных. Проблем нет.
     
     
     
    tekhead
    Guest
    #5
    0
    27.02.2021 03:02:00
    Отличные новости! Я отформатирую 2 раздела на SSD — Wal и DB, и все узлы на этой машине смогут использовать один и тот же раздел.
     
     
     
    Jesse Norell
    Guest
    #6
    0
    11.03.2021 01:07:00
    Я понимаю (может, и не прав), что вам нужно отдельное пространство на SSD для каждого OSD. Вы пробовали делить один раздел? Судя по моим (ограниченным, но достаточным?) исследованиям, придется удалить OSD и снова добавить их в кластер, чтобы заполнить данными. (Например, см. http://lists.ceph.com/pipermail/ceph-users-ceph.com/2018-January/024267.html)
     
     
     
    Byron
    Guest
    #7
    0
    11.03.2021 09:49:00
    Вы можете настроить Ceph для автоматической обработки этого, он аккуратно создаст разделы соответственно.
     
     
     
    tekhead
    Guest
    #8
    0
    11.03.2021 18:09:00
    Я все еще на ранних стадиях своего пути с Ceph, но могу сказать, что мне удалось поделить SSD между OSD. Не нашел способа сделать это с помощью интерфейса Proxmox, только через командную строку. OSD по 4 ТБ, а SSD на 500 ГБ. 2 OSD на один SSD... Использованная команда: pveceph osd create /dev/sda --db_dev /dev/sdd --db_size 200
     
     
     
    tekhead
    Guest
    #9
    0
    13.04.2021 22:43:00
    Где ты повесил трубку?
     
     
     
    performans
    Guest
    #10
    0
    15.04.2021 14:01:00
    Я пытался выбрать диск ОС, но возникли ошибки, вроде (не помню точную формулировку) "группа томов ceph не найдена". Но сегодня, прочитав ваш ответ, я добавил новый пустой SSD на тестовом сервере, и все сработало, как ожидалось. Так что, я понимаю, мы не можем использовать один SSD как для ОС Proxmox, так и для файлов Ceph DB/WAL. На наших производственных серверах сейчас используется Hyper-V, и мы планируем миграцию на Proxmox, оценивая и тестируя его возможности в нашем тестовом окружении. На производственных серверах у нас RAID 1 с 2 SSD для отказоустойчивости установки гипервизора и от 6 до 10 жестких дисков для виртуальных машин на сервер. Если мы не можем использовать диск ОС одновременно с CEPH DB/WAL, это значит, что нам нужно будет установить еще 2 SSD в RAID 1 для отказоустойчивости WAL/DB, что приведет к уменьшению доступного пространства на 12–20 ТБ на сервер. Мой вопрос: подходит ли такая конфигурация по производительности и отказоустойчивости? Если нет, какую конфигурацию вы предлагаете?
     
     
     
    tekhead
    Guest
    #11
    0
    16.04.2021 01:32:00
    Я действительно хотел бы помочь новому дальше, но я тоже просто увлеченный новичок. Возможно, а я говорю возможно, двойная SD pci карта может подойти для этого? Я заметил, что некоторые из моих серверов Dell имеют такую pci карту. Она дублирует на другой SD. Другой вариант — это pci карта с двойным nvme... Для моего случая (опять же не профессионального) я вытащил DVD-привод и использовал его SATA и питание для SSD, чтобы сохранить мои 8 горячих заменяемых отсеков. Имейте в виду, что это SATA 2, а не SATA 3, но меня интересовали IOPS, а не полная пропускная способность (хотя она довольно близка). Пожалуйста, дайте знать о ваших находках.
     
     
     
    barius
    Guest
    #12
    0
    10.05.2021 16:52:00
    Наконец-то я купил 4 жестких диска по 4 ТБ и 2 SSD по 900 ГБ для Ceph на каждом узле. Я не хотел, чтобы все OSD на одном узле вышли из строя, если вдруг сломается один SSD. Поэтому БД+WAL двух OSD делят один SSD, а БД+WAL двух остальных OSD — другой SSD. Не могу точно сказать, как это работает, потому что только что установил систему (поэтому и ответ задержался), и у меня нет никаких планов по тестированию. Относительно вопроса о разбивке на разделы, разбивать SSD не было необходимости для общего использования с двумя OSD. Ceph управляет этим с помощью LVM — он создает отдельный VG и PV для всего SSD, а затем выделяет необходимое пространство с помощью LV для каждого OSD. Таким образом, с дисками sde и sdf как HDD и sdc как SSD все было просто: Код: sudo pveceph osd create /dev/sde --encrypted 1 --db_dev /dev/sdc
    sudo pveceph osd create /dev/sdf --encrypted 1 --db_dev /dev/sdc
     
     
     
    eduncan911
    Guest
    #13
    0
    18.06.2021 09:21:00
    Делюсь своими $0.02, так как сам тщательно исследовал этот вопрос, будучи новичком, как и многие здесь. Сначала давайте зафиксируем, какое именно оборудование SSD вам нужно для любых журналов (FileStore), block.db, block.wal и т.д., включая просто прямые SSD, добавленные как OSD: нужны Enterprise SSD, и ничего другого. Нет, ваши Samsung 980 Pro M.2 не являются корпоративными дисками, как и ни один другой потребительский диск, который вы использовали — и ваша производительность будет ужасной. Корпоративные SSD — это совершенно другой уровень. В первую очередь, они обладают одной ключевой особенностью, которую вы можете проверить в технических характеристиках вашего SSD — это защита от потери питания. Корпоративные SSD имеют суперконденсаторы, которые обеспечивают питание устройству на короткий срок после отключения питания, чтобы успеть записать всё в очередь на диск до потери питания. Потребительские диски, такие как Samsung 980 Pro M.2, используют журнал транзакций. Почему защита от потери питания важна для производительности кластера CEPH как поддерживающего диска или block.db? Потому что CEPH сразу же запускает flush/f-sync после каждой записи. Корпоративный диск подтвердит этот f-sync мгновенно, не дожидаясь завершения записи, так как у него есть суперконденсатор, который гарантирует записи. В то время как потребительские SSD, такие как Samsung 980 Pro M.2, этого не сделают — они сначала запишут всё на NAND, а затем подтвердят. Эта незначительная разница в обработке f-sync имеет ключевое значение для производительности CEPH и может повысить производительность в 10–30 раз. У вас ужасные IOPS или пропускная способность в кластере Ceph? Скорее всего, это причина, если только ваше устройство block.db не слишком маленькое. Для справки, вы можете купить недорогие корпоративные диски на eBay. Я купил более десятка Samsung PM883 240GB по $30 за штуку (обычно около $50), подождав почти 6 месяцев, чтобы поймать выгодную сделку. Есть также старые PM863 и много SSD Intel DC. Даже SATA2 3Gb/s диски подойдут, так как вам нужны IOPS и реакция на f-sync, а не столько пропускная способность. Кстати, лучше брать небольшие диски, такие как 240GB. Читайте дальше, чтобы узнать почему. Теперь несколько фактов из официальной документации CEPH, связанных с провайдером BlueStore (предполагаю, что все здесь используют BlueStore). Цитата с страницы для уточнения относительно DB/WAL: нам нужно указать только устройство block.db. Что касается размеров... На самом деле, документация CEPH рекомендует: для нагрузок RGW, то есть RADOS Gateway, то есть AWS S3, вам нужно не менее 4% от общего объема поддерживающего блока. Если вы действительно в затруднительном положении и вам действительно нужен RGW, но вы не можете позволить себе корпоративные SSD для устройств block.db, вы можете обойтись меньшими размерами, 1-2% от размера блока, и использовать кэш данных RGW. Это, в любом случае, мой план, если мне когда-либо понадобится RGW. Да, это верно. Я взял этот факт, комбинировал его с требованием 2% размера для корпоративных SSD (без RGW) и максимальным числом OSD, которые может установить шасси (8x горячая замена), и пришел к своей формуле: 4 диска по 4TB (расширяемых до 6) и 2 по 240GB корпоративных SSD (по 80GB на каждый block.db). При 2% от 4TB это 80GB раздел. 240GB / 80GB = 3 раздела на каждый SSD. Так что 2 по 240GB SSD позволяют мне установить 6 HDD по 4TB в шасси. Учитывая, что я собираю 3 шасси, и у меня уже есть 12 HDD по 4TB, это подходит мне. Также я мог бы поменять 8-слотовое шасси Supermicro на 12-слотовое и получить в итоге 9 HDD по 4TB с 3 SSD по 240GB. Идеальная математика и возможность расширения. Есть еще один факт о резервировании, скрытый в этом наборе: если я потеряю один SSD, это значит, что я потеряю только 2 OSD (или 3 OSD, если расширюсь до 6 дисков). Поэтому я выбрал 240GB, а не 480GB — ну, и из-за стоимости! Для ясности: я специально купил 2 по 240GB вместо одного 480GB, так как планирую разделить 240GB на 2 раздела по 80GB, оставив 80GB для будущих добавленных 4TB. Кроме того, сделка на 240GB была отличной, и два диска обошлись намного дешевле, чем один 480GB. Так что выиграл везде. Системы, узлы и потребности у всех разные. Делайте расчеты (2% без использования RGW, 4%, если используете RGW — или больше для тяжелых нагрузок или при использовании кэша RGW). Я буду настраивать их на Nextcloud для обмена фотографиями/документами/доступом к диску внутри сети. Некоторые из вас могут сказать: "Но вам обязательно нужно использовать RGW с NextCloud, это для этого и предназначено, через S3 интерфейс!" На самом деле, мой случай использования — это их 40+ лет оцифрованных фотографий и старых видео, уже организованных в огромной коллекции. NextCloud не имеет никакой структуры/папок и т.д. в своем S3 бэкенде, сбрасывая всё в корневую папку с неясными названиями. Поэтому это прямое объектное хранилище файловой системы, а не S3. — Помните одно последнее: BlueStore будет по умолчанию предпочитать записи на устройство block.db и f-sync. Однако бывают случаи, когда BlueStore совсем обходится без вашего block.db и идет сразу к поддерживающему устройству. Если я правильно помню, это касается, например, стриминга.
     
     
     
    eduncan911
    Guest
    #14
    0
    18.06.2021 09:30:00
    Насколько я прочитал, все верно. Однако вы можете установить Debian и разделить диски, как вам угодно. Главное, чтобы вы могли представить разделы как сырые блочные устройства для Proxmox, и все будет в порядке. Лично я отказался от RAID1/ZRAID1 на своих ОС-дисках. Теперь я рассматриваю серверы скорее как скот, а не как домашних животных. У меня настроен Ansible для моих машин, так что если ОС-диск выходит из строя, все, что мне нужно сделать, это установить Proxmox и запустить свои сценарии Ansible. В прошлом этот процесс занимал около 15 минут с начала до конца. Это также освобождает один порт SAS/SATA. *намек* *намек* ;-) Следующий шаг — настроить PXE и назначить конфигурации по MAC-адресу для автоматического развертывания при включении машины. Священный Грааль автоматизации: заменить SSD, включить сервер, PXE-загрузка видит, что у машины нет ОС, и автоматически начинает установку. Обычно вы не используете RAID/RAID1 для вашего WAL/DB блочного устройства. Для этого предназначена репликация Ceph, чтобы обеспечить наличие полной копии блока на другом узле. Вы также можете иметь несколько пулов (с разными OSD) с различными уровнями репликации. И сверху вы получите резервные копии/различия блочных устройств. Производительность... Если вы используете SSD корпоративного класса (см. мой предыдущий пост), производительность должна быть на уровне.
     
     
     
    b.miller
    Guest
    #15
    0
    21.03.2022 13:04:00
    Где вы храните Prox OS на сервере?
     
     
     
    FarVision
    Guest
    #16
    0
    19.12.2022 17:52:00
    Это самое полезное сообщение для меня: я пытался добавить жесткие диски OSD к SSD БД/журналу, потратив, вероятно, 4 часа на исследования и пропуская сквозь годы неактуальной информации, которая бродит в интернете. Мне понадобилось время, чтобы понять, почему графический интерфейс Proxmox не справляется с этой задачей. Ручное создание разделов и прочая чепуха могут быть на 100% предотвращены этой одной строчкой кода. Если бы только устаревшие данные старше года можно было навсегда удалить из интернета. Дополнительные баллы для pveceph за автоматическое управление размером БД и метками дисков. Теперь я могу взять SSD для моих других узлов. Спасибо за это!
     
     
     
    FarVision
    Guest
    #17
    0
    18.01.2023 19:16:00
    Я записывал это в блокноте, но не могу найти! Это было довольно умно. Что-то вроде 'обработка /dev/sdb xxxxxGiB, используя 256GiB на /dev/sda для db/wal', с кучей другой технической информации. Не нужно было указывать размеры для чего-либо, всё настроено автоматически. Так что, если у вас был 1TB OSD, например, это выдавало бы 200GiB, а для 2TB получится около 280. Это из памяти, но я помню, что 4 OSD по 2TB помещались на один SDD на 1TB с запасом в 50 мегов. Представления не имею, что будет, если превысить. К сожалению, у меня больше нет свободного SDD, чтобы попробовать и протестировать - теперь всё настроено.
     
     
     
    Otter7721
    Guest
    #18
    0
    29.01.2023 10:13:00
    Я оцениваю VMware vSphere и Proxmox VE. Думаю, связь между OSD и DB/WAL в Ceph может быть очень похожа на группу дисков в vSAN. Как только кеш-диск выходит из строя, вся группа дисков перестает работать. Есть один очень запутанный момент в Ceph. Какова связь между Cache Tiering и DB/WAL в BlueStore? Если в настоящее время нужно построить кластер HCI, какой метод следует использовать для работы с смешанными дисками SSD и HDD?
     
     
     
    ggagnidze
    Guest
    #19
    0
    18.01.2023 19:04:00
    Можешь показать структуру разделов db/way? Просто интересно. Спасибо.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры