Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Кластер Proxmox с локальными серверами Gluster.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Кластер Proxmox с локальными серверами Gluster., Proxmox Виртуальная Среда
     
    FrancisS
    Guest
    #1
    0
    25.04.2022 17:14:00
    Привет, моя цель — использовать gluster для реализации очень простого реплицированного локального хранилища (вроде VMWare vsan). У меня кластер Proxmox с узлами node1 и node2 и некоторыми локальными дисками. Я установил gluster server на каждом узле и создал gluster volume (distributed/replicated) с локальными дисками. Теперь я хочу смонтировать gluster volume на node1 из "localhost" с node2 в качестве резерва и на node2 из "localhost" с node1 в качестве резерва. Но из GUI Proxmox я могу указать localhost как основной сервер, но для резерва я могу указать node1 ИЛИ node2. Если я укажу node1 как резерв, это нехорошо для node1, резерв должен быть node2, та же проблема для node2, если я укажу node2. Возможен какой-то обходной путь? Я смонтировал gluster volume из "/etc/fstab" и создал из GUI Proxmox общий "directory" storage. С уважением, Francis.
     
     
     
    imran.tee
    Guest
    #2
    0
    18.10.2022 06:24:00
    Привет, FrancisS! Планирую использовать GlusterFS как общее хранилище. Не мог бы ты подсказать что-нибудь о производительности GlusterFS? Ты используешь iSCSI поверх GlusterFS?
     
     
     
    FrancisS
    Guest
    #3
    0
    18.10.2022 08:42:00
    Привет, imran.tee! Производительность GulsterFS зависит от твоего диска, пропускной способности сети, количества узлов и т.д. Вообще говоря, у тебя всё хорошо с производительностью. ISCSI поверх GlusterFS – нет, но зачем? Для GlusterFS тебе не нужен iSCSI, а для iSCSI тебе не нужен GlusterFS. С iSCSI ты можешь быть Target (сервером) или Initiator (клиентом). Для Proxmox ты чаще всего являешься Initiator, то есть сетевым клиентом iSCSI Target (сетевого сервера). iSCSI как будто у тебя есть локальные диски, поэтому поверх них ты создаёшь раздел/файловую систему, LVM, LVM/файловую систему и т.д. Для GlusterFS у тебя на серверах Proxmox есть локальные диски, поверх этих дисков ты создаёшь кирпичи (файловые системы), а из кирпичей создаёшь файловые системы GlusterFS для всех узлов Proxmox. Ты можешь использовать локальные диски iSCSI для GlusterFS, но у тебя получится сетевая GlusterFS поверх сетевого iSCSI, так что какая производительность? Ты можешь сделать GlusterFS и экспортировать файлы как iSCSI Target, но зачем? В моей тестовой среде у меня:
    - Локальные диски с GlusterFS томом, который совместно используется на двух узлах.
    - iSCSI хранилище, которое совместно используется на двух узлах, с общим LVM и GFS2.

    С уважением,
    Francis
     
     
     
    imran.tee
    Guest
    #4
    0
    18.10.2022 11:11:00
    Привет, Фрэнсис! Спасибо большое за ответ. Я ищу подходящее решение для хранения данных с хорошей производительностью и возможностью репликации/резервирования. У меня есть один сервер для Proxmox и два сервера для хранения данных. Ищу экспертные советы.

    Конфигурация Proxmox-сервера:
    Dell PowerEdge R650 Rack Server
    64 ядра: 2x Intel Xeon Gold 6338
    RAM: 512GB
    HDD: 2 TB
    SSD: 2x960GB SATA SSD
    4x10G SFP+
    2x1G Ethernet порт

    Два Storage Server:
    Dell PowerEdge R730xd
    2x10Core v3
    32GB Ram DDR4
    2x1TB SSD (Для ОС)
    10x4TB SSD (Для Данных)
    4x10G SFP+
    2x1G Ethernet порт

    Я пробовал GlusterFS с репликой 2 и арбитром 1, как с HW RAID10, так и с ZFS RAID10. IOPS варьируется от 10 до 20K, а BW — от 30 до 70 MB/s. Я также настроил iSCSI поверх HW RAID и получил IOPS 40-70K и BW 140-280 MB/s.
     
     
     
    FrancisS
    Guest
    #5
    0
    18.10.2022 12:58:00
    Привет, полагаю, ты используешь два Storage Server (SS) для Gluster-серверов и Proxmox Server (PS) в качестве клиента Gluster, и у тебя есть bond 2x10Gb back to back для SS и ещё один bond 2x10Gb для подключения через коммутатор PS. Для Gluster не используй аппаратный RAID, Gluster имеет свой собственный RAID1. Положи 10 дисков по 4TB в JBOD, на каждом диске создай файловую систему Gluster brick и из этих brick-ов создай распределённый/реплицированный Gluster volume. Реализовать кластер iSCSI (вроде хранилища) с двумя серверами — это много работы. С наилучшими пожеланиями. Francis PS: Возможно наличие 3 PSS Proxmox/Storage Servers, тогда будет и избыточность хранилища, и избыточность гипервизора, но для этого понадобятся 3 "одинаковых" сервера.
     
     
     
    imran.tee
    Guest
    #6
    0
    18.10.2022 19:34:00
    Привет, Фрэнсис! Я планировал использовать 2 хранилища (SS) в качестве кирпичей данных и партицию узла Proxmox (PS) в качестве арбитра, чтобы избежать ситуации "split-brain". Я понятия не имел, что Gluster может осуществлять прямой доступ к диску. Все те туториалы, которым я следовал, предполагали настройку Gluster поверх другой файловой системы. Ладно, попробую с JBOD, хотя у меня нет опыта работы с JBOD. Спасибо. С уважением, Имран.
     
     
     
    FrancisS
    Guest
    #7
    0
    02.01.2024 15:24:00
    Зубин, >> Gluster не любит аппаратный RAID? Даже если файловая система, на которой он работает, — XFS? Аппаратный RAID не обязателен, Gluster сам управляет RAID в вашем случае с 3 репликами (то же самое, если используете zfs, btrfs, lvm raid). Вам нужны 2 коммутатора, чтобы избежать точки отказа. Если единственный коммутатор выйдет из строя ("то же самое" и при необходимости перезагрузки после обновления) — все ВМ упадут. С уважением, Фрэнсис.
     
     
     
    FrancisS
    Guest
    #8
    0
    19.10.2022 08:37:00
    Привет, Имран! Gluster не может получить прямой доступ к диску, он поверх другой файловой системы. Тебе нужно:

    - настроить 10 дисков на 4ТБ каждый в JBOD,
    - положить эти 10 дисков в Volume Group,
    - создать Logical Volume на каждом из 10 дисков (1LV -> 1DD),
    - создать файловую систему (ext4/xfs) на каждом из 10 Logical Volume и использовать эти файловые системы (bricks) для...
    - создать распределенный/реплицированный Gluster Volume.

    - Ты использовал только кэш аппаратного RAID-контроллера.

    С наилучшими пожеланиями,
    Francis
     
     
     
    imran.tee
    Guest
    #9
    0
    19.10.2022 17:18:00
    Добавление дополнительного слоя LVM не повлияет на производительность?
     
     
     
    FrancisS
    Guest
    #10
    0
    20.10.2022 08:14:00
    Привет, Имран! Ну да, конечно, но не очень много, и у тебя есть возможности LVM: изменение размера диска, увеличение размера LVM, перемещение данных онлайн и т.д. Если будет время сравнить с LVM и без него — давай сравнивай. С наилучшими пожеланиями, Франсис.
     
     
     
    Zubin Singh Parihar
    Guest
    #11
    0
    31.12.2023 10:00:00
    Привет всем! Хочу уточнить кое-что, возможно, по поводу настройки... Судя по вашему описанию, вы можете создать Proxmox Hyper-converged GlusterFS систему на системе с аппаратным RAID. Я правильно понимаю? Я думаю о следующем сценарии:

    3 x Dell R720 PERC HARDWARE RAID
    2x256 GB SSD -- Proxmox OS (Raid1)
    6X1TB SSD -- GlusterFS Brick (каждый XFS format)
    2x10GB NIC -- Gluster Traffic and VM Traffic
    4X1GB NIC -- Management Network
    Политика репликации 3

    Каждый 1TB отформатирован с использованием XFS, потому что он не поддерживает сырые диски, верно? Это будет работать? Кажется, это проще, чем Hyper-converged CEPH... Делитесь своими мыслями...
     
     
     
    FrancisS
    Guest
    #12
    0
    01.01.2024 10:53:00
    Привет, Зубин! Да, работает. Проблема в том, что узел выключается, Gluster корректно не останавливается на Debian (сейчас не проверял, решена ли проблема). >> Каждый терабайт отформатирован с XFS, потому что сырой диск не используется, верно? Да и не используй аппаратный RAID для GlusterFS. >> Кажется, система проще, чем CEPH Hyper-converged... Нет, обе просты, преимущество Ceph HCI — интеграция через GUI. С наилучшими пожеланиями, Фрэнсис.
     
     
     
    FrancisS
    Guest
    #13
    0
    01.01.2024 13:15:00
    Зубин, для сети у тебя есть 2 коммутатора (10G/1G) или 2 коммутатора (10G), 2 коммутатора (1G). Хранилище, миграция памяти VM, VM production, HA (Bond 2x10G), управление HV и VM, HA (Bond 4x1G) или Хранилище, миграция памяти VM, HA (Bond 2x10G), управление HV и VM, HA (Bond 2x1G), VM production (Bond 2x1G). Тебе нужны 2 HA-сети, я предпочитаю +10G выделенную сеть для хранилища (и миграцию памяти для больших VM) без VM production.
     
     
     
    Zubin Singh Parihar
    Guest
    #14
    0
    01.01.2024 23:35:00
    Gluster не очень-то любит аппаратный RAID? Даже если файловая система, на которой он работает, — XFS?
     
     
     
    Zubin Singh Parihar
    Guest
    #15
    0
    01.01.2024 23:38:00
    У меня есть 1 x 10-гигабитный Switch и 1 x 1-гигабитный Switch. Спасибо за эти рекомендации. Посмотрим, как приобрести ещё 2 таких же Switch этого бренда.
     
     
     
    Dark26
    Guest
    #16
    0
    05.01.2024 15:30:00
    Раньше я использовал glusterfs с proxmox, когда можно было запускать lxc на этом хранилище. Больше нельзя. Но это не единственная причина. Gluster для работы с ВМ работает нормально, но могут возникнуть проблемы, если придется перезагрузить glusterfs-сервер, например, для обновления ядра. Представь, у тебя есть ВМ с диском на 50 ГБ. В течение времени перезагрузки образ ВМ (qcow/raw) меняется, и весь файл нужно "вылечить" — всего 50 ГБ. Это может занять некоторое время… Если все ВМ выключены перед перезапуском glusterfs-сервера — проблем нет, но может возникнуть проблема, если не удастся выключить все ВМ. С Ceph только блоки, которые изменились, "вылечиваются", так что, возможно, придется восстановить всего несколько мега/гигабайт, максимум. Это быстрее. Для меня Glusterfs не подходит для ВМ, но для обычных файлов, например, для samba-шары, он очень хорош, я все еще использую его между моими двумя NAS.
     
     
     
    Tmanok
    Guest
    #17
    0
    08.02.2024 00:17:00
    @Dark26 GlusterFS – это избыточность на уровне томов, я думал, что это достигается зеркалированием блоков, а не файлов, но похоже, мое понимание было неверным... Похоже, это довольно серьезная причина избегать GlusterFS в качестве гипервизора, но при этом он отлично совместим с Proxmox Backup Server. Ирония в том, что PBS не поддерживает никаких GUI-опций для монтирования GlusterFS, возможно, я что-то упускаю. Всего доброго, Tmanok
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры