Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [РЕШЕНО] Кластер CEPH в Proxmox

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [РЕШЕНО] Кластер CEPH в Proxmox, Proxmox Виртуальная Среда
     
    noname01
    Guest
    #1
    0
    06.02.2024 11:26:00
    Привет! Чтобы сразу было понятно, у меня есть кластер Proxmox с 3 узлами и кластер Ceph с 3 узлами. Все работает отлично и независимо друг от друга. Но, прежде чем связывать Ceph-кластер и Proxmox (через CephFS), я хочу, чтобы клиент (Linux/Windows) мог использовать Ceph как сетевое хранилище. Я пытался это сделать, но на Linux получаю одни ошибки. На Windows установил Dokan и софт Ceph, но тоже не работает — одни сплошные ошибки. Не могу найти свежий туториал после 2022 года, так что вот мой вопрос: реально ли это сейчас? Если да, и вы готовы помочь, скажите, нужны ли вам логи, сообщения об ошибках, что-то еще... Спасибо!
     
     
     
    VizerDown
    Guest
    #2
    0
    25.02.2024 16:44:00
    Какие преимущества в этом, по сравнению с тем, чтобы просто дать виртуальной машине Ceph block drive и поделиться им через NFS? Сейчас у меня есть Open Media Vault сервер, который выдает NFS с блочным хранилищем. Хотел избавиться от OMV и просто делиться напрямую через CephFS. На самом деле, изучал, как это сделать, но похоже, что я могу внести некоторые сложности, которые не стоят того.
     
     
     
    sb-jw
    Guest
    #3
    0
    25.02.2024 16:52:00
    Вопрос здесь в том, что вы сейчас делаете с NFS-шарой и чего ожидаете от CephFS. Также важно, что вы планируете делать с ней в будущем. CephFS реализован непосредственно в CEPH, поэтому не требуется никаких дополнительных сервисов или VM между ними. Однако у него есть и недостатки, например, он не подходит для большого количества маленьких файлов; есть определенный лимит примерно в 100 000 файлов, который лучше не превышать. Идеально подходит для шаринга ISO, образов VM и т.д. Даже если вы запускаете веб-серверную ферму и храните там директорию htdocs, это все еще может работать. Но если вы начнете строить из этого файловый сервер или хотите делать резервное копирование целых серверов с помощью rsync, то он постепенно начинает тормозить. Можете рассказать подробнее? Потому что CephFS можно на Proxmox VE развернуть буквально за 2 минуты. Вашей VM нужно иметь доступ к CEPH-сети, чтобы это интегрировать. Но это совсем не настолько сложно.
     
     
     
    VizerDown
    Guest
    #4
    0
    25.02.2024 18:05:00
    По сути, нужен файловый сервер. Хочу хранить ISO-образы, образы виртуальных машин, плюс всякие другие файлы. Изображения, видео и т.д. У меня уже был пул, но я не знал, как экспортировать монтирование и как это монтирование будет переключаться, если у меня откажет узел. В общем, как клиенту нужно подключаться. Думаю, проблема в архитектуре. Если узел падает, мне нужно несколько адресов монитора в подключении клиента? Монитор — это то, что фактически обслуживает? Новичок в Ceph.
     
     
     
    RyanMM
    Guest
    #5
    0
    26.03.2024 03:12:00
    Вот где я сейчас. Я полный нуб в Proxmox и вообще не особо сведущ в виртуализации. Играл с Hyper-V и созданием VHDx, но это всё, что я знаю. Думал над тем, как сделать систему хранения с высокой доступностью, и наткнулся на GlusterFS и TrueNAS, но теперь Gluster заброшен, а Ceph кажется самой поддерживаемой платформой для избыточности данных на физических узлах. Но не могу найти нормальной документации о том, как использовать Ceph pool в качестве хранилища для NAS SMB/CIFs. Короче, плюнул и решил попробовать сделать самому. Вставить гифку с собакой, плавающей в космосе.

    Настроил тестовый трехузловой кластер Proxmox VE и сконфигурировал Ceph с минимальным количеством узлов 2 / стандартным 3. У каждого узла по 2 диска, настроенные как Ceph OSDs, и я создал 2 Ceph Pool для разных сценариев использования. Это не будет моей долгосрочной конфигурацией, но я запустил новую виртуальную машину TrueNAS Scale на первом узле, выделил ей пару CPU и половину RAM, и как только я начал разбираться с настройкой, вуаля, два pool появились как хранилище, на котором можно создавать разделы! После того как разобрался, как создавать общие папки на TrueNAS (тоже нуб там), я выделил папку моим Windows машинам и запустил передачу файлов.

    Теперь, чтобы всё пояснить, это не идеальная конфигурация. У этих узлов i5-3570, 16GB DDR3, хост виртуальной машины на SATA SSD, и они подключены через одиночный GbE NIC - так что пока нет выделенного backhaul для Ceph. Но, несмотря ни на что, всё работает. Передача файлов с моей GbE рабочей станции, на TrueNAS VM на Prox1, проходя через кластер Ceph на Prox1-3.

    Дальше я хотел проверить, переживёт ли эта штука какой-нибудь 'катастрофу'. Запустил передачу 5GB файла, а потом отправил команду на выключение Prox3. Скорость передачи упала, но передача продолжилась, и после выключения файл показал совпадающий SHA хеш.

    Так что я очень рад этому. Заказываю пару SFP+ NIC для узлов, и планирую перенести TrueNAS VM на PVE хост, который не является частью Ceph кластера, а затем разобраться с резервным копированием в случае отказа хоста TrueNAS.
     
     
     
    Astraea
    Guest
    #6
    0
    26.03.2024 03:42:00
    @RyanMM, а вот какой у тебя план по поводу долгосрочного решения? Спрашиваю, потому что у меня есть кластер Ceph из 3 узлов, и я бы тоже хотел настроить NFS и CIFS шары, используя Ceph storage pool.
     
     
     
    RyanMM
    Guest
    #7
    0
    26.03.2024 03:56:00
    Я пока ещё дорабатываю идею, всё будет зависеть от того, как всё будет работать, когда я добавлю больше узлов и обеспечу более быструю и выделенную магистраль. Узлы, которые у меня есть, не очень мощные, поэтому мне кажется, что размещать TrueNAS VM на них не имеет смысла. У меня есть старый сервер OCP, который просто зверь по памяти и ядрам, сейчас я использую его для Hyper-V, и думаю, возможно, сделать его ещё одним членом кластера Prox, но использовать только для VM вроде TrueNAS, в сочетании с хорошей магистралью для Ceph-кластера, должно получиться отличным целевым хранилищем для бэкапов. К этому моменту узлам нужно быть просто "глупыми" интерфейсами для дисков для Ceph. Мне ещё нужно понять, как обеспечить переключение TrueNAS VM при необходимости.
     
     
     
    Astraea
    Guest
    #8
    0
    26.03.2024 04:03:00
    Можно использовать функции HA в Proxmox, чтобы ВМ автоматически переключалась на другой узел… Мои резервные каналы сейчас не очень быстрые, так как используются только LCAP bonded 1GB каналы, но для моих нужд работает вполне неплохо, и я планирую перейти на лучшее оборудование, как только у меня будет полный план архитектуры программного обеспечения и я точно буду знать, куда вкладывать деньги в железо. Интересно, есть ли способ смонтировать cephFS напрямую в TrueNAS, как это можно сделать в Debian… хотя я понимаю, что TrueNAS больше похожа на систему-аппаратный комплекс. Или мне стоит сделать что-то вроде Debian 12 и использовать Cockpit или Webmin для NFS и CIFS?
     
     
     
    RyanMM
    Guest
    #9
    0
    26.03.2024 04:08:00
    Я не использую CephFS, насколько я знаю. Монтируется Ceph Pool.
     
     
     
    Astraea
    Guest
    #10
    0
    26.03.2024 04:26:00
    Предполагаю, вы создаете 2 виртуальных диска, один для TrueNAS OS, а другой — для хранения данных.
     
     
     
    RyanMM
    Guest
    #11
    0
    26.03.2024 04:31:00
    Сейчас TrueNAS VM реально находится на SSD основной ОС – это scsi0. Похоже, придется использовать репликацию или что-то в этом роде, чтобы перенести его на другие SSD для отказоустойчивости. Scsi1 – это диск в общем Ceph-хранилище.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры