Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Медленная операция Ceph

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Медленная операция Ceph, Proxmox Виртуальная Среда
     
    kacper.adrianowicz
    Guest
    #1
    0
    16.01.2026 07:26:00
    Привет! У меня есть кластер из 3 узлов с 2 x Kioxia 1,92TB SAS Enterprise SSD. Операции с диском на виртуальных машинах идут очень медленно. Сетевая конфигурация следующая: у каждого узла есть 1 x 1Gb NIC для публичной сети Ceph (это же сеть, что и для самого Proxmox) и 1 x 10Gb NIC для сети кластера Ceph. Я не эксперт в Ceph и не могу понять, в чём проблема. Читал, что дело может быть в том, что у меня для публичной сети Ceph используется 1Gb NIC, которая также задействована Proxmox. Это предположение верное? Нужно ли иметь отдельный 10Gb NIC для публичной сети Ceph? Должен ли этот NIC быть отдельным от сети кластера Ceph или может быть один и тот же? Ниже конфигурация Ceph:

    [global]
       auth_client_required = cephx
       auth_cluster_required = cephx
       auth_service_required = cephx
       cluster_network = 10.99.99.10/27
       fsid = 6eb06b21-c9f2-4527-8675-5dc65872dde9
       mon_allow_pool_delete = true
       mon_host = 10.0.5.10 10.0.5.11 10.0.5.12
       ms_bind_ipv4 = true
       ms_bind_ipv6 = false
       osd_pool_default_min_size = 2
       osd_pool_default_size = 3
       public_network = 10.0.5.10/27

    [client]
       keyring = /etc/pve/priv/$cluster.$name.keyring

    [client.crash]
       keyring = /etc/pve/ceph/$cluster.$name.keyring

    [mon.g-srv-01]
       public_addr = 10.0.5.10

    [mon.g-srv-02]
       public_addr = 10.0.5.11

    [mon.g-srv-03]
       public_addr = 10.0.5.12
     
     
     
    kacper.adrianowicz
    Guest
    #2
    0
    04.02.2026 06:28:00
    Всем привет! Я перевёл публичную сеть на ту же 10Gbit сеть, что и кластерную. Наткнулся на отличный пост на форуме с пошаговой инструкцией, как сделать это безопасно:

    Тема "ceph changing public network", 6 декабря 2022

    Привет, ребята!

    Такое дело — хочу поменять публичную сеть Ceph. Почитал по этому поводу много информации, и перед тем как "тестировать" это в продакшене ;-) сделал виртуальную тестовую среду. И, честно говоря, меня это обрадовало — всё оказалось довольно просто, хочу здесь проверить свои выводы...

    Виртуальный кластер был таким:

    - 3 х pve 7.3 хоста
    - 2 сети на 2 сетевых интерфейса
    - Ceph Octopus
    - 3 OSD на каждый нод  
     ceph cluster network 10.10.10.1/24  
     ceph public network 10.0.0.1/24  
    Мониторы изначально на 10.0.0.1/24.

    Создал одну VM после настройки кластера и подключил её к RBD. Внутри VM запустил бесконечный цикл, чтобы мониторить дисковый ввод-вывод...

    daviditty ceph change public network  
    Ответов: 8  
    Форум: Proxmox VE: Установка и настройка

    Результаты такие:  
    Основная VM, тест CrystalDiskMark показал:  
    (здесь скриншот)  

    После перехода на 10Gbit публичную сеть:  
    (здесь скриншот)  

    Выглядит намного лучше. Но всё равно не идеально. Как только я запустил бэкап VM, её производительность резко упала. Очень сильно. Во время бэкапа SQL-соединение с этим сервером стало очень, очень медленным, и часто обрывалось...

    На Ceph никаких предупреждений нет, OSD выглядят нормально:  
    (здесь скриншот)  

    Но вся VM тормозит (во время бэкапа). Скорость самого бэкапа тоже очень медленная:  
    (здесь скриншот)  

    И задержка на дисках в VM иногда поднимается до нескольких тысяч миллисекунд.

    Что ещё можно сделать, чтобы улучшить стабильность и производительность?
     
     
     
    devaux
    Guest
    #3
    0
    04.02.2026 09:43:00
    Вы создали разные VLAN для публичной и кластерной сети? Установили MTU на сетевой карте и коммутаторе в 9000? Один или два коммутатора для Ceph? MLAG? Сеть гостевых виртуальных машин тоже на коммутаторе(ах) Ceph?
     
     
     
    aaron
    Guest
    #4
    0
    04.02.2026 09:46:00
    На это могут быть и другие причины, не связанные напрямую с Ceph. Как вы делаете резервные копии и какое у вас место для резервного хранения?
     
     
     
    spirit
    Guest
    #5
    0
    04.02.2026 12:06:00
    Если ваше резервное хранилище медленное (или если у вас ограничена пропускная способность сети), это может замедлять запись виртуальной машины во время резервного копирования, если блок еще не сохранен. (Это не связано с Ceph, так происходит с любым типом хранилища.) Вы можете попробовать включить опцию fleecing в дополнительных настройках планирования резервного копирования и выбрать ваше Ceph-хранилище (или другое быстрое хранилище), чтобы оно работало как буфер записи между вашими виртуальными машинами и сервером резервного копирования во время копирования.
     
     
     
    kacper.adrianowicz
    Guest
    #6
    0
    04.02.2026 15:10:00
    @devaux Публичная и кластерная сети сейчас используют одну и ту же 10Gb NIC, а MTU VLAN на NIC и коммутаторе сейчас по умолчанию 1500. Все подключены к одному коммутатору, без MLAG, и да, все ВМ тоже подключены к тому же агрегирующему коммутатору. @aaron Я пробовал делать резервное копирование вручную, и оно идёт на NAS, который подключён к тому же коммутатору через 10Gb NIC. @spirit Не думаю, что дело в этом — 10Gb достаточно. Я это поменял, и завтра посмотрим, что из этого вышло.
     
     
     
    aaron
    Guest
    #7
    0
    04.02.2026 15:23:00
    Ну тогда возникает вопрос, насколько быстро этот NAS сможет записывать резервные данные. Как отметил @spirit, медленная целевая точка для бэкапа может повлиять на работающую виртуальную машину. Опция fleecing в настройках задания резервного копирования может помочь, если разместить её на быстром хранилище в кластере. Например, на хранилище Ceph RBD.
     
     
     
    kacper.adrianowicz
    Guest
    #8
    0
    04.02.2026 15:25:00
    @aaron — я разместил это на ceph-storage. Какие настройки мне нужно проверить или изменить в ceph-pool, конфигурации виртуальной машины и прочем, чтобы убедиться, что я использую правильные параметры? Я читал про KRBD на ceph-pool, write-cache на виртуалке, отключение RAM ballooning и все остальные настройки.
     
     
     
    GeraldS
    Guest
    #9
    0
    04.02.2026 16:01:00
    Попробуйте увеличить это значение до 9000, если ваш коммутатор поддерживает. При моих первых тестах на наших 100GBit каналах это почти втрое увеличило пропускную способность.
     
     
     
    aaron
    Guest
    #10
    0
    04.02.2026 16:48:00
    Опция "fleecing" входит в настройки задания резервного копирования: DC → Backups. В расширенных настройках заданий резервного копирования.
     
     
     
    devaux
    Guest
    #11
    0
    05.02.2026 11:50:00
    Вижу, где можно улучшить — MTU 9000, разные VLAN для Public, Cluster и VM-Guest-Network. Ceph нужно вывести на отдельный коммутатор. Для надёжности и скорости с дополнительной настройкой MLAG. Также аппаратное разгрузка на коммутаторе может помочь. Думаю, с первыми двумя шагами можно получить прибавку в скорости и при этом не понадобиться дополнительное оборудование.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры