http://proxmox.su Новое в теме Медленная операция Ceph форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 10 Jun 2026 18:19:57 +0300 Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вижу, где можно улучшить — MTU 9000, разные VLAN для Public, Cluster и VM-Guest-Network. Ceph нужно вывести на отдельный коммутатор. Для надёжности и скорости с дополнительной настройкой MLAG. Также аппаратное разгрузка на коммутаторе может помочь. Думаю, с первыми двумя шагами можно получить прибавку в скорости и при этом не понадобиться дополнительное оборудование.
05.02.2026 11:50:00, devaux.]]> http://proxmox.su/forum/messages/forum63/message446368/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446368/91005-medlennaya-operatsiya-ceph Thu, 05 Feb 2026 11:50:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Опция "fleecing" входит в настройки задания резервного копирования: DC → Backups. В расширенных настройках заданий резервного копирования.
04.02.2026 16:48:00, aaron.]]> http://proxmox.su/forum/messages/forum63/message446367/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446367/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 16:48:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Попробуйте увеличить это значение до 9000, если ваш коммутатор поддерживает. При моих первых тестах на наших 100GBit каналах это почти втрое увеличило пропускную способность.
04.02.2026 16:01:00, GeraldS.]]> http://proxmox.su/forum/messages/forum63/message446366/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446366/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 16:01:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@aaron — я разместил это на ceph-storage. Какие настройки мне нужно проверить или изменить в ceph-pool, конфигурации виртуальной машины и прочем, чтобы убедиться, что я использую правильные параметры? Я читал про KRBD на ceph-pool, write-cache на виртуалке, отключение RAM ballooning и все остальные настройки.
04.02.2026 15:25:00, kacper.adrianowicz.]]> http://proxmox.su/forum/messages/forum63/message446365/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446365/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 15:25:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну тогда возникает вопрос, насколько быстро этот NAS сможет записывать резервные данные. Как отметил @spirit, медленная целевая точка для бэкапа может повлиять на работающую виртуальную машину. Опция fleecing в настройках задания резервного копирования может помочь, если разместить её на быстром хранилище в кластере. Например, на хранилище Ceph RBD.
04.02.2026 15:23:00, aaron.]]> http://proxmox.su/forum/messages/forum63/message446364/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446364/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 15:23:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@devaux Публичная и кластерная сети сейчас используют одну и ту же 10Gb NIC, а MTU VLAN на NIC и коммутаторе сейчас по умолчанию 1500. Все подключены к одному коммутатору, без MLAG, и да, все ВМ тоже подключены к тому же агрегирующему коммутатору. @aaron Я пробовал делать резервное копирование вручную, и оно идёт на NAS, который подключён к тому же коммутатору через 10Gb NIC. @spirit Не думаю, что дело в этом — 10Gb достаточно. Я это поменял, и завтра посмотрим, что из этого вышло.
04.02.2026 15:10:00, kacper.adrianowicz.]]> http://proxmox.su/forum/messages/forum63/message446363/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446363/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 15:10:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если ваше резервное хранилище медленное (или если у вас ограничена пропускная способность сети), это может замедлять запись виртуальной машины во время резервного копирования, если блок еще не сохранен. (Это не связано с Ceph, так происходит с любым типом хранилища.) Вы можете попробовать включить опцию fleecing в дополнительных настройках планирования резервного копирования и выбрать ваше Ceph-хранилище (или другое быстрое хранилище), чтобы оно работало как буфер записи между вашими виртуальными машинами и сервером резервного копирования во время копирования.
04.02.2026 12:06:00, spirit.]]> http://proxmox.su/forum/messages/forum63/message446362/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446362/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 12:06:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На это могут быть и другие причины, не связанные напрямую с Ceph. Как вы делаете резервные копии и какое у вас место для резервного хранения?
04.02.2026 09:46:00, aaron.]]> http://proxmox.su/forum/messages/forum63/message446361/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446361/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 09:46:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы создали разные VLAN для публичной и кластерной сети? Установили MTU на сетевой карте и коммутаторе в 9000? Один или два коммутатора для Ceph? MLAG? Сеть гостевых виртуальных машин тоже на коммутаторе(ах) Ceph?
04.02.2026 09:43:00, devaux.]]> http://proxmox.su/forum/messages/forum63/message446360/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446360/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 09:43:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Я перевёл публичную сеть на ту же 10Gbit сеть, что и кластерную. Наткнулся на отличный пост на форуме с пошаговой инструкцией, как сделать это безопасно:

Тема "ceph changing public network", 6 декабря 2022

Привет, ребята!

Такое дело — хочу поменять публичную сеть Ceph. Почитал по этому поводу много информации, и перед тем как "тестировать" это в продакшене сделал виртуальную тестовую среду. И, честно говоря, меня это обрадовало — всё оказалось довольно просто, хочу здесь проверить свои выводы...

Виртуальный кластер был таким:

- 3 х pve 7.3 хоста
- 2 сети на 2 сетевых интерфейса
- Ceph Octopus
- 3 OSD на каждый нод  
 ceph cluster network 10.10.10.1/24  
 ceph public network 10.0.0.1/24  
Мониторы изначально на 10.0.0.1/24.

Создал одну VM после настройки кластера и подключил её к RBD. Внутри VM запустил бесконечный цикл, чтобы мониторить дисковый ввод-вывод...

daviditty ceph change public network  
Ответов: 8  
Форум: Proxmox VE: Установка и настройка

Результаты такие:  
Основная VM, тест CrystalDiskMark показал:  
(здесь скриншот)  

После перехода на 10Gbit публичную сеть:  
(здесь скриншот)  

Выглядит намного лучше. Но всё равно не идеально. Как только я запустил бэкап VM, её производительность резко упала. Очень сильно. Во время бэкапа SQL-соединение с этим сервером стало очень, очень медленным, и часто обрывалось...

На Ceph никаких предупреждений нет, OSD выглядят нормально:  
(здесь скриншот)  

Но вся VM тормозит (во время бэкапа). Скорость самого бэкапа тоже очень медленная:  
(здесь скриншот)  

И задержка на дисках в VM иногда поднимается до нескольких тысяч миллисекунд.

Что ещё можно сделать, чтобы улучшить стабильность и производительность?
04.02.2026 06:28:00, kacper.adrianowicz.]]> http://proxmox.su/forum/messages/forum63/message446359/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446359/91005-medlennaya-operatsiya-ceph Wed, 04 Feb 2026 06:28:00 +0300 Proxmox Виртуальная Среда Медленная операция Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня есть кластер из 3 узлов с 2 x Kioxia 1,92TB SAS Enterprise SSD. Операции с диском на виртуальных машинах идут очень медленно. Сетевая конфигурация следующая: у каждого узла есть 1 x 1Gb NIC для публичной сети Ceph (это же сеть, что и для самого Proxmox) и 1 x 10Gb NIC для сети кластера Ceph. Я не эксперт в Ceph и не могу понять, в чём проблема. Читал, что дело может быть в том, что у меня для публичной сети Ceph используется 1Gb NIC, которая также задействована Proxmox. Это предположение верное? Нужно ли иметь отдельный 10Gb NIC для публичной сети Ceph? Должен ли этот NIC быть отдельным от сети кластера Ceph или может быть один и тот же? Ниже конфигурация Ceph:

[global]
   auth_client_required = cephx
   auth_cluster_required = cephx
   auth_service_required = cephx
   cluster_network = 10.99.99.10/27
   fsid = 6eb06b21-c9f2-4527-8675-5dc65872dde9
   mon_allow_pool_delete = true
   mon_host = 10.0.5.10 10.0.5.11 10.0.5.12
   ms_bind_ipv4 = true
   ms_bind_ipv6 = false
   osd_pool_default_min_size = 2
   osd_pool_default_size = 3
   public_network = 10.0.5.10/27

[client]
   keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
   keyring = /etc/pve/ceph/$cluster.$name.keyring

[mon.g-srv-01]
   public_addr = 10.0.5.10

[mon.g-srv-02]
   public_addr = 10.0.5.11

[mon.g-srv-03]
   public_addr = 10.0.5.12
16.01.2026 07:26:00, kacper.adrianowicz.]]> http://proxmox.su/forum/messages/forum63/message446358/91005-medlennaya-operatsiya-ceph http://proxmox.su/forum/messages/forum63/message446358/91005-medlennaya-operatsiya-ceph Fri, 16 Jan 2026 07:26:00 +0300 Proxmox Виртуальная Среда