Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Ceph rbd mirror force promote

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Ceph rbd mirror force promote, Proxmox Виртуальная Среда
     
    willybong
    Guest
    #1
    0
    09.01.2025 10:07:00
    Привет всем! Я сейчас настраиваю свою первую конфигурацию Ceph mirror и у меня есть несколько вопросов по её работе. Например, я не уверен, как принудительно продвинуть (force-promote) образ на моем DR-кластере (site-b) в процессе синхронизации. Если судить по документации, в случае сбоя, произошедшего во время синхронизации, операция force-promote продвигает последний полученный DR-кластером снимок. Но, как там и отмечено: "Поскольку этот режим не такой детализированный, как журналирование, перед использованием во время failover необходимо синхронизировать полный дельта между двумя снимками. Любой частично примененный набор дельт будет откачен в момент failover." Когда я пытаюсь force-promote образ, я получаю следующую ошибку:

    Code: root@pve1-b:~# rbd mirror image promote ceph-pool/vm-103-disk-1 --force
    2025-01-09T09:42:40.412+0100 7983d4e006c0 -1 librbd::mirror::snapshot::util:  can_create_primary_snapshot: cannot rollback
    2025-01-09T09:42:40.412+0100 7983d4e006c0 -1 librbd::mirror::snapshot::PromoteRequest: 0x7983b0001d40 send: cannot promote
    2025-01-09T09:42:40.412+0100 7983d4e006c0 -1 librbd::mirror::PromoteRequest: 0x7983b401a810 handle_promote: failed to promote image: (22) Invalid argument
    rbd: error promoting image to primary
    2025-01-09T09:42:40.412+0100 7983d84f1780 -1 librbd::api::Mirror: image_promote: failed to promote image

    Я проверил снимки на моем DR-кластере (site-b) и всегда вижу последний снимок образа там. Я настроил периодические снимки, которые выполняются каждые 3 минуты. На основном кластере (site-a) я всегда сохраняю последние 5 снимков, а на DR-кластере (site-b) сохраняется только самый последний. Я предполагаю, что этот последний снимок перезаписывается в процессе синхронизации.

    Мой основной вопрос: как Ceph обрабатывает продвижение образа, когда данные ещё не были полностью получены на DR-кластере (site-b)?

    Спасибо!

    С уважением.
     
     
     
    KevinS
    Guest
    #2
    0
    10.01.2025 13:34:00
    Привет, у нас также есть страница в Вики о Ceph Mirroring[0], если сайт A все еще доступен, сначала нужно понизить его статус: [0] https://pve.proxmox.com/wiki/Ceph_RBD_Mirroring#Failover_Recovery
     
     
     
    willybong
    Guest
    #3
    0
    10.01.2025 14:31:00
    Привет, @KevinS, спасибо за ответ. В плановом переключении система работает отлично. Но проблема, с которой я сталкиваюсь, возникает в сценарии восстановления (при отсутствии связи между site-a и site-b, как в сценарии аварийного восстановления), там могут быть незавершенные процессы синхронизации. В результате, полная копия может быть не полностью доступна на site-b. Поэтому, когда я пытаюсь принудительно активировать образ (диск VM), команда возвращает ошибку, о которой я упоминал ранее. В целом, во время сценария катастрофы я не могу гарантировать, что все процессы синхронизации будут полностью завершены. Сообщение в выводе, "невозможно откатить", заставляет меня думать, что Ceph не имеет точки восстановления для возврата к предыдущему снимку. Судя по наблюдениям, Ceph RBD mirror в режиме снимков хранит по умолчанию 5 снимков на site-a и 1 снимок на site-b (сайт восстановления). Однако, если я прерываю процесс инкрементной синхронизации единственного снимка на site-b, образ становится недоступен, даже если я использую promote --force. Я правильно понимаю, что происходит? Надеюсь, я был максимально понятен. Спасибо.
     
     
     
    willybong
    Guest
    #4
    0
    10.01.2025 17:27:00
    Привет, @KevinS, хотел поделиться с тобой своими находками: когда я пытаюсь принудительно продвинуть снимок, который на 88% скопирован и все еще находится в состоянии синхронизации, процесс принудительного продвижения зависает. Пожалуйста, смотри ниже номер снимка 1247065.

    Code: Image: vm-103-disk-0
    Snapshots:
    SNAPID   NAME                                                                                           SIZE    PROTECTED  TIMESTAMP                 NAMESPACE                                                
    1247064  .mirror.non_primary.0e0c83ba-b709-4bf9-832d-013ca194b00e.fff33483-93fa-4923-8240-6ca810a68744  21 GiB             Fri Jan 10 16:54:01 2025  mirror (non-primary peer_uuids:[] a946fac3-067c-47c1-a80c-05187eb77a30:431652 copied)
    ----------------------------------------
    Image: vm-103-disk-1
    Snapshots:
    SNAPID   NAME                                                                                           SIZE   PROTECTED  TIMESTAMP                 NAMESPACE                                                  
    1247059  .mirror.non_primary.ab2549b1-78bc-48f5-be58-85cdc470b3ae.3bb6f0ff-b22d-4d6b-b210-2f30edbbc011  5 GiB             Fri Jan 10 16:51:00 2025  mirror (non-primary peer_uuids:[] a946fac3-067c-47c1-a80c-05187eb77a30:431647 copied)
    1247065  .mirror.non_primary.ab2549b1-78bc-48f5-be58-85cdc470b3ae.2f65824c-f6bc-49f9-9982-c4804fa9a0e1  5 GiB             Fri Jan 10 16:54:01 2025  mirror (non-primary peer_uuids:[] a946fac3-067c-47c1-a80c-05187eb77a30:431653 88% copied)
    ----------------------------------------
    Image: vm-104-disk-0
    Snapshots:
    SNAPID   NAME                                                                                           SIZE    PROTECTED  TIMESTAMP                 NAMESPACE                                                
    1247066  .mirror.non_primary.04c18313-1f08-4343-89dd-b236a6e3937a.97d6f893-aa52-4d16-a951-cd9c3410711b  21 GiB             Fri Jan 10 16:54:01 2025  mirror (non-primary peer_uuids:[] a946fac3-067c-47c1-a80c-05187eb77a30:431654 copied) Эта команда полностью зависла.
    Code: rbd mirror image promote ceph-pool/vm-103-disk-1 --force
    Я пытался поймать проблему:
    Code: subprocess.run(promote_command, check=True, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
     File "/usr/lib/python3.11/subprocess.py", line 550, in run
       stdout, stderr = process.communicate(input, timeout=timeout)
                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
     File "/usr/lib/python3.11/subprocess.py", line 1199, in communicate
       self.wait()
     File "/usr/lib/python3.11/subprocess.py", line 1262, in wait
       return self._wait(timeout=timeout)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^
     File "/usr/lib/python3.11/subprocess.py", line 1997, in _wait
       (pid, sts) = self._try_wait(0)
                    ^^^^^^^^^^^^^^^^^
     File "/usr/lib/python3.11/subprocess.py", line 1955, in _try_wait
       (pid, sts) = os.waitpid(self.pid, wait_flags)
                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    KeyboardInterrupt
    Это очень критическая ситуация, потому что если у меня произойдет disaster в site-a и связь между site-a и site-b не работает, я не смогу продвинуть site-b. Надеюсь, я был максимально понятен.
    Спасибо, до свидания.
     
     
     
    pauloh5
    Guest
    #5
    0
    12.03.2025 05:35:00
    У меня та же проблема. Вот моя ситуация: у меня есть два кластера Ceph, называемых "main" и "secondary". Я создал образ rbd с именем my-pool/test и включил зеркалирование в режиме снапшота. Я смонтировал образ и записал 1 ГБ данных с помощью sudo dd if=/dev/zero of=/dev/rbd0 bs=1M count=1024. Я отмонтировал образ и создал зеркальный снапшот с rbd mirror image snapshot my-pool/test. Пока зеркальный снапшот синхронизировался, я выключил сервер "main". Я продвинул образ на кластере "secondary" с помощью rbd mirror image promote my-pool/test --force. Команда продвижения зависла или произошла ошибка core dumped. Мне кажется, что цель rbd mirroring – аварийное восстановление. Однако в реальном сценарии катастрофы отказ может произойти в любое время, даже во время синхронизации образа. В этом случае образ становится недоступен. Мне кажется вполне вероятным продвижение образа с предыдущего зеркального снапшота, пока последний зеркальный снапшот все еще синхронизируется, есть ли такая возможность?
     
     
     
    david_tao
    Guest
    #6
    0
    12.03.2025 10:14:00
    Возможно ли создавать несколько версий снимков, а затем продвигать определенную версию снимка? Согласно https://docs.ceph.com/en/squid/rbd/rbd-mirroring/#rbd-mirroring

    --------------------------------------------------------------------------------------------------------------------------------------------

    Например:

    $ rbd --cluster site-a mirror image snapshot image-pool/image-1

    По умолчанию для каждого образа создается до 5 зеркальных снимков. Самый свежий зеркальный снимок автоматически удаляется, если достигнут предел. Этот предел можно изменить с помощью опции конфигурации rbd_mirroring_max_mirroring_snapshots, если это необходимо. Кроме того, зеркальные снимки автоматически удаляются при удалении образа или отключении зеркалирования.

    --------------------------------------------------------------------------------------------------------------------------------------------
     
     
     
    pauloh5
    Guest
    #7
    0
    12.03.2025 10:37:00
    Спасибо за ответ. Этот параметр влияет только на основное (продвинутое) изображение. Независимо от этого параметра, у пониженного изображения всегда есть только один зеркальный снимок. Во время синхронизации временно существует два зеркальных снимка у пониженного изображения. Как только синхронизация завершена, предыдущий зеркальный снимок удаляется. Интересно, можно ли отменить синхронизацию и продвинуть изображение, используя предыдущий зеркальный снимок, пока у пониженного изображения есть два зеркальных снимка?
     
     
     
    willybong
    Guest
    #8
    0
    14.03.2025 17:53:00
    Ты прав… это суть проблемы. Судя по тому, что я наблюдал, Ceph RBD mirror в режиме снимков по умолчанию хранит 5 снимков на site-a и 1 снимок на site-b (сайт восстановления). Но если я прерываю инкрементную синхронизацию единственного снимка на site-b, образ становится недоступным, даже если я использую promote --force. Не нравится, что команда Proxmox не решила этот вопрос. Я бы ожидал большего вовлечения с их стороны, или хотя бы ответа.
     
     
     
    david_tao
    Guest
    #9
    0
    16.03.2025 03:50:00
    Это так раздражает, потому что я работал с корпоративным хранилищем (HDS/DellEMC) более двух десятилетий. В правильно спроектированном удалённом решении аварийного восстановления (DR) базовым требованием является хранение как минимум 2 или более копий на удалённом сайте. Потому что никто не может предугадать, когда произойдёт катастрофа! Поэтому как обеспечить, чтобы удалённый сайт мог взять на себя работу основного сайта в любой ситуации, всегда нужно держать в уме. Я поискал в Google что-то про rbd mirror и не нашёл, как хранить больше двух копий на удалённом сайте между двумя Ceph кластерами! В результате я лично думаю, что использование rbd mirror для решения по аварийному восстановлению сейчас — не лучшая идея. И я также сомневаюсь, что эта проблема будет решена в Proxmox, потому что Ceph — это проект верхнего уровня. Возможно, придётся искать другие способы достижения цели аварийного восстановления с Ceph. Но это будет намного сложнее...
     
     
     
    kellogs
    Guest
    #10
    0
    16.03.2025 03:58:00
    Интересно, а не будет ли linstor лучшее решение https://linbit.com/ для этой цели?
     
     
     
    aaron
    Guest
    #11
    0
    24.03.2025 13:55:00
    Ну вот, попробовал воспроизвести эту проблему: 2 кластера Proxmox VE + Ceph (v18.2.4 / reef), синхронизация на основе снимков, тест на перезапись образа диска случайными данными (много изменений, больше данных для синхронизации). Смотрю за целевым кластером на предмет появления новых снимков: `watch -n0.5 -d rbd snap list --all vm-101-disk-3`. Как только новый снимок начал копироваться:

    `Code: on-primary peer_uuids:[] b7d7c03d-573a-4028-ad04-a6530f15d4a9:33779 26% copied)`

    Выключаю все машины исходного кластера. Затем пытаюсь продвинуть образ на целевом кластере: `rbd mirror image promote vm-101-disk-3 --force`. Пока что всё висит. @willybong, сколько примерно времени тебе пришлось ждать, пока появилась ошибка из первого поста? С какой версией Ceph ты это тестировал? Я ещё покопаюсь, чтобы понять, что можно сделать и есть ли версии Ceph, с которыми это работает лучше. Для Datacenter Manager мы планируем интегрировать DR-опции. Тогда не придется использовать прямо Ceph RBD mirroring или другие варианты типа Backup -> remote sync -> (live) restore. https://pve.proxmox.com/wiki/Proxmox_Datacenter_Manager_Roadmap
     
     
     
    willybong
    Guest
    #12
    0
    24.03.2025 15:11:00
    Привет, Аарон! Спасибо за обратную связь! Мне пришлось немного подождать, прежде чем появилась эта ошибка. В моей лаборатории я пробовал как ceph 18, так и 19.2.0 (моя текущая версия), но проблема сохраняется. Исходя из твоего опыта, Ceph RBD snapshot mirroring когда-нибудь работало надежно? Поскольку Ceph RBD mirror используется для сценария аварийного восстановления, я предполагал, что в таком критически важном случае это должно быть реализовано, но это не так. По моему скромному мнению (и не только моему), надежный и безопасный механизм аварийного восстановления станет ключевым фактором на корпоративном уровне при определении того, стоит ли Proxmox рассматривать как правильный выбор для внедрения или нет. Рад слышать, что у Proxmox будет свой механизм аварийного восстановления.
     
     
     
    robertlukan
    Guest
    #13
    0
    05.04.2025 08:44:00
    Похоже, это та же проблема, что и описано здесь: https://tracker.ceph.com/issues/70520
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры