Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Nvidia vGPU mdev и живая миграция.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Nvidia vGPU mdev и живая миграция., Proxmox Виртуальная Среда
     
    lclements0
    Guest
    #1
    0
    14.03.2022 20:35:00
    Давно пользуюсь Proxmox, но с виртуализацией видеокарт — впервые. У меня есть пара видеокарт Nvidia V100S 32G, разделенных между двумя серверами. Драйверы Nvidia установлены на хосте согласно инструкции, а сама vGPU работает отлично на VM с GRID драйверами. Лицензирование тоже работает, как и ожидалось. Учитывая количество задействованных компонентов, я полагаю, что ответ, скорее всего, будет довольно сложным. Возможна ли live миграция Nvidia vGPU между двумя идентичными Proxmox-нодами с использованием mediated device? Не упустил ли я какую-то документацию, демонстрирующую, как выполнить live миграцию VM с подключенным mediated device? Когда я пытаюсь выполнить миграцию, появляется ошибка, указывающая на наличие hostpci устройства, что, я полагаю, ожидаемо. Буду признателен за любую помощь!
     
     
     
    spirit
    Guest
    #2
    0
    13.06.2022 20:06:00
    Привет! У меня есть знакомый, который занимается живой миграцией с использованием nvidia passthrough && ovirt. Сейчас вместе с ним разбираюсь, похоже, он использует mdev тоже. Судя по qemu-devel, есть флаг для включения миграции на vfio (не уверен, что он включен по умолчанию). https://lists.gnu.org/archive/html/qemu-devel/2021-03/msg02364.html Кстати, вот неплохая инструкция, как заставить mdev работать и с потребительскими картами nvidia https://wvthoog.nl/proxmox-7-vgpu-v2/ Попробую узнать больше информации о конфигурации libvirt и о настройке на этой неделе, чтобы убедиться.
     
     
     
    spirit
    Guest
    #3
    0
    17.06.2022 16:44:00
    Я провёл тест на кластере, не могу запустить, даже с x-enable-migration=on. Если хотите протестировать: отредактируйте строку 475 в файле /usr/share/perl5/PVE/QemuServer/PCI.pm: Code: if ($sysfspath) {
                   $devicestr .= ",x-enable-migration=on,sysfsdev=$sysfspath"; закомментируйте в /usr/share/perl5/PVE/QemuMigrate.pm Code: #    my $loc_res = PVE::QemuServer::check_local_resources($conf, 1);
    #    if (scalar @$loc_res) {
    #       if ($self->{running} || !$self->{opts}->{force}) {
    #           die "can't migrate VM which uses local devices: " . join(", ", @$loc_res) . "\n";
    #       } else {
    #           $self->log('info', "migrating VM which uses local devices");
    #       }
    #   } на обоих серверах Proxmox, затем перезапустите systemctl restart pvedaemon и сделайте миграцию: qm migrate <vmid> <targetnode> --online .... 2022-06-17 16:37:26 migrate uri => unix:/run/qemu-server/102.migrate failed: VM 102 qmp command 'migrate' failed - VFIO device doesn't support migration.

    Я покопался в коде Qemu, и сообщение об ошибке может быть вызвано не только отсутствием флага. Миграция VFIO в ядре с dirty требует реализации (кажется, всё в порядке с версии 5.9). Возможно, проблема в драйвере NVIDIA, я правда не знаю. (Пробовал с Quadro с хаком vGPU unlock).
     
     
     
    spirit
    Guest
    #4
    0
    16.08.2022 23:44:00
    Привет! Наконец-то заработало! Основная проблема заключалась в отсутствии опции сборки в ядре драйвера NVIDIA VFIO для поддержки живой миграции.
     
     
     
    dcsapak
    Guest
    #5
    0
    22.08.2022 08:47:00
    Рад видеть... Какого варианта не хватает? (Не могу найти очевидного, когда смотрю справку установщика '--help' и страницы '-A'...)
     
     
     
    spirit
    Guest
    #6
    0
    24.08.2022 22:29:00
    Я уже ответил на рассылку pve-devel, но для пользователей форума: если вы хотите включить миграцию vfio в драйвере Nvidia, я использовал драйвер 460.73.01 (последние 510 драйверов не имеют этой функции и кода, не знаю почему). https://github.com/mbilker/vgpu_unlock-rs/issues/15  Функция называется NV_KVM_MIGRATION_UAP=1. Поскольку я не знал, как передать этот флаг, я просто распаковал драйвер "NVIDIA-Linux-x86_64-460.73.01-grid-vgpu-kvm-v5.run -x", отредактировал "kernel/nvidia-vgpu-vfio/nvidia-vgpu-vfio.Kbuild" и добавил NV_KVM_MIGRATION_UAP=1, затем запустил ./nvidia-installer.
     
     
     
    dcsapak
    Guest
    #7
    0
    25.08.2022 09:06:00
    К слову, похоже, эта проблема всё ещё есть во втором по новизне драйвере (как Nvidia называет "grid 14.1", что соответствует версии 510.73).  Её можно отредактировать после установки в папке с исходниками dkms в /usr/src/nvidia-<версия>/
     
     
     
    spirit
    Guest
    #8
    0
    25.08.2022 09:43:00
    Не уверен, но, возможно, просто добавление строки "vgpu_dev->migration_enabled = NV_TRUE;" в коде будет достаточно? "if defined(NV_KVM_MIGRATION_UAPI)" добавляет только это. Еще, судя по x86_64-510.47.03-vgpu-kvm, флаг опции все еще присутствует.
     
     
     
    dcsapak
    Guest
    #9
    0
    25.08.2022 09:50:00
    Я не думаю, что этого достаточно, есть еще части, связанные с миграцией, защищенные макросом _START_PFN (который ранее был защищен только макросом MIGRATION_INFO_PRESENT).
     
     
     
    spirit
    Guest
    #10
    0
    25.08.2022 15:31:00
    Да, это не работает. И START_PFN действительно для старого ядра. (Он ищет в исходном коде ядра наличие определенной структуры vfio). Последний драйвер, который я нашел с UAPI, — 510.73.06 https://github.com/VGPU-Community-D....1/NVIDIA-Linux-x86_64-510.73.06-vgpu-kvm.run. Драйвер 510.85.03, похоже, его не содержит (возможно, это просто ошибка, и они забыли добавить его?). https://github.com/VGPU-Community-D....2/NVIDIA-Linux-x86_64-510.85.03-vgpu-kvm.run
     
     
     
    qicheng
    Guest
    #11
    0
    20.09.2023 05:11:00
    Привет! Ну ты наконец-то добился миграции GPU? GPU работает нормально на целевой VM? Я видел обсуждение от NVIDIA, в котором говорится, что миграция GPU через Qemu вроде как требует kernel-specific KVM. https://forums.developer.nvidia.com...gration-support-for-vfio-devices-patch/197820
     
     
     
    spirit
    Guest
    #12
    0
    20.09.2023 06:49:00
    Да, я смог это сделать в прошлом году с ядром 5.15 и определенной версией драйвера Nvidia. (И патченный для поддержки mdev, потому что Nvidia блокирует драйвера без лицензии). Попробую переработать это для Proxmox 8, но не уверен, что ядро Nvidia поддерживает 6.2. Интегрирую это в новое Device Mapping.
     
     
     
    qicheng
    Guest
    #13
    0
    20.09.2023 07:57:00
    Спасибо за ответ. Если я хочу реализовать поддержку миграции GPU в qemu-6.2.0 && kvm, что мне нужно сделать?

    1. Найти подходящее ядро Linux (например, 5.15)? Сейчас у меня ядро 5.10.0-60.18.0.50, но как я узнаю, поддерживает ли версия ядра это?
    2. Найти определенную версию драйвера NVIDIA, как указано выше.
    3. Добавить патчи для поддержки mdev? Этот патч, о котором ты говорил, "qemu-5-0-unsupport-vgpu-migration-after-applying-add-migration-support-for-vfio-devices-patch"?
    4. И потом NVIDIA что смотрит, использование лицензии может это разблокировать? И что еще мне нужно сделать, например, сконфигурировать "NV_KVM_MIGRATION_UAP" и пересобрать? Что-нибудь еще посоветуешь? Спасибо огромное!!!
     
     
     
    spirit
    Guest
    #14
    0
    20.09.2023 09:34:00
    1-3: Попробуйте следовать этому руководству https://gitlab.com/polloloco/vgpu-proxmox, чтобы разблокировать это. Добавьте поддержку mdev для 4, да, его нужно пересобрать с NV_KVM_MIGRATION_UAP=1 в makefile. (Обратите внимание, что этот флаг менялся в прошлом году, Nvidia вносила изменения между версиями, добавляя/удаляя его, переименовывая...). Затем вам нужно добавить специальный флаг миграции в командную строку Qemu, смотрите мой комментарий по взлому текущего кода Proxmox: https://forum.proxmox.com/threads/nvidia-vgpu-mdev-and-live-migration.106480/
     
     
     
    qicheng
    Guest
    #15
    0
    20.09.2023 09:41:00
    Окей, большое спасибо, пойду пробовать.
     
     
     
    dcsapak
    Guest
    #16
    0
    20.09.2023 10:07:00
    @spirit, насколько мне известно, с драйверами v16 от NVIDIA и ядром 6.2, никаких изменений драйверов вроде бы не потребуется (хотя проверить я пока не успел). По крайней мере, драйвер больше не выводит сообщение о "отключении миграции"...
     
     
     
    spirit
    Guest
    #17
    0
    20.09.2023 17:40:00
    О, отлично, я знаю человека с кучей Tesla-карт для тестирования. В следующем месяце попробую снова провести тесты. @badji пинг. Пора снова проверить миграцию GPU ^_^
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры