Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    vGPU с nVIDIA на Kernel 6.8

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    vGPU с nVIDIA на Kernel 6.8, Proxmox Виртуальная Среда
     
    guruevi
    Guest
    #1
    0
    08.07.2024 16:40:00
    В ядре 6.8 появилось довольно много изменений в софте для vGPU. Эта фича называется "Vendor-Specific VFIO Framework". Обратите внимание, что для работы потребуется версия 550.90.05, которую можно скачать с сайта nVIDIA. Теперь поддерживаются смешанные размеры vGPU (можно назначать разные объемы памяти на одной GPU) и live migration на KVM – это теперь реально (еще не тестировал, будет больше информации). Заметьте: текущие версии 535 и, возможно, другие ветки теперь тоже могут работать (это может понадобиться, если у вас оборудование на архитектуре Pascal (2014)). Изучите "Vendor-Specific VFIO" в разделе KVM документации nVIDIA. НЕ используйте Mediated Devices или PCI устройство через графический интерфейс – это приведет к серьезной ошибке ядра в dmesg, связанной с vfio, и вы больше не сможете запустить VM с GPU. Возможно, это исправлено в обновленных ядрах. Решение: создайте vGPU allocation в соответствии с документацией ( https://docs.nvidia.com/vgpu/latest/pdf/grid-vgpu-user-guide.pdf#page71 - PDF страница 71, человеческая страница 57). Bash: cd /sys/bus/pci/devices/domain\:bus\:vf-slot.v-function/nvidia cat creatable_vgpu_types echo <TYPE> > current_vgpu_type Где domain bus и т.д. – это PCI слот, в который вставлена ваша GPU. Обратите внимание, что это может меняться при добавлении или удалении любого оборудования, в зависимости от вашей системы. Вы можете найти его в Bash: nvidia-smi И посмотреть под Bus-Id Code: | 0 NVIDIA L40S On | 00000000:0D:00.0 Off | | N/A 29C P8 39W / 350W | 44545MiB / 46068MiB | 0% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ | 1 NVIDIA L40S On | 00000000:B5:00.0 Off | | N/A 32C P8 38W / 350W | 0MiB / 46068MiB | 0% Default | | | | N/A | Добавьте это в /etc/pve/qemu-server/<VMID>.conf Код: args: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:0d:01.1 -uuid aabababa-aabb-aabb-aabb-aabbccddeeff Где 0000:0d:01.1 – это domain:bus:vf-slot.v-function, к которому вы добавили тип GPU. UUID – это uuid, который можно найти в smbios1 (если он установлен, зависит от времени создания вашей конфигурации, в 6 и 7 он не всегда там был). Если его нет, задайте его через опцию SMBIOS в графическом интерфейсе (просто сгенерируйте случайный).
     
     
     
    Boysa22
    Guest
    #2
    0
    11.07.2024 12:11:00
    Привет, спасибо, что прислал эту информацию. Я отчаянно искал её в огромных документах NVIDIA. Протестировал это на NVIDIA RTX A5000 и смог успешно использовать vGPU. Смешанные размеры vGPU тоже работают довольно хорошо. Я также использовал vgpu_params, чтобы отключить frame_rate_limiter для виртуальной машины и использовать её для игр.
     
     
     
    guruevi
    Guest
    #3
    0
    19.07.2024 23:17:00
    Я не уверен, насколько реально для Proxmox поддерживать Vendor-Specific VFIO, потому что настроить это ОЧЕНЬ специфично для каждого вендора. Поэтому я сделал вот что (для каждой ВМ): перевел их на Vendor-Specific VFIO.

    Настроил nvidia-sriov.service INI:
    [Unit]
    Description=Включить NVIDIA SR-IOV
    After=network.target nvidia-vgpud.service nvidia-vgpu-mgr.service
    Before=pve-guests.service

    [Service]
    Type=oneshot
    ExecStart=/usr/lib/nvidia/sriov-manage -e ALL
    ExecStart=/usr/bin/nvidia-smi vgpu -shm 1

    [Install]
    WantedBy=multi-user.target

    Это включает SR-IOV и Mixed-Mode на всех GPU. Опубликуйте этот хук-скрипт в /var/lib/vz/snippets на каждом узле. Возможно, вы не захотите размещать это в централизованном месте, если все ваши узлы не обновляются одновременно. Хотите, чтобы это завершилось с ошибкой на узлах, на которых еще нет программного обеспечения. [https://gist.github.com/guruevi/7d9673c6f44f49b1841eaf49bbd727f9](<#0 >)

    Затем для миграции ВМ:

    1.  Выключите ВМ.
    2.  Удалите существующую GPU из ВМ в GUI.
    3.  Используйте эту команду, чтобы найти доступный слот для GPU (например, если вы ищете устройство "6Q" (см. документацию nVIDIA, но 6Q — это виртуальный рабочий стенд объемом 6 ГБ. Если ничего не найдено, вам нужно переместить его на другой хост или выбрать другой тип. /var/lib/vz/snippets/nvidia_allocator.py find_gpu -6Q
    4.  Выберите "/sys/bus/pci/devices/" — вы не можете иметь 2 ВМ на одном хосте с одним и тем же Bus-ID, поэтому выбирайте последовательно для каждой ВМ в системе. Как только ВМ запустится, она больше не будет отображаться в команде find_gpu выше. Вы также найдете 4-значный ID, связанный с этим именем (например, 561 на A40-6Q, опять же, часть этого описано в документации nVIDIA и специфична для вашей GPU).
    5.  Установите тег на ВМ nvidia-xxxx, где xxxx — ID типа GPU (например, nvidia-561).

    Эти команды установят конфигурацию, где 999 — ID ВМ (см. GUI), devices/0000 — это то, что вы получили из команды find_gpu выше, и uuid — это uuid под Options → SMBIOS settings в GUI для ВМ:

    qm set 999 --args "-device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:3b:03.0 -uuid 7183686d-2d9b-4e3f-8f49-87246a9379c7"
    qm set 999 --hookscript local:snippets/nvidia_allocator.py

    Запустите ВМ, установите драйвера на гостевой ОС и т.д.

    Это работает, если машина не запускается из-за ошибки, тогда хук-скрипт не вызывается. Вы можете вручную вызвать хук-скрипт для post-stop для VMID или nvidia-smi -r / reboot в случае серьезных проблем (это сбрасывает ВЕСЬ GPU, будьте осторожны, чтобы ничего не работало).

    Всё еще есть случаи, когда с VFIO что-то идёт не так (см. мой первый пост), если вы забыли отключить legacy VFIO и загрузить ВМ с еще установленным параметром.

    Я пытался найти способ динамически распределять sysfsdev, если мы не можем изменить конфигурацию перед запуском или передать "args" из хук-скрипта, этого не произойдет. Параметр после sysfsdev, кажется, анализируется, а затем адрес используется каким-то образом; он не используется как фактический дескриптор файла (вы не можете создать символическую ссылку из другого места, например).
     
     
     
    Boysa22
    Guest
    #4
    0
    20.07.2024 18:19:00
    Заметил, что создаётся символическая ссылка на vfio устройства — virtfn0.. скриптом nvidia-smi после его запуска. Возможно, это может пригодиться:

    Код:
    root@a40# bus=$(nvidia-smi -q |grep ^GPU |awk -F " 0000" '{print tolower($2)}')
    root@a40# /usr/lib/nvidia/sriov-manage -e $bus
    root@a40 # ls /sys/bus/pci/devices/$bus/| grep ^virtfn |wc -l
    32

    Это упомянуто в этой теме: https://forums.developer.nvidia.com...es-and-i-cant-create-vgpus-instances/172907/3
     
     
     
    guruevi
    Guest
    #5
    0
    21.07.2024 03:50:00
    Спасибо за подсказку, поэтому я запустил команду nvidia-smi, и оказалось, что это просто (проприетарный) bash-скрипт. У него есть потенциал для гипервизор-менеджеров писать свою версию, чтобы создавать и выделять VFs по требованию. Самая большая проблема в том, что я не могу контролировать ID VF (без хаков ядра), он всегда будет последовательным от 0..n. После 32 перестаёт работать. При умном размещении можно убедиться, что все ваши клиенты всегда получают “свои” уникальные адреса, особенно если ваш кластер маленький и однородный. Но потенциально можно написать драйвер, который будет находиться между nVIDIA и pci-vf-stub и делать какую-то "замысловатую" работу, и переписать nvidia-smi, но это уже далеко за пределами моих возможностей.
     
     
     
    dcsapak
    Guest
    #6
    0
    22.07.2024 12:17:00
    Кстати, просто к вашему сведению, мы в курсе изменений, которые внесла NVIDIA (правда, совсем недавно), и думаем, как нам лучше действовать дальше. (Именно поэтому на вики пока нет совместимости с версией 6.8).
     
     
     
    Boysa22
    Guest
    #7
    0
    23.07.2024 13:42:00
    Спасибо за информацию. Здорово было узнать.
     
     
     
    Funar
    Guest
    #8
    0
    27.07.2024 05:00:00
    Этот случай меня реально заставил чесать в затылке. Обновился до Proxmox 8.2.x ради миграции с ESXi, и все мои vGPU пропали. Рад, что нашел этот форум! Вопрос в том, безопасно ли пока зафиксировать ядро 6.5.13-5-pve и переустановить драйвера NVIDIA GRID?
     
     
     
    Boysa22
    Guest
    #9
    0
    27.07.2024 10:44:00
    Я раньше использовал зафиксированный (pinned) ядро, и оно отлично работало с моими 5 виртуальными машинами. Но так я не мог получать преимущества от обновлений ядра и Proxmox. Теперь, с Vendor-Specific Vfio, ядро самое новое, и я получаю все обновления. Так что решать тебе.
     
     
     
    Funar
    Guest
    #10
    0
    31.07.2024 04:51:00
    Полностью согласен. Просто ищу временное решение, пока не появится более надежное и поддерживаемое.
     
     
     
    AbsolutelyFree
    Guest
    #11
    0
    01.08.2024 04:50:00
    Как быть, если у вас есть оборудование, которое не поддерживается драйверами R550? Пользователи Pascal-поколения навсегда привязаны к ядру 6.5?
     
     
     
    dcsapak
    Guest
    #12
    0
    01.08.2024 13:16:00
    Это тебе лучше спросить у Nvidia. Я не уверен, какая у них сейчас политика относительно LTS и новых версий ядра, но только они могут обновлять старую ветку драйвера для новых версий ядра...
     
     
     
    VictorSTS
    Guest
    #13
    0
    02.08.2024 10:47:00
    Консоль noVNC должна работать после добавления vGPU к Windows VM таким способом? У меня черный экран после загрузки ОС. RDP работает.
    Редактирую: у VM есть стандартный VGA дисплей в дополнение к vGPU.
     
     
     
    dcsapak
    Guest
    #14
    0
    02.08.2024 13:28:00
    Нет, VNC пока не может получить доступ к дисплею виртуальной GPU. (Есть еще свойство для устройства PCI от QEMU: 'display=on', которое могло бы работать, но в моих последних тестах это было очень нестабильно и не особо полезно...)
     
     
     
    VictorSTS
    Guest
    #15
    0
    02.08.2024 13:37:00
    Я думал, консоль noVNC использует "Стандартный VGA" дисплей, а не vGPU, потому что многие vGPU даже не имеют выхода на дисплей. На самом деле, я попробовал отправить Ctrl+Alt+Sup, ввёл пароль, и VM вошёл в систему. Вижу рабочий стол VM. То есть, консоль noVNC черная на экране входа в систему, но работает, как только войдёшь.
     
     
     
    dcsapak
    Guest
    #16
    0
    02.08.2024 13:41:00
    Окей, наверное, я оставил слишком много недосказанного в своем ответе. Часть, связанная с VNC, не может получить доступ к vGPU, только к эмулированной GPU. Хотя, обычно с такой конфигурацией не очень весело, так как управление мышью через VNC немного странное, насколько я помню, и Windows, вероятно, не будет использовать GPU Nvidia на дисплее эмулированной GPU. Лучший опыт (на данный момент) — установить программное обеспечение для удаленного доступа внутри гостевой системы и использовать его (RDP/VNC/Parsec/HP Anywhere/и т.д.).
     
     
     
    VictorSTS
    Guest
    #17
    0
    02.08.2024 14:36:00
    Да, это было понятно. Консольный доступ нужен только для каких-то базовых админ-задач, типа настройки сети, обновления и т.д. И правда, поведение мыши довольно странное и почти не usable. Кажется, Windows видит два монитора и объединяет noVNC и vGPU дисплеи, из-за чего мышь начинает так себя вести.
     
     
     
    VictorSTS
    Guest
    #18
    0
    02.08.2024 15:25:00
    Обновление: удалось снова завести консоль noVNC. Проблема в том, что Windows расширяет дисплей и на noVNC, и на vGPU, и назначает vGPU основным. Поскольку экран входа отображается только на основном дисплее, консоль noVNC оставалась черной. После входа используйте Windows Key + i, чтобы открыть настройки, затем Windows Key + Shift + стрелка, чтобы переместить окно настроек на дисплей noVNC. Затем измените настройку, чтобы использовать только экран 1. Используйте сочетания клавиш: на Windows 2019 курсор мыши отображается и может помочь изменить эту настройку. На Windows 2022 курсор исчезает, и приходится буквально угадывать, где находится указатель.
     
     
     
    guruevi
    Guest
    #19
    0
    02.08.2024 16:20:00
    VNC работает в моей конфигурации, экран не воспринимается как 2 монитора, а как 1 (A40/L40 Q-серия vGPU). Есть опция "xvga", чтобы сделать GPU выходным устройством при загрузке, после чего будет отображаться только UEFI-информации, хотя у nVIDIA есть ускоренное x11vnc и т.д. Убедитесь, что установлены драйверы VirtIO и патч NVIDIA OpenGL для RDP в Windows. Я экспериментирую с Sunshine как VDI-решением для потоковой передачи. @AbsolutelyFree: https://docs.nvidia.com/vgpu/index.html - ветки R470 и R535 все еще доступны. Я не знаю, обновлены ли они для 6.8, так как Ubuntu LTS все еще на 6.5. Безопасно закрепить 6.5 на некоторое время, в зависимости от вашего профиля безопасности и функций, которые вам нужны от ядра 6.8. Не уверен, что Canonical добавляет обратно вещи в 6.5 для LTS.
     
     
     
    Funar
    Guest
    #20
    0
    03.08.2024 01:06:00
    В итоге я пошел этим путем... пока что. Все работает отлично. Этот кластер в продакшене, с NVIDIA GRID лицензированными A10 GPU. После того, как я получил предложение о продлении лицензии VMware от Broadcom в 10 раз больше, чем в прошлом году, это был выбор очевидный. У нас уже есть Proxmox в качестве продакшн-кластера серверов несколько лет, но этот предназначен для VDI, где Horizon View был главным (к сожалению).
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры