Не получается пробросить H100 PCIE GPU на VMs., Proxmox Виртуальная Среда
JasonFeng
Guest
0
06.02.2024 10:34:00
Я новенький на форуме Proxmox, но уже больше трех лет использую PVE. Уверен, что прочитал базовую документацию, например: .
Работаю с просто зверской машиной: 144 x Intel® Xeon® Platinum 8452Y (2 сокета), 256ГБ оперативной памяти, видеокарта H100 PCIe GPU. Цель – пробросить видеокарту H100 в ВМ и установить драйверы. Ну и, кстати, вот некоторые результаты: при установке драйверов NVIDIA на Windows ВМ хост может зависнуть и вылететь, потом перезагрузиться.
JasonFeng
Guest
0
06.02.2024 10:37:00
Контроллер USB можно пробросить в виртуальные машины, и работает это хорошо. Возможно, это значит, что IOMMU работает.
otrissystems
Guest
0
06.02.2024 11:29:00
Привет, у нас похожие проблемы с Linux: драйвер NVIDIA не грузится, но nvidia-smi видит H100 в VM. Получаем ошибку: [ 12.787166] NVRM: The NVIDIA GPU 0000:01:00.0 (PCI ID: 10de:2331) NVRM: installed in this system is not supported by the NVRM: NVIDIA 535.154.05 driver release. NVRM: Please see 'Appendix A - Supported NVIDIA GPU Products' NVRM: in this release's README, available on the operating system NVRM: specific graphics driver download page at . При этом, тот же самый драйвер работает на bare metal! Значит, драйвер правильный. @JasonFeng , какая версия BIOS у вас? У нас 96.00.30.00.01, кажется, ей уже как минимум год. И еще вопрос, зачем загружать nvidia и nvidia-uvm модули внутри VM-Host при установке драйвера в Windows?
dcsapak
Guest
0
15.02.2024 16:49:00
@JasonFeng, если будет время, можешь попробовать установить Ubuntu/Red Hat baremetal и использовать их виртуализацию (libvirt/qemu/etc.) для passthrough. Так мы сможем выяснить, проблема в виртуализации или в карте/драйвере/etc.
JasonFeng
Guest
0
16.02.2024 11:43:00
Установил Ubuntu 22.04 Desktop на bare metal, работает отлично без всяких виртуализационных заморочек, поэтому перешёл на PVE после тестов. Теперь вообще не знаю, что дальше проверять. Хорошая новость в том, что все GPU работают нормально под LXC, но мне нужна Gnome desktop environment, а это достать в LXC довольно сложно.
dcsapak
Guest
0
16.02.2024 13:29:00
Я имела в виду тестирование на Ubuntu в режиме baremetal в QEMU/KVM VM (то есть используйте libvirt/etc. в Ubuntu). Если это работает, то проблема в Proxmox, если нет — то либо общая проблема QEMU/KVM, либо проблема драйвера NVIDIA + виртуализация.
burt
Guest
0
10.04.2024 12:17:00
Подумал, стоит написать об этом на всякий случай, если кому-то понадобится информация по поводу GPU H100 PCIe и passthrough в VM. Самая настоящая проблема здесь — версия vbios на карте. Если она 96.00.30.00.01, её нужно обновить, потому что есть проблема с этой конкретной версией и модулями VFIO. Ещё одна штука, которую я выяснил и которая, кажется, нужна — добавить оба ID (также добавить ID подсистемы) в файл vfio.conf (или как ты его назвал) в /etc/modprobe.d/. У меня, например, написано так: options vfio-pci ids=10de:2331,10de:1626 disable_vga=1. В моём /etc/default/grub cmndline написано (у меня хосты с CPU AMD EPYC): GRUB_CMDLINE_LINUX_DEFAULT="quiet iommu=pt initcall_blacklist=sysfb_init". Для полноты картины, у меня Ubuntu 22.04 VM с драйвером NVIDIA версии 535 в VM. Я не использовал resource mapping для подключения карты, а использовал "qm set 118 hostpci0 a1:00.0,pcie=on,x-vga=off" (очевидно, это мой конкретный vmid и PCI-адрес) после создания VM и перед загрузкой и установкой ОС. Разумеется, это сработало именно для меня, но самое важное — это обновление vbios. Когда я пытался сделать passthrough без обновления, мои хосты были нестабильны, даже происходили хард-ресеты при попытке что-то сделать в VM.
macke
Guest
0
04.07.2024 17:02:00
Спасибо за решение! Где взять прошивку? Не могу ничего найти.
rbaleksandar
Guest
0
04.04.2025 09:09:00
Использую Proxmox 8.3.0.. Хочу присоединиться к обсуждению. В первую очередь, было бы здорово получить информацию об обновлении прошивки и особенно где её найти. Далее, у меня два идентичных GPU H100: Bash: lspci -n -s ca:00
ca:00.0 0302: 10de:2321 (rev a1)
lspci -n -s e1:00 e1:00.0 0302: 10de:2321 (rev a1) Надеюсь, что идентичные product ID не станут проблемой, а может, и станут? Не могу найти никакой другой subsystem. Я привык к GTX и RTX, где всегда приходится добавлять аудио subsystem, но здесь его нет (скорее всего, из-за отсутствия HDMI или чего-то подобного, что бы это потребовало). Также пробовал добавить один как основной GPU. К тому же, nvidia-smi говорит мне, что ничего не видит.
dcsapak
Guest
0
04.04.2025 09:39:00
У нас такой карты нет, но я бы посоветовал обратиться к NVIDIA или к продавцу, у которого вы приобрели видеокарту, чтобы обновить прошивку.
burt
Guest
0
04.04.2025 12:38:00
Где взять прошивку, зависит от того, где вы покупали карты. У меня всё оборудование Lenovo, поэтому я взял прошивку у них (видел прошивку H100 на сайтах HP и Dell). Я бы посоветовал вам обратиться к производителю/поставщику вашего оборудования. Можно также зарегистрировать карты у Nvidia и посмотреть, что у них есть для скачивания. Просто чтобы было понятно: проблема была именно в этой версии прошивки, она не препятствовала пробросу, а вызывала жёсткие перезагрузки хоста при загрузке ВМ с картой, подключенной к ней. Это была довольно специфичная проблема с этой версией прошивки. Стоит отметить, что мои серверы на базе AMD EPYC, поэтому для оборудования на базе Intel, возможно, понадобятся немного другие опции GRUB_CMDLINE_LINUX_DEFAULT. У меня есть сервер с двумя H100, обеми проброшены в одну и ту же ВМ. Я также тестировал проброс их в две разные ВМ, проблем не было. Не уверен, что потребуется, если вы захотите отдать одну хосту, а другую – ВМ. Одинаковый product id не проблема, потому что важен PCI-адрес. На H100 нет аудиоподсистем, они предназначены для задач GPGPU. Не уверен, что вы имеете в виду, говоря о назначении одной из них основной. Где вы пытались запустить nvidia-smi – с хоста или с ВМ?
rbaleksandar
Guest
0
07.04.2025 11:12:00
Спасибо за обратную связь. Я свяжусь с Dell (они у меня поставщик). Сервер – Dell PowerEdge R760xa. Надеюсь, вы не против, если я попрошу вас помочь мне разобраться с остальным.
Что касается аудио – действительно, я тоже не смог найти аудиоконтроллер, связанный ни с одним из GPU H100.
По поводу вашего первого вопроса о главном GPU – в Proxmox в окне конфигурации PCI устройств можно назначить PCI устройство как главный GPU для этой системы. Требуется ли это, или все GPU, подключенные через passthrough, могут быть неглавными, возможно, что это означает отсутствие аппаратного ускорения 3D внутри ВМ? Команда nvidia-smi была запущена внутри ВМ, поскольку там установлены драйверы.
Вот основные моменты того, что я сделал до сих пор:
HOST
После обновления GRUB был выполнен update-grub. Обновление модулей ядра (modprobe) было выполнено с последующим update-initframs -u.
Я пробовал с включенными и выключенными опциями "Все функции", "ROM Bar" и "PCI-Express" в веб-интерфейсе Proxmox для каждого GPU.
Моя текущая конфигурация выглядит так (это только один из двух GPU, но другой такой же, за исключением различия в PCI адресе):
ВМ (Q35 с UEFI, secure boot отключен)
/etc/modprobe.d/blacklist-nouveau.conf blacklist nouveau options nouveau modeset=0 cuda-drivers (в моем случае 570) – здесь я следовал , так как моя ВМ - Ubuntu Server 24.04 LTS. Во время установки драйверов я вижу, что APT получает пакеты из репозитория Nvidia, плюс (исходя из моего понимания документации, на которую я сослался выше) будут установлены драйверы cuda-drivers.
На ВМ с отключенным ROMbar я получаю (используя dmesg):
``` [ 11.024558] nvidia: probe of 0000:01:00.0 failed with error -1 [ 11.024772] NVRM: This PCI I/O region assigned to your NVIDIA device is invalid: NVRM: BAR0 is 0M @ 0x0 (PCI:0000:02:00.0) [ 11.024783] nvidia: probe of 0000:02:00.0 failed with error -1 [ 11.024849] NVRM: The NVIDIA probe routine failed for 2 device(s). [ 11.024854] NVRM: None of the NVIDIA devices were initialized. [ 11.047781] nvidia-nvlink: Unregistered Nvlink Core, major device number 235 [ 15.978701] workqueue: page_reporting_process hogged CPU for >10000us 4 times, consider switching to WQ_UNBOUND [ 24.170695] workqueue: page_reporting_process hogged CPU for >10000us 8 times, consider switching to WQ_UNBOUND [ 24.252123] nvidia-nvlink: Nvlink Core is being initialized, major device number 235 [ 24.252135] NVRM: This PCI I/O region assigned to your NVIDIA device is invalid: NVRM: BAR0 is 0M @ 0x0 (PCI:0000:01:00.0) ```
Которые я сейчас исследую, так как это единственная обширная ошибка, которую я смог найти.
Nvidia Settings (у меня XFCE с xRDP) ничего не показывает, что указывает на то, что GPU был распознан, хотя я и не беру это в качестве окончательного доказательства, так как это может быть просто сбой удаленной сессии (недостаточно KnowHow). nvidia-smi четко указывает.
Если кому-то нужна дополнительная информация, пожалуйста, дайте мне знать.
rbaleksandar
Guest
0
07.04.2025 12:36:00
Интересно. SeaBIOS и драйвер 570 без Q35, CUDA runtime 12.8 и toolkit установились без проблем. Я ещё и ROM-bar отключил.