Окей, у меня Proxmox 7.3-4, а вторая GPU – Nvidia GeForce GT 1030. Я обновил BIOS до последней версии. В BIOS включены SVM и IOMM, убедился, что 'Resizable BAR'/'Smart Access Memory' отключены. После обновления BIOS я протестировал проброс 1030 -> да, работает без проблем. Я также тестировал, чтобы вытащить 1030 из системы и использовать только 7900 XTX. Все мои тесты снова провалились. Но я заметил одну штуку: если запускать ВМ несколько раз без ROM файла, иногда появляется логотип Proxmox при загрузке на экране и анимированные точки загрузки Windows -> то есть я вижу что-то из Windows. Когда Windows загрузится, верхняя половина экрана становится черной, а нижняя показывает остатки логотипа Proxmox при загрузке.

Я в тупике. Не знаю, с чего начать отладку (логи на хосте выглядят нормально). Может, дело в моей аппаратной конфигурации, но как это протестировать?

Спасибо за обратную связь. Я сейчас протестировал все варианты из psyyo: Код: # список опций ядра
:~# cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-5.15.83-1-pve root=/dev/mapper/lv1--ssd-root ro quiet iommu=pt amd_iommu=on nofb nomodeset initcall_blacklist=sysfb_init

#########################################

# в чёрном списке нет ничего, что могло бы вызвать проблемы
:~# cat /etc/modprobe.d/*
blacklist nouveau
options kvm ignore_msrs=1
# файл конфигурации модуля mdadm
# установите start_ro=1, чтобы новые массивы собирались в режиме только для чтения,
# чтобы предотвратить запись метаданных. Это необходимо для того,
# чтобы функция восстановления из диска работала - новая загрузка не должна выполнять записи
# потому что она будет выполнена за спиной системы, восстанавливающейся.
# Подробности см. http://bugs.debian.org/415441.

options md_mod start_ro=1
# Этот файл содержит список модулей, не поддерживаемых Proxmox VE

# nidiafb см. отчет об ошибке https://bugzilla.proxmox.com/show_bug.cgi?id=701
blacklist nvidiafb

#########################################

# убедитесь, что все модули загружены
:~# cat /etc/modules
# /etc/modules: модули ядра для загрузки во время загрузки.
#
# Этот файл содержит имена модулей ядра, которые должны быть загружены
# во время загрузки, по одному на строку. Строки, начинающиеся с "#", игнорируются.


# Сгенерировано sensors-detect 19:15:50 понедельника, 13 сентября 2021 г.
# Драйверы чипов
nct6775

# аппаратный passthroug
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

#########################################

# убедитесь, что у меня правильный идентификатор моей карты
:~# lspci | grep -i vga
05:00.0 VGA совместимый контроллер: NVIDIA Corporation GP108 [GeForce GT 1030] (rev a1)
0c:00.0 VGA совместимый контроллер: Advanced Micro Devices, Inc. [AMD/ATI] Устройство 744c (rev c8)

#########################################

# конфигурация pve моей машины с Windows
:~# cat /etc/pve/qemu-server/13211901.conf
agent: 1
balloon: 0
bios: ovmf
boot: order=scsi0;ide2;net0
cores: 12
cpu: host
efidisk0: encrypted-nvme-pool:vm-13211901-disk-1,size=1M
hostpci0: 0000:0c:00,pcie=1,x-vga=1
ide2: none,media=cdrom
machine: pc-q35-7.1
memory: 20480
name: game-win01
net0: e1000=7E:F3:10:92:DD:A3,bridge=vmbr0
numa: 0
ostype: win10
scsi0: encrypted-nvme-pool:vm-13211901-disk-0,discard=on,size=500G
scsihw: virtio-scsi-pci
smbios1: uuid=b32f2bc9-a21f-4288-9ea8-38cc24770be4
sockets: 1
usb0: host=7-1.2,usb3=1
usb1: host=7-1.3,usb3=1
usb2: host=7-1.1,usb3=1
usb3: host=7-1.4,usb3=1
vga: none
vmgenid: a147c51a-355c-480b-ad54-0242de56a8b6

#########################################

# Я также тестировал:
hostpci0: 0000:0c:00,pcie=1
hostpci0: 0000:0c:00,pcie=1,x-vga=1,romfile=extra/asus_7900xtx_navi_31_2023-01-24.rom
hostpci0: 0000:0c:00,pcie=1,romfile=extra/asus_7900xtx_navi_31_2023-01-24.rom Ничего не работало до сих пор. Единственное изменение, если я использую romfile, у меня нет ошибки сброса. Без romfile я могу только один раз запустить гостевой Windows, и мне приходится перезагружать весь хост. Код: kvm: ../hw/pci/pci.c:1562: pci_irq_handler: Assertion `0 <= irq_num && irq_num < PCI_NUM_PINS' failed. Я также вижу все больше и больше людей, у которых те же проблемы, что и у меня, и у которых раньше была видеокарта AMD серии 6000: https://www.reddit.com/r/VFIO/comments/zn0zdm/7900xtx_passthrough_pci_reset_see­ms_not_working/ https://www.reddit.com/r/VFIO/comments/zx4v0h/radeon_rx_7900_xt_gpu_passthrough­/ Но есть и люди, которым удалось запустить ее на Unraid и Arch Linux. Я сейчас устанавливаю дополнительный диск и устанавливаю Windows в bare metal, чтобы посмотреть, все ли работает (В настоящее время я не знаю, есть ли у моей карты проблема с горячей точкой, и мне все равно придется ее вернуть). Позже я, возможно, попробую Arch Linux, возможно, я также попробую установить ядро 6.1, которое, похоже, поддерживает Resizable BAR в kvm https://www.reddit.com/r/VFIO/comments/ye0cpj/psa_linux_v61_resizable_bar_suppo­rt/

Окей, я сейчас протестировал свою 7900xtx. Видеокарта работает нормально под Windows (на "голом железе") и проблем с перегревом нет (15-минутный стресс-тест — всё в порядке). Я также попробовал ядро 6.1 в Proxmox, но это не изменило ситуацию с черным экраном, зато сделал колесико мыши очень чувствительным (в десять раз быстрее). И однажды моя Linux-виртуальная машина не запустилась. Сейчас ядро кажется немного сырое. Но я сам выбрал его, и я рад, что смог протестировать. Я установил Arch Linux на отдельный диск и настроил всё до тех пор, пока не заработал libvirtd (это было мучение -.-). Я создал тестовую Linux-виртуальную машину и подключил к ней 1030 — работает отлично. Затем я переключился на 7900xtx и провел несколько тестов с той же виртуалкой (romfile, изменения в xml и т.д.) — всегда черный экран. Возможно, дело в моей аппаратной конфигурации (потому что у других людей получилось запустить её на Arch Linux), или у меня не совсем такая же конфигурация хоста/виртуалки, как у них. Что я могу сейчас сделать: купить 4070ti или 4080 или 6950 XT (это было бы ужасно). Использовать 7900xtx на "голом железе" (это тоже было бы ужасно). Надеюсь, кто-нибудь разберется, как заставить это работать в ближайшем будущем. Может быть, я попробую еще раз с Arch в ближайшие дни, но сейчас я израсходовал идеи и мотивацию.

Нет, я так и не смог запустить это. Нашёл другого пользователя, у которого, похоже, работает. https://bbs.minisforum.com/threads/proxmox-gpu-passthrough-rx-7900-xt.2572/ Я спросил детали и попробовал ту же конфигурацию — тоже не получилось. Так что, как я думаю, это может работать, если у тебя подходящая комбинация железа. Или, может быть, я что-то упускаю в настройках. Моё решение сейчас — Windows на "голой" системе, а в будущем я соберу отдельный ПК для Proxmox (Это было так неприятно, что теперь я буду использовать только те настройки, в которых я точно знаю, что они будут работать после замены железа).

Извини, но я больше не могу тестировать это. У меня уже есть двухкомпьютерная конфигурация с Windows bare metal и Proxmox на отдельной машине. В Proxmox у меня старенькая видеокарта AMD (серии 6000), которая подключена к моей Linux-ВМ. Просто заработало из коробки. У этой конфигурации есть еще одно преимущество: у меня сломался блок питания в Windows-компьютере, поэтому сейчас я использую Proxmox в качестве запасного варианта, и это работает отлично.

Кто-нибудь здесь уже нашел решение проблемы с атомарными операциями? Я создал тему, но пока никаких ответов...... очень расстраивает!

На моей системе пришлось: убедиться, что CSM (Compatibility Support Module) включен в BIOS. Вам нужно будет установить Proxmox и загрузить его в режиме UEFI, но CSM всё равно должен быть включен — это окончательно решило проблему с черным экраном, о которой вы говорите. Убедитесь, что вы правильно настроили Proxmox для передачи устройств (passthrough) на вашей системе... (читайте это: PCI-e passthrough и это: PCI passthrough). Добавьте модули vfio, vfio_iommu_type1, vfio_pci, vfio_virqfd (по одному модулю на новой строке) в файл /etc/modules и выполните команду: update-initramfs -u -k all. После этого отключите некоторые драйверы при загрузке Proxmox. Я добавил всё это в /etc/default/grub (возможно, на моей системе больше, чем нужно, но должно работать с картами AMD, Intel и NVIDIA...). Добавляя всё это в эту строку, вы всегда сможете просто редактировать эту строку на экране загрузки GRUB, нажимая E, так что в случае проблем вы сможете просто перезагрузить систему и отредактировать эту строку перед загрузкой ОС для устранения неполадок... Установка iommu=off в экране загрузки GRUB фактически отключит функциональность передачи устройств при следующей загрузке...

GRUB_CMDLINE_LINUX_DEFAULT="amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction initcall_blacklist=sysfb_init nofb nomodeset video=simplefb:off video=vesafb:off video=efifb:off video=vesa:off disable_vga=1 vfio_iommu_type1.allow_unsafe_interrupts=1 kvm.ignore_msrs=1 modprobe.blacklist=radeon,nouveau,nvidia,nvidiafb,nvidia-gpu,snd_hda_intel,snd_hda_codec_hdmi,i915 vfio-pci.ids=144d:a808,2646:5013,1002:744c,1002:ab30,1022:1487"

Это для процессоров AMD. Для процессоров Intel замените amd_iommu=on на intel_iommu=on. Чтобы узнать ваши pci.ids= для включения здесь, используйте команду lspci -nn. Я передаю свои: nvme2, nvme3, GPU 7900xtx, звуковую карту HDMI 7900xtx и звуковую карту материнской платы. После редактирования /etc/default/grub обязательно выполните команду: update-grub и перезагрузите систему. При назначении PCI-устройств обязательно используйте все 3 кнопки выбора для вашей GPU: Основная GPU, Все функции и PCI-Express. Это добавит pcie=1,x-vga=1 в конфигурацию VM.

CSM нужен только для Windows VM. Для меня Linux работает без черного экрана с использованием собственного режима UEFI без включенного CSM. Я также могу свободно перезагружать свои VM, за исключением одного момента. Windows VM при перезагрузке теряет звуковую карту материнской платы. Мне приходится либо перезагружать всю хост-систему, либо загружать какую-то Linux VM, которая тоже использует звуковую карту, между ними... Я успешно использую свой ПК с Win10, Win11 и несколькими Arch Linux, настроенными с графическими окружениями... Единственное ограничение заключается в том, что вам нужно запускать только одну VM одновременно, если они используют одни и те же PCI-E устройства. Но это понятно.

Я прогонял этот тред, этот тред Reddit и этот тред level1tech через o4-mini-high и запросил у него инсайды. Не могу точно сказать, какое из следующих изменений станет «волшебной пулей», но мне удалось запустить AMD Radeon 7900 XTX через pass through на 8.3 PVE.

Код: proxmox-boot-tool kernel pin 6.14.0-2-pve
proxmox-boot-tool refresh
reboot

# После перезагрузки:
uname -r  # должно показывать: 6.14.0-2-pve
Отредактировал /etc/default/grub и установил:
Код: GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pci_vendor_reset=1 pcie_acs_override=downstream,multifunction nofb nomodeset initcall_blacklist=sysfb_init video=vesafb:off video=efifb:off video=vesa:off video=simplefb:off"
Затем выполнил:
Код: update-grub
/etc/modprobe.d/blacklist-graphics.conf:
Код: blacklist amdgpu
blacklist radeon
blacklist nouveau
blacklist nvidia
blacklist i40evf
VFIO & KVM module options​
Создал эти файлы:
/etc/modprobe.d/iommu_unsafe_interrupts.conf:
Код: options vfio_iommu_type1 allow_unsafe_interrupts=1
/etc/modprobe.d/kvm.conf:
Код: options kvm ignore_msrs=1
Перестроил initramfs и перезагрузился:
Код: update-initramfs -u -k all
reboot

Моя конфигурация VM выглядит так:
Код: ❯ qm config 4000
bios: ovmf
boot: order=ide2
cores: 8
cpu: host
efidisk0: local-lvm:vm-4000-disk-0,efitype=4m,pre-enrolled-keys=1,size=4M
hostpci0: 0000:03:00.0,pcie=1,x-vga=1,rombar=0
ide2: none,media=cdrom
machine: q35
memory: 24576
meta: creation-qemu=9.0.0,ctime=1744238629
name: ubuntu-gpu
net0: virtio=BC:24:11:5C:72:7E,bridge=vmbr0
onboot: 1
scsi0: local-lvm:vm-4000-disk-1,size=500G
scsihw: virtio-scsi-pci
smbios1: uuid=15831d3f-afcb-4d96-90e0-f1ad0dbc7907
vga: none
vmgenid: e84cbb6a-52d6-40c6-a9e8-ef9f6a7b5e3f

ВАЖНО: обратите внимание на отсутствие hostpci1 для передачи HDMI аудио насквозь. Каждый раз, когда я пытался добавить его, я сталкивался с IRQ-штормом. Для моего домашнего варианта использования с выводом Ollama inference, этого более чем достаточно. YMMV

Внутри VM, у меня Ubuntu 14.04, иногда приходится выполнять:
Код: sudo modprobe -r amdgpu

Я знал, что всё работает, когда видел:
Код: ❯ ls -l /dev/dri
total 0
drwxr-xr-x  2 root root         80 Apr 18 21:19 by-path
crw-rw----+ 1 root video  226,   0 Apr 18 21:19 card0
crw-rw----+ 1 root render 226, 128 Apr 18 21:19 renderD128

Надеюсь, это поможет, удачи!

Моя конкретная GPU: SAPPHIRE NITRO+ AMD RadeonTM RX 7900 XTX Vapor-X 24GB GDDR6 DUAL HDMI / DUAL DP / 11322-01-40G, что, кстати, - самая дешёвая карта, которую я смог найти сейчас в размере 24 ГБ и https://ollama.com/blog/amd-preview отлично работает до сих пор (я запускаю её внутри docker [пришлось использовать gid рендера вместо имени группы на этой строке], внутри VM). Но мне нужно быть осторожным, потому что когда я кладу туда слишком большую модель, сгорает и PVE узел, а не только VM, и происходит перезагрузка.

С тех пор, как я выложил сообщение, ничего не вылетало, @frankmanzhu — это почти 2 недели стабильной работы! Я, правда, не нагружал систему гигантскими моделями, так что у вас может быть другой опыт. Новая модель qwen3, которая только что вышла, просто отличная. Я загрузил версию 20GiB qwen3:32b-q4_K_M, и всё идёт как по маслу. Только нужно обновить ollama до последней версии, потому что архитектура изменилась по сравнению с предыдущими моделями; просто предупреждаю. Я считаю, что на стороне AMD всё только будет улучшаться, так что с нетерпением жду ещё больше моделей для самостоятельного хостинга. Пока что просто здорово экспериментировать!

P.S. Перешёл на Ubuntu 24.04; Windows пока не пробовал, меня интересуют в основном задачи инференса в моей локальной сети/tailnet.