Это довольно сложная ситуация, и для её решения потребуется немало знаний Linux... В общем, тебе нужно запустить скрипт в initramfs, который перезапишет драйвер для определенных устройств в sysfs до загрузки модуля vfio-pci. Таким образом, устройство будет привязано к vfio-pci, а другое — к обычному драйверу. Есть пример/инструкция здесь: http://vfio.blogspot.com/2015/05/vfio-gpu-how-to-series-part-3-host.html, хотя мне никогда не приходилось это делать, и блог посвящен CentOS/Fedora, так что они используют dracut вместо update-initramfs и т.д.

Я разобрался. Оказывается, процесс можно значительно упростить, добавив скрипт привязки в: Код: /etc/initramfs-tools/scripts/init-top/

Процесс, которому я следовал:

1.  Найти нужное устройство:
   Код: # lspci

   01:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 02)

   # find /sys/devices/pci* | grep 01:00.0
   ...
   /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0/…
   ...
2.  Создать скрипт привязки:
   Код: # nano /etc/initramfs-tools/scripts/init-top/bind\_vfio.sh

   ```
   #!/bin/sh -e
   echo "vfio-pci"  > /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0/driver_override

   modprobe -i vfio-pci
   ```

3.  # chmod 755 bind\_vfio.sh
4.  # chown root:root /etc/initramfs-tools/scripts/init-top/bind\_vfio.sh
5.  # update-initramfs -u -k all
6.  Добавить модуль vfio в initramfs:
   Код: # nano /etc/initramfs-tools/modules

   vfio-pci

7.  # update-initramfs -u -k all
8.  # reboot

Проверка:

root@pve:~# lspci -s 01:00.0 -v
01:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 02)
Subsystem: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] ...
Kernel driver in use: vfio-pci
Kernel modules: mpt3sas

root@pve:~# lspci -s 04:00.0 -v
04:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
Subsystem: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] ...
Kernel driver in use: mpt3sas
Kernel modules: mpt3sas

Прибыль. Таким образом, мы видим, что SAS2008 на 01:00.0 назначен драйверу vfio-pci. Хотя я все еще вижу устройство с помощью lspci, PVE не видит ни одного из подключенных к нему дисков. SAS2008 на 04:00.0 назначен драйверу mpt3sas, и все диски, подключенные к нему (мои загрузочные и vmfs-диски!), доступны в PVE.

Следование опубликованным PVE инструкциям для запуска passthrough теперь приводит к желаемой операции passthrough к VM.

Интересно (раздражает): Имя скрипта привязки, похоже, имеет значение (ПОЧЕМУ!?). Мой исходный скрипт (vfio-pci-override-sas2008-addr1.sh) содержал точно такое же содержимое, как скрипт bind\_vfio.sh, о котором я упоминаю выше. Однако, когда скрипт был назван vfio-pci-override-sas2008-addr1.sh, он не работал, даже хотя я подтвердил, что он запускается. Я получал загрузку mpt3sas вместо vfio-pci для драйвера ядра. Я затем сократил имя до vfio\_addr1.sh, но ЭТОГО ТОЖЕ НЕ СТАЛОСЬ! Я вспомнил, что где-то видел запись bind\_vfio.sh, поэтому попробовал это на всякий случай - и это сработало. Может быть, это связано с тем, что в других были цифры? Кто знает... но bind\_vfio.sh работает. Сумасшедшее...

ВАЖНО: см. EDIT #3, чтобы понять, почему этот скрипт не работает. Я немного модифицировал скрипт от @radensb, чтобы сделать его более динамичным, поддерживающим несколько устройств и отделяющим конфигурацию от скрипта. Моя основная мотивация — установить скрипт с помощью Saltstack на каждый хост PVE. Затем на каждом хосте PVE я буду определять специфичные для хоста PCI-устройства, которые необходимо передать гостевым системам.

/etc/initramfs-tools/scripts/init-top/bind_vfio.sh
Bash: #!/bin/bash

# Конфигурационный файл
config="/etc/default/vfio-pci-devices"

if [[ -f "$config" ]]; then
   # Загрузка конфигурации
   echo "Загрузка конфигурации VFIO_PCI из $config."
   source $config
else
   # Конфигурационный файл не существует
   echo "Конфигурационный файл $config не существует."
   echo "Драйвер не будет переопределен."
fi

# Проверка, пустой ли массив
if [[ -z "${VFIO_PCI_DEVICES}" ]]; then
  echo "Устройство не указано в $config"
  echo "Драйвер не будет переопределен"
else
  # Адрес устройства найден командой lspci
  for device in "${VFIO_PCI_DEVICES[@]}"
  do
     # Нужно поменять местами :00 с тем, что стоит впереди
     # e.g. 03:00.0 -> 00:03.0
     device_swapped=$(echo $device | sed  -e 's#\(..\)\:\(..\).\(.\)#\2:\1\.\3#g')

     # Определение целевого пути
     target="/sys/devices/pci0000:00/0000:${device_swapped}/driver_override"

     # Вывод сообщения
     echo "Настройка PCI-устройства $device для использования драйвера VFIO_PCI"
     echo "   Установка конфигурации в ${target}."

     # Переопределение драйвера по умолчанию драйвером vfio-pci
     # Позволяет устройству игнорироваться хостом и передаваться гостевой системе
     echo "vfio-pci"  > "${target}"
   done
fi

# (Пере)загрузка модуля
modprobe -i vfio-pci /etc/default/vfio-pci-devices
Bash: #!/bin/bash

# Передача устройств гостевой системе
VFIO_PCI_DEVICES=("03:00.0")

# Не передавать устройства гостевой системе
#VFIO_PCI_DEVICES=()
Я использую только bash в своей среде и не имею большого опыта работы с другими оболочками. Смело адаптируйте.
EDIT #1: Несмотря на то, что скрипт явно находится в initramfs, по какой-то причине он не выполняется, так как драйвер mpt3sas загружен для обеих карт (1 которая нужна хосту, 1 которая нужна гостевой).
lsinitramfs -l /boot/initrd.img-5.3.18-3-pve | grep vfio
Bash: -rw-r--r--   1 root     root           51 May  1 09:35 etc/modprobe.d/vfio.conf
-rwxr-xr-x   1 root     root         1196 May  1 10:28 scripts/init-top/bind_vfio.sh
drwxr-xr-x   3 root     root            0 May  1 10:43 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio
drwxr-xr-x   2 root     root            0 May  1 10:43 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio/pci
-rw-r--r--   1 root     root        89464 Mar 17 16:33 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio/pci/vfio-pci.ko
-rw-r--r--   1 root     root        57736 Mar 17 16:33 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio/vfio.ko
-rw-r--r--   1 root     root        36848 Mar 17 16:33 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio/vfio_iommu_type1.ko
-rw-r--r--   1 root     root        11064 Mar 17 16:33 usr/lib/modules/5.3.18-3-pve/kernel/drivers/vfio/vfio_virqfd.ko
Я думаю, что, возможно, bash недоступен на ранней стадии загрузки?
EDIT #2: Я думаю, что проблема также в конфигурационном файле. Нельзя использовать что-либо внешнее по отношению к скрипту.
EDIT #3: подтверждено 2 проблемы: одна — неправильный PCI-адрес (не нужно менять два числа местами), другая — то, что, вероятно, команды grep и sed нельзя использовать в среде предварительной загрузки. Поэтому я вернусь к решению, предложенному @radensb, и буду просто записывать из Saltstack в шаблон и делать цикл for там. Это немного жаль, но похоже, что это единственный способ.

С последним обновлением я вообще не могу пропускать NVME, GPU и HBA в разные виртуальные машины. Пришлось переустановить одну из ВМ без пропуска NVME. И ещё пришлось убрать GPU passthrough на ВМ с контейнерами. Кстати, сейчас работает только этот способ, чтобы хоть что-то пропускать. Я пробовал другие методы, например, вот этот https://hsve.cc/passthrough/, и они вообще не работают.