Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Проблемы с созданием экземпляра mdev

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Проблемы с созданием экземпляра mdev, Proxmox Виртуальная Среда
     
    wmerkens
    Guest
    #1
    0
    19.03.2021 19:10:00
    Фоновая информация - сервер Supermicro с двумя карточками RTX 8000 - установлен NVIDIA Grid KVM для управления карточками - nvidia-smi сообщает, что все карточки в порядке. - карточки находятся в слотах 00000:01:00.0 и 0000:41:00.0 Когда я загружаю систему и перехожу в ВМ, под аппаратным обеспечением добавляю PCI-устройство - выбираю устройство 0000:01:00.0 - выбираю из списка mdev nvidia-xxx, в моем случае 4xx - сначала в списке будут все nvidia-xxx с доступными единицами, например 402 имеет 32, 403 имеет 24, 404 имеет 32 и т.д. - все функции серые, потому что эти карточки не имеют выводов на дисплей или аудиофункций - оставляю основной GPU незамеченным, не использую карточки для вывода видео - PCI-Express отмечен (оставлял и не отмеченным) - ROM-Bar по умолчанию отмечен. Если я запускаю qm start 108 (108 была ВМ, которую я тестировал), получаю такие ошибки ]root@mtvmserver:~# qm start 108 kvm: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:01:00.0/00000000-0000-0000-0000-000000000108,id=hostpci0,bus=ich9-pcie-port-1,addr=0x0: vfio 00000000-0000-0000-0000-000000000108: ошибка получения устройства из группы 153: Время соединения истекло. Убедитесь, что все устройства в группе 153 привязаны к vfio-<bus> или pci-stub и не находятся в использовании. старт не удался: QEMU вышел с кодом 1. Или я получаю такое, если переключаюсь на другую карточку root@mtvmserver:~# qm start 108 kvm: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:41:00.0/00000000-0000-0000-0000-000000000108,id=hostpci0,bus=pci.0,addr=0x10: vfio /sys/bus/pci/devices/0000:41:00.0/00000000-0000-0000-0000-000000000108: нет такого устройства: Нет такого файла или директории. старт не удался: QEMU вышел с кодом 1. Если я редактирую /etc/pve/qemu-server/108.conf и добавляю args: -uuid 00000000-0000-0000-0000-000000000108, а затем переключаюсь обратно на карточку 01, тогда я получаю root@mtvmserver:~# qm start 108 экземпляр mdev '00000000-0000-0000-0000-000000000108' уже существует, используем его. kvm: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:01:00.0/00000000-0000-0000-0000-000000000108,id=hostpci0,bus=ich9-pcie-port-1,addr=0x0: предупреждение: vfio 00000000-0000-0000-0000-000000000108: Не удалось включить восстановление ошибок для устройства. Почему мне нужно использовать аргумент: -uuid, чтобы принудить создание директорий root@mtvmserver:~# ls -la /sys/bus/pci/devices/0000\:01\:00.0/ всего 0 drwxr-xr-x 10 root root 0 19 мар 11:15 . drwxr-xr-x 9 root root 0 19 мар 11:15 .. drwxr-xr-x 4 root root 0 19 мар 11:24 00000000-0000-0000-0000-000000000102 drwxr-xr-x 4 root root 0 19 мар 11:22 00000000-0000-0000-0000-000000000108. Почему в списке mdev теперь все "0", кроме одного, который я выбрал изначально, в моем случае nvidia-405 с количеством теперь 21. Это, похоже, происходит после того, как я хотя бы раз запустил ВМ, после этого я не могу выбрать другое mdev устройство на той же карточке, и другие ВМ сталкиваются с такой же проблемой. Если затем переключаем другую ВМ на карточку 41, я снова вижу много доступных, но не на карточке 01. Я приложил несколько скриншотов, чтобы показать диалоговое окно, о котором идет речь, PCI-устройства
     
     
     
    mishki
    Guest
    #2
    0
    07.06.2021 17:18:00
    Как ты решил эту проблему?
     
     
     
    wmerkens
    Guest
    #3
    0
    07.06.2021 19:48:00
    Оказалось, что у нас было недостаточно знаний о том, как работает mdev. Когда вы назначаете лицензию Nvidia grid первой карте на первой виртуальной машине, она устанавливает выбор лицензии для каждой следующей карты, назначенной следующей виртуальной машине. Те номера, которые вы видите, соответствуют типу лицензии, на который Nvidia имеет документ, также чем больше vGPU вы назначаете карте, тем меньше будет доступный фрейм-беги для vGPU. Это застало нас врасплох, когда мы использовали NVENC/NVDEC vGPU. Как только я понял соответствия и какие есть ограничения, стало просто убрать все карты со всех виртуальных машин, чтобы сбросить настройки и потом выбрать другую лицензию, например, поменять с лицензии на 8 vGPU на лицензию на 24 vGPU на карту (nvidia--405 на nvidia-402, как я полагаю). Одна из проблем, которую вы можете увидеть на скриншотах, это то, что поле выбора слишком узкое, действительно нужно видеть скрытые столбцы, ProxMox нужно это исправить. Что касается проблемы с запуском, Proxmox нужно добавить строки Code: args: -uuid 00000000-0000-0000-0000-000000000108 в конфигурации этих виртуальных машин, когда вы создаете виртуальные машины на базе графического драйвера, я пока делаю это вручную.
     
     
     
    mishki
    Guest
    #4
    0
    08.06.2021 10:35:00
    Да, это тоже работает для меня. Спасибо за информацию. Если не трудно, ответь на пару вопросов. Вопросы о драйверах: 1. На Proxmox мне нужно использовать NVIDIA-Linux-x86_64-460.73.02-vgpu-kvm.run? 2. На виртуальной машине с Windows 10 могу воспользоваться драйвером с https://www.nvidia.com/Download/index.aspx? (466.11-quadro-rtx-desktop-notebook-win10-64bit-international-dch-whql.exe)? Или тем, что в архиве? (462.31_grid_win10_server2016_server2019_64bit_international.exe). По поводу Proxmox: были ли сделаны другие настройки в Proxmox? (кроме редактирования /etc/kernel/cmdline и добавления: intel_iommu=on)
     
     
     
    wmerkens
    Guest
    #5
    0
    08.06.2021 16:02:00
    Установка от Nvidia делится на три части: драйвер хоста, который является тем самым драйвером, драйвер для виртуальной машины NVIDIA-Linux-x86_64-460.73.01-grid.run или его аналог для Windows и сервер лицензий, который можно просто запустить в виртуальной машине. Нет, я так не думаю, нужно использовать версию grid, иначе вы, вероятно, получите ту же ошибку, которую показывает Linux, когда вы используете не grid-драйвер в виртуальной машине, а именно обнаружение неправильной карты или драйвера. Обычно, когда вы используете grid, вы скачиваете с портала лицензий/grid страницу NVIDIA-GRID-Linux-KVM-460.73.02-460.73.01-462.31.zip. Это содержит все необходимые части, плюс документацию, также включает 462.31_grid_server2012R2_64bit_international.exe и 462.31_grid_win10_server2016_server2019_64bit_international.exe. Я полагаю, вам нужно использовать второй для виртуальной машины на Windows 10. Да, убедитесь, что nouveau не загружен и не установлен. Если планируете использовать карту в режиме passthrough, вам нужно будет создать файл vfio-pci.conf в /etc/modprobe.d с опциями vfio-pci ids=10de:1e30,10de:10f7,10de:1ad6,10de:1ad7. Например, для пройдите через rtx 6000 в /etc/default/grub я использовал amd_iommu=on iommu=pt. Надеюсь, это поможет.
     
     
     
    mishki
    Guest
    #6
    0
    10.06.2021 13:16:00
    Спасибо за подробные ответы. Как думаешь, разработчики Proxmox могут это исправить? Опубликовано в теме релизов. ________ Похоже, что я добился того, чтобы все работало (только pve-kernel-5.4.xxx-pve):
     
     
     
    wmerkens
    Guest
    #7
    0
    10.06.2021 16:41:00
    Я подал запрос на улучшение функции.
     
     
     
    Douglas
    Guest
    #8
    0
    15.06.2021 01:38:00
    Привет, @wmerkens, у меня такая же проблема, на RedHat всё работает отлично с Quadro RTX8000. Какую версию Proxmox ты используешь? Я попробую с той же версией. Уже добавил uuid в файл, но система не загружается. Добавлю: какую версию драйвера nvidia vgpu ты используешь?
     
     
     
    mishki
    Guest
    #9
    0
    15.06.2021 13:23:00
    Я не в курсе, но использую последние обновления: Proxmox 6.4-8: pve-kernel-5.4.119-1-pve pve-headers-5.4.119-1-pve apt install build-essential gcc-multilib dkms NVIDIA-Linux-x86_64-460.32.04-vgpu-kvm.run Виртуальная машина: qm config 825: Код: agent: 1 args: -uuid 00000000-0000-0000-0000-000000000825 bios: ovmf boot: order=scsi0 cores: 8 efidisk0: ssdlvm:vm-825-disk-1,size=128K hostpci0: 0000:18:00.0,mdev=nvidia-444,pcie=1,x-vga=1 machine: pc-q35-5.2 memory: 16384 name: w10showdesktop net0: virtio=E6:D0:71:79:B6:4A,bridge=vmbr0,firewall=1 numa: 1 ostype: win10 scsi0: ssdlvm:vm-825-disk-0,cache=writeback,discard=on,size=100G scsihw: virtio-scsi-pci smbios1: uuid=e7cb7505-4cb4-482e-9111-4f36fc23926c sockets: 1 vga: virtio vmgenid: d58d4539-b7d4-4a1b-94fb-d4244e167416 какой вывод: qm start XXX?
     
     
     
    Douglas
    Guest
    #10
    0
    15.06.2021 14:53:00
    Привет, @mishki. Только версия proxmox и драйвера nvidia совпадает с твоей. Я обновлю ядро и попробую снова. Вывод команды qm start vmid: root@bkloud-lab:~# qm start 100 kvm: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:3b:00.0/00000000-0000-0000-0000-000000000100,id=hostpci0,bus=pci.0,addr=0x10,rombar=0: vfio 00000000-0000-0000-0000-000000000100: ошибка при получении устройства из группы 62: время ожидания истекло. Проверь все устройства в группе 62, чтобы они были связаны с vfio-<bus> или pci-stub и не использовались. Запуск не удался: QEMU завершился с кодом 1. Я нашел это в syslog: 14 июня 20:46:14 bkloud-lab nvidia-vgpu-mgr[3337]: ошибка: vmiop_env_log: не удалось получить UUID VM из командной строки QEMU 0x57 14 июня 20:46:14 bkloud-lab nvidia-vgpu-mgr[3337]: ошибка: vmiop_env_log: kvm_plugin_global_init завершился с ошибкой 0x57 14 июня 20:46:25 bkloud-lab kernel: [584.276249] [nvidia-vgpu-vfio] 00000000-0000-0000-0000-000000000101: запуск не удался. статус: 0x65 Время ожидания истекло. Конфигурация vm: root@bkloud-lab:~# qm config 100 args: --uuid 00000000-0000-0000-0000-000000000100 bios: ovmf bootdisk: ide0 cores: 8 cpu: host efidisk0: local-lvm:vm-100-disk-1,size=4M hostpci0: 3b:00.0,mdev=nvidia-264,rombar=0 ide0: local-lvm:vm-100-disk-0,cache=writeback,size=61G ide2: local:iso/Windows10__2020_.iso,media=cdrom memory: 16384 имя: Windows10 net0: e1000=E2:15:D5:FE:05:85,bridge=vmbr0 numa: 0 ostype: win10 smbios1: uuid=b871a7b1-baa3-475c-af2e-567e69012d2f sockets: 1 vmgenid: cb4f22c4-65d2-4a0c-a4fc-ada3b98f1042
     
     
     
    mishki
    Guest
    #11
    0
    15.06.2021 15:23:00
    args: -uuid 00000000-0000-0000-0000-000000000100
     
     
     
    Douglas
    Guest
    #12
    0
    16.06.2021 02:57:00
    Ну...это работает. Когда exec qm start vmid, появляется это предупреждение, но запускается все равно. kvm: -device vfio-pci,sysfsdev=/sys/bus/pci/devices/0000:3b:00.0/00000000-0000-0000-0000-000000000103,id=hostpci0,bus=ich9-pcie-port-fio 00000000-0000-0000-0000-000000000103: Не удалось включить восстановление ошибок для устройства Спасибо большое.
     
     
     
    wmerkens
    Guest
    #13
    0
    18.06.2021 19:25:00
    Я тоже это получаю, даже когда эта функция включена в BIOS, она, похоже, не работает.
     
     
     
    AxelTwin
    Guest
    #14
    0
    26.01.2022 10:16:00
    для тех, кого это интересует: https://wvthoog.nl/proxmox-7-vgpu/
     
     
     
    lexel
    Guest
    #15
    0
    26.05.2022 08:26:00
    Как получить/назначить лицензии Nvidia grid?
     
     
     
    mishki
    Guest
    #16
    0
    27.05.2022 21:41:00
    Сервер лицензий Nvidia должен быть установлен где-то, лицензии необходимо покупать в зависимости от конфигурации. Но есть и другой способ: драйверы и разблокировка (Nvidia удалила все наши аккаунты, купленные лицензии и доступ к порталу соответственно).
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры