GPU passthrough в контейнер (LXC), Proxmox Виртуальная Среда
pkr
Guest
0
22.08.2023 09:05:00
Обожаю всё, что связано с Proxmox! Создал свой первый из многих контейнеров (Ubuntu 22.04). У меня на хосте 2 x NVIDIA 2080 GPU, и я бы хотел использовать их в контейнере. Как лучше это сделать? Есть какой-нибудь подробный гайд?!
pkr
Guest
0
29.08.2023 02:14:00
У кого-нибудь есть хороший ресурс, чтобы это сделать?
dcsapak
Guest
0
29.08.2023 12:32:00
В вики нет подробной инструкции, насколько я знаю, но есть некоторое руководство, например, для Jellyfin: . В общем, нужно установить нужный драйвер NVIDIA на хост-систему, а потом следовать этому руководству (там описаны вещи, которые не только специфичны для Jellyfin, а скорее в целом показывают, как монтировать устройства GPU в контейнер).
abufrejoval
Guest
0
30.08.2023 04:28:00
Я поддерживаю моих коллег по лаборатории, запускающих CUDA-нагрузки в Docker. Они хотят Docker и CUDA, а я тоже хочу запускать VM. На oVirt/RHV я это решаю, передавая GPU V100 к одному или двум VM, которые затем запускают Nvidia augmented Docker для их CI-CD-нагрузок. Предыдущая попытка запустить Docker + CUDA бок о бок с oVirt/RHV провалилась, потому что Docker и oVirt перезаписывали сеть. Аналогично, предыдущая попытка запустить CUDA внутри контейнера OpenVZ не удалась, потому что CUDA runtime ищет определённые файлы устройств, а OpenVZ их скрывает от контейнеров. Я пытался исправить драйвера ядра OpenVZ, но без исходного кода CUDA runtime, это казалось слишком сложной задачей. Мне немного интересно, работает ли LXC с CUDA из коробки, но недостаточно, чтобы попробовать это на моих тестовых машинах Proxmox, где передача GPU к VM и переключение туда-сюда довольно затейливый процесс. И пользовательский спрос – Docker, ...который должен работать внутри LXC, но может и не хотеть. И шансы на то, что LXC+Docker+CUDA заработает без вмешательства в KVM кажутся почти нереальными. Если у вас получится, буду рад услышать, как у вас получилось. Но могу заверить вас, что CUDA на VM с GPU pass-through работает чрезвычайно просто, также на Proxmox или KVM в целом, и может быть лучшим подходом... как только у вас заработает pass-through GPU. Я не люблю "толстую" VM-виртуализацию, когда контейнеры уже должны справляться с задачей. Но когда CUDA-нагрузки практически не страдают от VM-оверхеда благодаря pass-through, прагматизм побеждает.
koloshiol
Guest
0
18.09.2023 01:15:00
Слушайте, у кого-нибудь получилось нормально установить "правильные" драйвера NVIDIA на хосте? То есть, в Proxmox 8 я скачиваю подходящий .run файл (для моей Quadro P600), а установка прерывается и говорит мне использовать пакетный менеджер Debian. Это даже после чёрного списка nouveau и 'apt remove --purge libnvcuvid1 libnvidia-encode1' (те самые два пакета, которые указаны в инструкциях Jellyfin для Debian систем). Позже, если просто пытаюсь установить эти пакеты, ничего не выходит. В итоге у меня только /dev/nvram, и не то количество элементов в /dev, которое обычно показывают в туториалах.
abufrejoval
Guest
0
19.09.2023 03:49:00
Самая большая проблема с удачей в том, что на неё нельзя положиться. Proxmox и программное обеспечение Nvidia постоянно развиваются, и даже если тебе повезёт и всё заработает, любое обновление пакетов может всё сломать. И без поддержки на уровне ядра для этой комбинации твоя удача может закончиться. Я сам часто поддаюсь этому искушению, например, пытался заставить CUDA работать на OpenVZ/Virtuozzo и в итоге оказался вынужден переписывать код ядра, чтобы хоть как-то компенсировать то, что я всё ещё называю «недоразумениями CUDA runtime». У меня закончилось время до того, как я смог заставить это работать, но хотя бы кое-что вынес. Контейнеры созданы для более эффективного обмена тем, что создано для обмена. Компьютеры изначально не предназначались для совместного использования, даже память с данными и кодом, пока не распространилась идея Джона фон Неймана, но в случае с хранилищем, процессорами, памятью и даже сетями (в которых я бы утверждал, что никогда не было «естественным» в Unix), ресурсы стали намного легче обмениваться благодаря замене (медленных) человеческих операторов (быстрыми) программными операционными системами и конструктивными изменениями, такими как отображение (хранилища), возобновляемые прерывания (CPU), отображение памяти и виртуализация (RAM) и «улучшенное» сетевое взаимодействие. Но функциональность и назначение графических процессоров менялись настолько быстро в последние десятилетия, что надлежащая архитектура, аппаратные абстракции, совместное проектирование аппаратного и программного обеспечения пока не успели догнать. Я боюсь, что они никогда не догонят, пока графические процессоры не замедлят своё развитие и не станут скучными. И один из таких аспектов, по моему мнению, можно увидеть в том, что многие хотят виртуализировать графический процессор для транскодирования... функциональность VPU, которая до того, как появились потоковое вещание и удалённые игры, оказалась на графических процессорах более-менее случайно или благодаря маркетинговым идеям, а не обдуманным решениям. VPU-движки — это блоки фиксированной функциональности, и очевидно, что графические процессоры имеют их в различном количестве, относительно не связанном с «размером» графического процессора. Обмен ими должен быть похож на обмен набором принтеров (ограниченное время, исключительное круговое чередование), и даже если Microsoft до сих пор с этим борется, это давно не ракета-наука. За исключением того, что на x86 VPU привязаны к графическим процессорам из-за этого несчастного случая и отсутствия надлежащих абстракций, как в аппаратном, так и в программном обеспечении. Но всё намного хуже с настоящим графическим процессором (графическим, а не видео), который просто не предназначен для совместного использования: в лучшем случае он имеет поддержку разделения. Поэтому помещение его под исключительный контроль выделенного виртуального компьютера может быть не только намного проще благодаря тому, что как минимум разработаны и утверждены механизмы передачи PCIe, но и лучший способ работы с ресурсом, не предназначенным для совместного использования. По моему мнению, уберечь это от головной боли Proxmox — это просто более эффективный способ использования ресурсов всех, пока xPUs, чипсеты и операционные системы не догонят.
madmaxaka
Guest
0
01.02.2024 18:37:00
У меня была та же проблема, что и у тебя. Мне тоже пришло сообщение про использование менеджера пакетов Debian для установки. Чтобы это исправить, я сделал apt remove purge nvidia*. Нужно удалить все пакеты nvidia перед запуском установщика.
Pieter1973
Guest
0
02.06.2024 21:18:00
Нашёл просто отличный способ тоже: Это сделало мою жизнь намного проще, и теперь мой Frigate NVR летает!
Hiro Protagonist
Guest
0
03.01.2025 03:07:00
Нашел просто отличный туториал, как это сделать. Веб-страницу можно найти здесь и там есть соответствующее видео на YouTube (вверху страницы), которое проведет тебя через весь процесс. Единственное, чего нет в видео или туториале, о чем стоит помнить: нужно отключить опции UEFI Secure Boot, если у тебя нет решения по подписи драйвера NVIDIA.
zolakt
Guest
0
13.03.2025 01:00:00
Я столкнулся с той же проблемой и ищу чистый способ это сделать. Мне нужно передать GPU через lxc, а затем в docker. Я знаю, что это не рекомендуемая конфигурация, но она может работать, и на мой взгляд, это наименьший удар по производительности и самый простой способ обслуживания. Обе эти инструкции работают и делают именно это: - - Однако, это требует ручной установки драйверов на хосте и во всех контейнерах lxc, которым нужен GPU. Мне нужно передать это для более чем одного lxc. Поддержание этого превратится в кошмар, особенно учитывая, что я (и обе эти инструкции) установил(а) это вручную, а не через apt. Я, вероятно, даже никогда не обновлю это, из страха, что всё развалится. Кто-нибудь знает о проверенном методе, при котором драйверы будут только на хосте, а всё остальное будет передаваться через контейнеры lxc? Я пробовал удалять драйверы из lxc и добавлять passthroughs следующим образом (в разных комбинациях .so файлов): Code: lxc.mount.entry: /usr/bin/nvidia-smi usr/bin/nvidia-smi none bind,optional,create=file lxc.mount.entry: /usr/lib/x86_64-linux-gnu/libnvidia-ml.so usr/lib/x86_64-linux-gnu/libnvidia-ml.so none bind,optional,create=file lxc.mount.entry: /usr/lib/x86_64-linux-gnu/libcuda.so usr/lib/x86_64-linux-gnu/libcuda.so none bind,optional,create=file lxc.environment: LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu Могу предоставить больше деталей, если кто-то захочет посмотреть, но я задавался вопросом, есть ли в интернете работающая инструкция, которую я мог пропустить. Я потратил часы на это и пытался заставить chatgpt решить эту проблему, но безуспешно. Чаще всего, она не может найти libnvidia-ml.so, хотя он и смонтирован. Кстати, в обеих этих инструкциях можно упростить mapping, чтобы передавать устройства через веб-интерфейс, не делая ручные записи mount, cgroups и т.д. По крайней мере, у меня это работает, при условии, что я устанавливаю драйвер no-kernel в lxc (как и в этих инструкциях). Code: dev0: /dev/nvidia0 dev1: /dev/nvidiactl dev2: /dev/nvidia-uvm dev3: /dev/nvidia-uvm-tools dev4: /dev/nvidia-caps/nvidia-cap1 dev5: /dev/nvidia-caps/nvidia-cap2
Jamie888
Guest
0
16.04.2025 07:08:00
Присматриваюсь к Unraid... Proxmox просто слишком сложный, и в последнее время не найти последовательных инструкций, которые хоть что-то значат.