Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    NUMA вопросы снова

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    NUMA вопросы снова, Proxmox Виртуальная Среда
     
    cwiggs
    Guest
    #1
    0
    28.11.2023 18:12:00
    Я прочитал вики NUMA здесь: https://pve.proxmox.com/wiki/NUMA и руководство администратора, касающееся NUMA здесь: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_virtual_machines_settings, но у меня всё ещё остались вопросы.

    * Полезен ли NUMA только в том случае, если у вашего PVE *хоста* больше одного физического процессора?
    * В документации сказано, что при включении NUMA нужно настроить ВМ с включённым NUMA на такое же количество vCPUs, как у хоста. Это кажется проблематичным, если я не хочу, чтобы ВМ использовала все ресурсы процессора хоста? Например, у меня 4 физических процессора, и я настроил ВМ на 4 vCPUs, и ВМ использует 100% ресурсов процессора. Это может негативно повлиять на хост и/или другие ВМ.
    * В документации сказано, что NUMA обязателен для горячей замены процессоров и памяти. Если ваше оборудование не поддерживает NUMA, значит ли это, что нельзя использовать горячую замену процессоров и памяти, или же следует всё равно включать NUMA, чтобы получить горячую замену процессоров и памяти, но не получить других преимуществ NUMA?

    Спасибо.
     
     
     
    gurubert
    Guest
    #2
    0
    29.11.2023 10:36:00
    Говорят, рекомендуется устанавливать количество сокетов для ВМ равным количеству NUMA-узлов (физических сокетов процессора), которые у вас есть. Это не то же самое, что vCPU.
     
     
     
    Dunuin
    Guest
    #3
    0
    29.11.2023 10:48:00
    Возможно, стоит использовать NUMA даже при одном сокете, если вы используете многочиповый процессор, например, Ryzen 5900X.
     
     
     
    cwiggs
    Guest
    #4
    0
    29.11.2023 21:15:00
    Ах, ты прав, я не так понял. Значит, если у хоста 2 физических CPU, то я должен настроить VM с NUMA и 2 физическими сокетами, а количество vCPU может быть любым? Ого, интересно. А `numactl` показывает больше одного "узла" на платформе 5900x?
     
     
     
    Ramalama
    Guest
    #5
    0
    29.05.2024 15:46:00
    Зацени мою тему: https://forum.proxmox.com/threads/iperf3-speed-same-node-vs-2-nodes-found-a-bug.146805 Особенно мои последние 2 поста. Iperf без Numa = 14 ГБ/с, Iperf с Numa = 40 ГБ/с. Это не "незначительная" разница. Пока что, единственный выход, который у меня есть, — это привязка процессора, но надеюсь, что в какой-то момент Proxmox начнёт поддерживать Numa.

    Cheers.

    P.S. Я даже могу разделить ресурсы по L3-кэшу, чтобы получить 8 Numa-нод (по одной на каждый L3-кэш), вместо 4 (по одной на каждый CCD). И я это тестировал, и это даёт ещё больше производительности, но разница не стоит тех головных болей, связанных с 8 нодами, так как каждая numa-нода имеет всего 8 ядер для работы, и это однозначно слишком мало. 4 Numa-ноды дают минимум 16 ядер, так что это хороший баланс. Привязка процессора, которую нужно делать для 8 Numa-нод, слишком трудоёмкая. 4 — это хотя бы в какой-то степени проще в управлении. Если бы Proxmox мог динамически назначать ядра одного ВМ, чтобы они работали на одной Numa-ноде, я бы однозначно перешёл на 8 Numa-нод ради ещё большей производительности. И разница в производительности, если многопоточное приложение внутри вашей ВМ работает на одной Numa-ноде против работы на разных CCD, просто безумная, в большинстве случаев скорость в 2-3 раза выше. Если многопоточное приложение обменивается данными между ядрами (например, любое многопоточное сжатие), то прирост скорости ещё больше.

    Cheers.
     
     
     
    scruel
    Guest
    #6
    0
    21.04.2025 13:17:00
    Привет, ты помнишь, какие команды ты запускал, чтобы получить эти два результата? Iperf без Numa = 14 ГБ/с, Iperf с Numa = 40 ГБ/с. Спасибо!
     
     
     
    leesteken
    Guest
    #7
    0
    29.11.2023 21:19:00
    Обычно это воспринимается как 1 нод, но мне (5950X) всё ещё нужно поэкспериментировать с настройками BIOS, которые показывают оба CCD как отдельные ноды. Задержка памяти одинаковая, но L3 кэш разделен между CCD. Ядро Linux стало лучше справляться с этим в новых версиях, так что я не знаю, стоит ли это усилий. К тому же, один CCD обычно из быстрой партии, а другой — из медленной, поэтому фиксация ядер, возможно, не лучший вариант в целом. Кто-нибудь, пожалуйста, поправьте меня, если я где-то не прав.
     
     
     
    cwiggs
    Guest
    #8
    0
    04.12.2023 15:58:00
    Единственный вопрос, на который у меня пока нет ответа: * Документация гласит, что NUMA необходима для поддержки горячей замены CPU и памяти. Если ваше оборудование не поддерживает NUMA, это значит, что вы не сможете реализовать горячую замену CPU и памяти, или же стоит всё равно включить NUMA для горячей замены CPU и памяти, но при этом лишиться других преимуществ NUMA? Кто-нибудь знает об этом? У меня нет нескольких сокетов CPU, но я включал NUMA и не уверен, стоит ли это делать или нет.
     
     
     
    leesteken
    Guest
    #9
    0
    04.12.2023 16:00:00
    Всё в порядке. Проблем с включением опции VM NUMA на односокетном (или другой UMA-системе) нет.
     
     
     
    Ramalama
    Guest
    #10
    0
    28.05.2024 13:48:00
    У меня ещё один вопрос. Допустим, я дам VM с 4 vCPU, а у хоста 4 Numa Domains, каждый домен с 16 ядрами. Proxmox будет отдавать предпочтение/фиксировать эти 4 vCPU/потока к одному Numa Domain хоста? Если да, то это было бы замечательно, потому что VM может быть старой/устаревшей и т.д., и многопоточные задачи внутри VM не нужно будет беспокоиться о Numa. То есть внутри VM вообще не нужна поддержка Numa. Если нет, то какой тогда смысл в numa? Допустим, я включу numa для этой VM и установлю 4 Socket с 1 Core, как говорит документация Proxmox (вместо 1 Socket с 4 vCPU). Ядра внутри VM не будут иметь общий доступ к L3 кэшу или доступ к нему будет очень медленным, поэтому CPU должны отправлять всё в память, что будет намного медленнее... Тогда, по крайней мере с моей точки зрения, вы делаете ровно наоборот, замедляете всё. Может, кто-то сможет лучше объяснить это, в случае Milan/Rome/Genoa CPU с 4 Chiplet на Socket. Cheers.
     
     
     
    Ramalama
    Guest
    #11
    0
    28.05.2024 23:38:00
    Доступно: 4 узла (0-3)
    узел 0 cpus: 0 1 2 3 4 5 6 7 32 33 34 35 36 37 38 39
    узел 0 размер: 193205 МБ
    узел 0 свободно: 133719 МБ
    узел 1 cpus: 8 9 10 11 12 13 14 15 40 41 42 43 44 45 46 47
    узел 1 размер: 193530 МБ
    узел 1 свободно: 184164 МБ
    узел 2 cpus: 16 17 18 19 20 21 22 23 48 49 50 51 52 53 54 55
    узел 2 размер: 193489 МБ
    узел 2 свободно: 181114 МБ
    узел 3 cpus: 24 25 26 27 28 29 30 31 56 57 58 59 60 61 62 63
    узел 3 размер: 193487 МБ
    узел 3 свободно: 174892 МБ
    расстояния между узлами:
    узел   0   1   2   3
     0:  10  12  12  12
     1:  12  10  12  12
     2:  12  12  10  12
     3:  12  12  12  10

    Ну, после небольшого тестирования могу сказать, что NUMA работает отлично в LXC контейнерах. А в виртуальных машинах — совсем не работает, неважно, включена или выключена опция NUMA в настройках VM. Proxmox или KVM просто случайным образом выбирают ядра из разных NUMA-узлов и не пытаются выбрать доступные ядра для VM из одного NUMA-узла. Так что вся эта концепция абсолютно бессмысленна. Просто передача возможностей NUMA VM, чтобы VM знала, из какого узла ядро, тоже бессмысленна для большинства приложений. Разве что для тех, которые умеют работать с NUMA (их не так много), но даже они будут работать значительно медленнее, как если бы они были на одном NUMA-узле. LXC контейнеры, почему-то (по крайней мере, те, что на Ubuntu 5/6/8 (я тестировал только их), работают, например, команда "stress --cpu 4/6/8" всегда выполняется точно на одном NUMA-узле, что весьма приятно. Непонятно, почему никто не жалуется... Обязательно нужно покопаться глубже, как мне можно реализовать это динамически, без привязки ядер CPU. Привязка ядер CPU невозможна с 30 VM на кластере, особенно если их перегонять с места на место. Даже если идеально распределить эти 4 NUMA-узла, после некоторых миграций узел 1 получит 100% загрузки CPU, а узел 4 будет простаивать на 0%... Значит, должен быть какой-то динамический способ, чтобы Proxmox назначал ядра от одной VM к одному NUMA-узлу. Ядро не может этого сделать, так как оно не знает, какие задачи связаны с какой VM (vCPU).
    Cheers
     
     
     
    VictorSTS
    Guest
    #12
    0
    29.05.2024 13:19:00
    На Epyc gen2 и выше можно легко использовать NPS=1, эффективно используя один NUMA-нод для всего процессора с незначительными потерями в производительности (по данным AMD) [1]. Я использую NPS=1 и никогда не беспокоился о проблемах NUMA. [1] https://www.amd.com/system/files/documents/4th-gen-epyc-processor-architecture-white-paper.pdf (страница 13)
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры