Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Стандартный драйвер Ice Kernel 6 – ужасная производительность.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Стандартный драйвер Ice Kernel 6 – ужасная производительность., Proxmox Виртуальная Среда
     
    arthdark
    Guest
    #1
    0
    20.09.2023 15:13:00
    Okay, let's break down the information you've provided and what it likely means.

    **What you've given us:**

    *   **Network Setup:** You're testing network performance between two servers (likely within a cluster or data center) named `SV4` and `SV6`.  `SV4` acts as the server (the one receiving the data) and `SV6` acts as the client (the one sending the data).
    *   **iperf Tests:** You're using the `iperf` tool (a network performance measurement tool) to generate and measure data transfer rates.
       *   `-c SV4`: Specifies that `iperf` on `SV6` should connect to server `SV4`.
       *   `-T s1`: Runs the test for 1 second.
       *   `-P 12`: Uses 12 parallel streams/connections. This helps saturate the network connection better.
       *   `-l 32768`: Sends packets with a length of 32768 bytes (32 KB).
       *   `-w 128M`: Sets the TCP window size to 128 MB.  This can improve performance by allowing more data to be in flight before an acknowledgment is needed.
       *   `-R`:  Enables reverse test mode.  `iperf` on `SV4` (the server) sends data to `SV6` (the client).  The results you're seeing are the results of this *reverse* test.
       *   `-t 15`: Runs the test for 15 seconds.

    *   **Kernel Module Info:** You're displaying information about the `ice` kernel driver (likely related to network interface cards). This includes:
       *   Dependencies: It depends on `retpoline`.
       *   `intree`:  Indicates that the driver is built into the kernel (as opposed to being a loadable module).
       *   Signatures:  Shows the digital signatures of the driver for security verification.

    **Analysis & Likely Conclusions**

    1.  **Good Network Performance:** The iperf results you are getting are quite good.  You've consistently achieved bandwidths around 22-23 Gbps (Gigabits per second). This suggests a fast network connection (likely 40Gbps or higher, taking into account overhead) between your servers.
    2.  **Saturated Connection:** The use of multiple streams (`-P 12`) and a decent packet size (`-l 32768`) indicates that you've likely saturated the network connection. It's sending as much data as the hardware can handle.
    3.  **Retpoline Dependency:**  The `retpoline` dependency means that the kernel is using a mitigation for certain CPU vulnerabilities (Spectre/Meltdown).  This might have a small performance impact.
    4.  **ICE Driver:** The `ice` driver is specific to the network card used.  The fact that it's signed and built into the kernel indicates a stable and reliable hardware setup.
    5.  **Reverse Test Mode:** Testing in both directions (forward and reverse) is good practice to check for asymmetrical network conditions. Both tests show similar results.

    **Possible Next Steps (depending on what you're trying to achieve)**

    *   **Baseline:** This seems to be a reasonable baseline.
    *   **Compare to Application Performance:** Run this iperf test with the same network setup as your production applications and compare performance.
    *   **Tuning:** If you need even higher performance, you might explore:
       *   TCP tuning parameters (window sizes, congestion control algorithms).
       *   Hardware offload capabilities of your network interface cards.
       *   Jumbo frames (if supported by all devices in the path).

    Let me know if you have any more questions or would like me to elaborate on a particular aspect of this information.
     
     
     
    fred9461
    Guest
    #2
    0
    23.12.2023 04:48:00
    Привет! У меня тоже проблемы с производительностью моей карты Intel E810 на 100Gbit с драйвером по умолчанию. Чтобы убедиться, что дело в драйвере, хочу попробовать драйвер от Intel. Не могли бы вы объяснить, как его собирать (у меня были ошибки про kernel devel), а потом устанавливать? Спасибо!
     
     
     
    skkostas
    Guest
    #3
    0
    05.02.2024 16:48:00
    Привет, нашёл ты решение? Если нет, скажи, помогу! Я уже сам разобрался с проблемой.
     
     
     
    fred9461
    Guest
    #4
    0
    06.02.2024 00:01:00
    Привет! Нет, я был довольно занят после своего поста и не мог этим заняться. Если у тебя есть способ продвинуться дальше и ты можешь им поделиться, я с удовольствием попробую! Спасибо.
     
     
     
    skkostas
    Guest
    #5
    0
    06.02.2024 11:17:00
    Моя система:
    proxmox-ve: 8.1.0 (ядро: 6.5.11-8-pve)
    pve-manager: 8.1.3 (версия: 8.1.3/b46aac3b42da5d15)
    proxmox-kernel-helper: 8.1.0
    pve-kernel-6.2: 8.0.5
    proxmox-kernel-6.5: 6.5.11-8
    proxmox-kernel-6.5.11-8-pve-signed: 6.5.11-8
    proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7
    proxmox-kernel-6.2.16-20-pve: 6.2.16-20
    proxmox-kernel-6.2: 6.2.16-20
    pve-kernel-6.2.16-4-pve: 6.2.16-5
    pve-kernel-6.2.16-3-pve: 6.2.16-3
    ceph: 17.2.7-pve1
    ceph-fuse: 17.2.7-pve1
    corosync: 3.1.7-pve3
    criu: 3.17.1-2
    glusterfs-client: 10.3-5
    ifupdown2: 3.2.0-1+pmx7
    ksm-control-daemon: 1.4-1
    libjs-extjs: 7.0.0-4
    libknet1: 1.28-pve1
    libproxmox-acme-perl: 1.5.0
    libproxmox-backup-qemu0: 1.4.1
    libproxmox-rs-perl: 0.3.3
    libpve-access-control: 8.0.7
    libpve-apiclient-perl: 3.3.1
    libpve-common-perl: 8.1.0
    libpve-guest-common-perl: 5.0.6
    libpve-http-server-perl: 5.0.5
    libpve-network-perl: 0.9.5
    libpve-rs-perl: 0.8.7
    libpve-storage-perl: 8.0.5
    libspice-server1: 0.15.1-1
    lvm2: 2.03.16-2
    lxc-pve: 5.0.2-4
    lxcfs: 5.0.3-pve4
    novnc-pve: 1.4.0-3
    proxmox-backup-client: 3.1.2-1
    proxmox-backup-file-restore: 3.1.2-1
    proxmox-kernel-helper: 8.1.0
    proxmox-mail-forward: 0.2.2
    proxmox-mini-journalreader: 1.4.0
    proxmox-widget-toolkit: 4.1.3
    pve-cluster: 8.0.5
    pve-container: 5.0.8
    pve-docs: 8.1.3
    pve-edk2-firmware: 4.2023.08-2
    pve-firewall: 5.0.3
    pve-firmware: 3.9-1
    pve-ha-manager: 4.0.3
    pve-i18n: 3.1.5
    pve-qemu-kvm: 8.1.2-6
    pve-xtermjs: 5.3.0-3
    qemu-server: 8.0.10
    smartmontools: 7.3-pve1
    spiceterm: 3.3.0
    swtpm: 0.8.0+pve1
    vncterm: 1.8.0
    zfsutils-linux: 2.2.2-pve1

    Необходимо сделать это на всех узлах кластера.
    Установите:
    ```
    apt-get install pve-headers
    ```
    Перезагрузите узел.
    ```
    apt install make cmake tar zfx ice-1.13.7.tar.gz
    cd ice-1.13.7/src
    make
    make install
    reboot
    ```
    После обновления и перезагрузки:
    ```
    modinfo ice
    ```
    Мой ice mod:
    ```
    filename:       /lib/modules/6.5.11-8-pve/updates/drivers/net/ethernet/intel/ice/ice.ko
    firmware:       intel/ice/ddp/ice.pkg
    version:        1.13.7
    license:        GPL v2
    description:    Intel® Ethernet Connection E800 Series Linux Driver
    author:         Intel Corporation, <linux.nics@intel.com>
    srcversion:     3EB4549D125EAA59F08D047
    alias:          pci:v00008086d00001888sv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Fsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Esv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Dsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Csv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Bsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000159Asv*sd*bc*sc*i*
    alias:          pci:v00008086d00001599sv*sd*bc*sc*i*
    depends:        gnss
    retpoline:      Y
    name:           ice
    vermagic:       6.5.11-7-pve SMP preempt mod_unload modversions
    parm:           debug:netif level (0=none,...,16=all) (int)
    parm:           fwlog_level:FW event level to log. All levels <= to the specified value are enabled. Values: 0=none, 1=error, 2=warning, 3=normal, 4=verbose. Invalid values: >=5
    (ushort)
    parm:           fwlog_events:FW events to log (32-bit mask)
    (long)
    ```
     
     
     
    fred9461
    Guest
    #6
    0
    06.02.2024 14:28:00
    Спасибо! После твоих инструкций, мой modinfo ice показывает точно такую же версию, как у тебя, на обоих моих тестовых узлах PVE (версия: 1.13.7 и srcversion: 3EB4549D125EAA59F08D047), так что, похоже, я теперь использую Intel ICE driver.

    Пока что я не вижу никаких улучшений на моей 100Gbit-связи. Я использую один 100Gb direct attach кабель от pve1 к pve2, чтобы избежать любых других взаимодействий (нет коммутатора, DA подключен от E810 на pve1 к другому E810 на pve2).

    Когда запускаю iperf -c pve2 -T s1 -P 12 -l 32768 -w 128M -R -t 15, получаю только ~44 Gbits/sec с 12 потоками, детали ниже:

    Code:
    [ ID] Interval Transfer Bandwidth
    [ *8] 0.0000-15.0126 sec 6.14 GBytes 3.52 Gbits/sec
    [ *2] 0.0000-15.0109 sec 6.55 GBytes 3.75 Gbits/sec
    [ *1] 0.0000-15.0072 sec 6.80 GBytes 3.89 Gbits/sec
    [ *5] 0.0000-15.0078 sec 5.91 GBytes 3.39 Gbits/sec
    [ *7] 0.0000-15.0120 sec 6.40 GBytes 3.66 Gbits/sec
    [ *3] 0.0000-15.0079 sec 7.23 GBytes 4.14 Gbits/sec
    [ *6] 0.0000-15.0074 sec 6.53 GBytes 3.74 Gbits/sec
    [*12] 0.0000-15.0132 sec 6.59 GBytes 3.77 Gbits/sec
    [ *9] 0.0000-15.0111 sec 5.68 GBytes 3.25 Gbits/sec
    [*10] 0.0000-15.0193 sec 6.91 GBytes 3.95 Gbits/sec
    [*11] 0.0000-15.0190 sec 6.28 GBytes 3.59 Gbits/sec
    [ *4] 0.0000-15.0185 sec 5.54 GBytes 3.17 Gbits/sec
    [SUM] 0.0000-15.0191 sec 76.6 GBytes 43.8 Gbits/sec

    Два дополнительных комментария:
    - Я перезагрузился после команды make install
    - Я получал примерно такую же скорость с предыдущими драйверами (версией ядра).

    Какие есть идеи?
     
     
     
    skkostas
    Guest
    #7
    0
    06.02.2024 15:31:00
    Пожалуйста, выложите вывод команд `pveversion -v`, `uname -a` и `modinfo ice` после перезагрузки обоих узлов.
     
     
     
    cfgmgr
    Guest
    #8
    0
    06.02.2024 15:55:00
    Кстати, совсем не по теме, но я работаю с поддержкой Intel над E810 на системах Ubuntu 20.04 и столкнулся с кучей... интересных проблем. Штатный драйвер (который идет по умолчанию с 20.04) явно очень слабый. Обновление прошивки на картах тоже оказалось непростым, потому что 20.04, похоже, не поддерживает "devlink region". С текущей прошивкой... 4.40 и последним драйвером 1.13.7 у нас всё в порядке. Драйвер 1.12.7 тоже, как мне кажется, неплох, но новый драйвер (1.13.7) и прошивка 4.40 вышли примерно на праздники. Были проблемы с настройкой агрегирования каналов (MLAG) и картой, которая отваливалась от шины и перезагружалась. Если у вас не самая свежая прошивка (и обновленный драйвер), думаю, это могло бы помочь. У нас Mellanox для узлов Proxmox, и с ними всё отлично. Думаю, Intel тоже неплохо (при условии, что у вас последние драйвер и прошивка). Управлять нештатным драйвером (даже на Ubuntu) - не самая приятная забава.
     
     
     
    fred9461
    Guest
    #9
    0
    06.02.2024 16:13:00
    pveversion -v результат: Код: proxmox-ve: 8.1.0 (ядро: 6.5.11-8-pve)
    pve-manager: 8.1.4 (версия: 8.1.4/ec5affc9e41f1d79)
    proxmox-kernel-helper: 8.1.0
    proxmox-kernel-6.5: 6.5.11-8
    proxmox-kernel-6.5.11-8-pve-signed: 6.5.11-8
    proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7
    proxmox-kernel-6.5.11-4-pve-signed: 6.5.11-4
    ceph: 18.2.1-pve2
    ceph-fuse: 18.2.1-pve2
    corosync: 3.1.7-pve3
    criu: 3.17.1-2
    glusterfs-client: 10.3-5
    ifupdown2: 3.2.0-1+pmx8
    ksm-control-daemon: 1.4-1
    libjs-extjs: 7.0.0-4
    libknet1: 1.28-pve1
    libproxmox-acme-perl: 1.5.0
    libproxmox-backup-qemu0: 1.4.1
    libproxmox-rs-perl: 0.3.3
    libpve-access-control: 8.0.7
    libpve-apiclient-perl: 3.3.1
    libpve-common-perl: 8.1.0
    libpve-guest-common-perl: 5.0.6
    libpve-http-server-perl: 5.0.5
    libpve-network-perl: 0.9.5
    libpve-rs-perl: 0.8.8
    libpve-storage-perl: 8.0.5
    libspice-server1: 0.15.1-1
    lvm2: 2.03.16-2
    lxc-pve: 5.0.2-4
    lxcfs: 5.0.3-pve4
    novnc-pve: 1.4.0-3
    proxmox-backup-client: 3.1.4-1
    proxmox-backup-file-restore: 3.1.4-1
    proxmox-kernel-helper: 8.1.0
    proxmox-mail-forward: 0.2.3
    proxmox-mini-journalreader: 1.4.0
    proxmox-offline-mirror-helper: 0.6.4
    proxmox-widget-toolkit: 4.1.3
    pve-cluster: 8.0.5
    pve-container: 5.0.8
    pve-docs: 8.1.3
    pve-edk2-firmware: 4.2023.08-3
    pve-firewall: 5.0.3
    pve-firmware: 3.9-1
    pve-ha-manager: 4.0.3
    pve-i18n: 3.2.0
    pve-qemu-kvm: 8.1.5-1
    pve-xtermjs: 5.3.0-3
    qemu-server: 8.0.10
    smartmontools: 7.3-pve1
    spiceterm: 3.3.0
    swtpm: 0.8.0+pve1
    vncterm: 1.8.0
    zfsutils-linux: 2.2.2-pve1
    uname -a результат: Код: Linux pve91 6.5.11-8-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-8 (2024-01-30T12:27Z) x86_64 GNU/Linux
    modinfo ice результат: Код:
    filename:       /lib/modules/6.5.11-8-pve/updates/drivers/net/ethernet/intel/ice/ice.ko
    firmware:       intel/ice/ddp/ice.pkg
    version:        1.13.7
    license:        GPL v2
    description:    Intel® Ethernet Connection E800 Series Linux Driver
    author:         Intel Corporation, <linux.nics@intel.com>
    srcversion:     3EB4549D125EAA59F08D047
    alias:          pci:v00008086d00001888sv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Fsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Esv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Dsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000579Csv*sd*bc*sc*i*
    alias:          pci:v00008086d0000151Dsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000124Fsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000124Esv*sd*bc*sc*i*
    alias:          pci:v00008086d0000124Dsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000124Csv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Bsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000159Bsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000159Asv*sd*bc*sc*i*
    alias:          pci:v00008086d00001599sv*sd*bc*sc*i*
    alias:          pci:v00008086d00001593sv*sd*bc*sc*i*
    alias:          pci:v00008086d00001592sv*sd*bc*sc*i*
    alias:          pci:v00008086d00001591sv*sd*bc*sc*i*
    alias:          pci:v00008086d00001590sv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Esv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Dsv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Csv*sd*bc*sc*i*
    alias:          pci:v00008086d0000188Asv*sd*bc*sc*i*
    depends:        gnss
    retpoline:      Y
    name:           ice
    vermagic:       6.5.11-8-pve SMP preempt mod_unload modversions
    parm:           debug:netif level (0=none,...,16=all) (int)
    parm:           fwlog_level:FW event level to log. All levels <= to the specified value are enabled. Values: 0=none, 1=error, 2=warning, 2=warning, 3=normal, 4=verbose. Invalid values: >=5
    (ushort)
    parm:           fwlog_events:FW events to log (32-bit mask)
    (ulong)
     
     
     
    fred9461
    Guest
    #10
    0
    06.02.2024 16:27:00
    Забыл упомянуть, но это может быть важно: оборудование – серверы DELL R7515. Модель E810 – это версия от DELL (реф. 0DWNRF), с последней прошивкой установлена (та, что от DELL, то есть v22.5.7, выпущена 1 декабря 2023 года). Еще проверю свои медные DAC (бренд FS), потому что понял, что там "двойная совместимость" – Intel/Dell, так что, похоже, это тоже может быть частью проблемы.
     
     
     
    firth
    Guest
    #11
    0
    30.06.2025 21:27:00
    Только что добавил это в свой crontab. Это компилирует драйвер Intel ICE после каждой перезагрузки и загружает драйвер, чтобы я не забыл: @reboot cd /root/drivers/ice-1.17.8/src && /usr/bin/make install && modprobe ice >> /root/drivers/driver-install.log 2>&1
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры