Аспро: ЛайтШоп [тема: Стандартный драйвер Ice Kernel 6 – ужасная производительность.]

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Mon, 30 Jun 2025 21:27:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Только что добавил это в свой crontab. Это компилирует драйвер Intel ICE после каждой перезагрузки и загружает драйвер, чтобы я не забыл: @reboot cd /root/drivers/ice-1.17.8/src && /usr/bin/make install && modprobe ice >> /root/drivers/driver-install.log 2>&1
30.06.2025 21:27:00, firth.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 16:27:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Забыл упомянуть, но это может быть важно: оборудование – серверы DELL R7515. Модель E810 – это версия от DELL (реф. 0DWNRF), с последней прошивкой установлена (та, что от DELL, то есть v22.5.7, выпущена 1 декабря 2023 года). Еще проверю свои медные DAC (бренд FS), потому что понял, что там "двойная совместимость" – Intel/Dell, так что, похоже, это тоже может быть частью проблемы.
06.02.2024 16:27:00, fred9461.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 16:13:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
pveversion -v результат: Код: proxmox-ve: 8.1.0 (ядро: 6.5.11-8-pve)
pve-manager: 8.1.4 (версия: 8.1.4/ec5affc9e41f1d79)
proxmox-kernel-helper: 8.1.0
proxmox-kernel-6.5: 6.5.11-8
proxmox-kernel-6.5.11-8-pve-signed: 6.5.11-8
proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7
proxmox-kernel-6.5.11-4-pve-signed: 6.5.11-4
ceph: 18.2.1-pve2
ceph-fuse: 18.2.1-pve2
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx8
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.0.7
libpve-apiclient-perl: 3.3.1
libpve-common-perl: 8.1.0
libpve-guest-common-perl: 5.0.6
libpve-http-server-perl: 5.0.5
libpve-network-perl: 0.9.5
libpve-rs-perl: 0.8.8
libpve-storage-perl: 8.0.5
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 5.0.2-4
lxcfs: 5.0.3-pve4
novnc-pve: 1.4.0-3
proxmox-backup-client: 3.1.4-1
proxmox-backup-file-restore: 3.1.4-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.3
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.4
proxmox-widget-toolkit: 4.1.3
pve-cluster: 8.0.5
pve-container: 5.0.8
pve-docs: 8.1.3
pve-edk2-firmware: 4.2023.08-3
pve-firewall: 5.0.3
pve-firmware: 3.9-1
pve-ha-manager: 4.0.3
pve-i18n: 3.2.0
pve-qemu-kvm: 8.1.5-1
pve-xtermjs: 5.3.0-3
qemu-server: 8.0.10
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.2-pve1
uname -a результат: Код: Linux pve91 6.5.11-8-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-8 (2024-01-30T12:27Z) x86_64 GNU/Linux
modinfo ice результат: Код:
filename: /lib/modules/6.5.11-8-pve/updates/drivers/net/ethernet/intel/ice/ice.ko
firmware: intel/ice/ddp/ice.pkg
version: 1.13.7
license: GPL v2
description: Intel® Ethernet Connection E800 Series Linux Driver
author: Intel Corporation,
srcversion: 3EB4549D125EAA59F08D047
alias: pci:v00008086d00001888sv*sd*bc*sc*i*
alias: pci:v00008086d0000579Fsv*sd*bc*sc*i*
alias: pci:v00008086d0000579Esv*sd*bc*sc*i*
alias: pci:v00008086d0000579Dsv*sd*bc*sc*i*
alias: pci:v00008086d0000579Csv*sd*bc*sc*i*
alias: pci:v00008086d0000151Dsv*sd*bc*sc*i*
alias: pci:v00008086d0000124Fsv*sd*bc*sc*i*
alias: pci:v00008086d0000124Esv*sd*bc*sc*i*
alias: pci:v00008086d0000124Dsv*sd*bc*sc*i*
alias: pci:v00008086d0000124Csv*sd*bc*sc*i*
alias: pci:v00008086d0000188Bsv*sd*bc*sc*i*
alias: pci:v00008086d0000159Bsv*sd*bc*sc*i*
alias: pci:v00008086d0000159Asv*sd*bc*sc*i*
alias: pci:v00008086d00001599sv*sd*bc*sc*i*
alias: pci:v00008086d00001593sv*sd*bc*sc*i*
alias: pci:v00008086d00001592sv*sd*bc*sc*i*
alias: pci:v00008086d00001591sv*sd*bc*sc*i*
alias: pci:v00008086d00001590sv*sd*bc*sc*i*
alias: pci:v00008086d0000188Esv*sd*bc*sc*i*
alias: pci:v00008086d0000188Dsv*sd*bc*sc*i*
alias: pci:v00008086d0000188Csv*sd*bc*sc*i*
alias: pci:v00008086d0000188Asv*sd*bc*sc*i*
depends: gnss
retpoline: Y
name: ice
vermagic: 6.5.11-8-pve SMP preempt mod_unload modversions
parm: debug:netif level (0=none,...,16=all) (int)
parm: fwlog_level:FW event level to log. All levels <= to the specified value are enabled. Values: 0=none, 1=error, 2=warning, 2=warning, 3=normal, 4=verbose. Invalid values: >=5
(ushort)
parm: fwlog_events:FW events to log (32-bit mask)
(ulong)
06.02.2024 16:13:00, fred9461.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 15:55:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Кстати, совсем не по теме, но я работаю с поддержкой Intel над E810 на системах Ubuntu 20.04 и столкнулся с кучей... интересных проблем. Штатный драйвер (который идет по умолчанию с 20.04) явно очень слабый. Обновление прошивки на картах тоже оказалось непростым, потому что 20.04, похоже, не поддерживает "devlink region". С текущей прошивкой... 4.40 и последним драйвером 1.13.7 у нас всё в порядке. Драйвер 1.12.7 тоже, как мне кажется, неплох, но новый драйвер (1.13.7) и прошивка 4.40 вышли примерно на праздники. Были проблемы с настройкой агрегирования каналов (MLAG) и картой, которая отваливалась от шины и перезагружалась. Если у вас не самая свежая прошивка (и обновленный драйвер), думаю, это могло бы помочь. У нас Mellanox для узлов Proxmox, и с ними всё отлично. Думаю, Intel тоже неплохо (при условии, что у вас последние драйвер и прошивка). Управлять нештатным драйвером (даже на Ubuntu) - не самая приятная забава.
06.02.2024 15:55:00, cfgmgr.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 15:31:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, выложите вывод команд `pveversion -v`, `uname -a` и `modinfo ice` после перезагрузки обоих узлов.
06.02.2024 15:31:00, skkostas.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 14:28:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо! После твоих инструкций, мой modinfo ice показывает точно такую же версию, как у тебя, на обоих моих тестовых узлах PVE (версия: 1.13.7 и srcversion: 3EB4549D125EAA59F08D047), так что, похоже, я теперь использую Intel ICE driver.

Пока что я не вижу никаких улучшений на моей 100Gbit-связи. Я использую один 100Gb direct attach кабель от pve1 к pve2, чтобы избежать любых других взаимодействий (нет коммутатора, DA подключен от E810 на pve1 к другому E810 на pve2).

Когда запускаю iperf -c pve2 -T s1 -P 12 -l 32768 -w 128M -R -t 15, получаю только ~44 Gbits/sec с 12 потоками, детали ниже:

Code:
[ ID] Interval Transfer Bandwidth
[ *8] 0.0000-15.0126 sec 6.14 GBytes 3.52 Gbits/sec
[ *2] 0.0000-15.0109 sec 6.55 GBytes 3.75 Gbits/sec
[ *1] 0.0000-15.0072 sec 6.80 GBytes 3.89 Gbits/sec
[ *5] 0.0000-15.0078 sec 5.91 GBytes 3.39 Gbits/sec
[ *7] 0.0000-15.0120 sec 6.40 GBytes 3.66 Gbits/sec
[ *3] 0.0000-15.0079 sec 7.23 GBytes 4.14 Gbits/sec
[ *6] 0.0000-15.0074 sec 6.53 GBytes 3.74 Gbits/sec
[*12] 0.0000-15.0132 sec 6.59 GBytes 3.77 Gbits/sec
[ *9] 0.0000-15.0111 sec 5.68 GBytes 3.25 Gbits/sec
[*10] 0.0000-15.0193 sec 6.91 GBytes 3.95 Gbits/sec
[*11] 0.0000-15.0190 sec 6.28 GBytes 3.59 Gbits/sec
[ *4] 0.0000-15.0185 sec 5.54 GBytes 3.17 Gbits/sec
[SUM] 0.0000-15.0191 sec 76.6 GBytes 43.8 Gbits/sec

Два дополнительных комментария:
- Я перезагрузился после команды make install
- Я получал примерно такую же скорость с предыдущими драйверами (версией ядра).

Какие есть идеи?
06.02.2024 14:28:00, fred9461.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 11:17:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Моя система:
proxmox-ve: 8.1.0 (ядро: 6.5.11-8-pve)
pve-manager: 8.1.3 (версия: 8.1.3/b46aac3b42da5d15)
proxmox-kernel-helper: 8.1.0
pve-kernel-6.2: 8.0.5
proxmox-kernel-6.5: 6.5.11-8
proxmox-kernel-6.5.11-8-pve-signed: 6.5.11-8
proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7
proxmox-kernel-6.2.16-20-pve: 6.2.16-20
proxmox-kernel-6.2: 6.2.16-20
pve-kernel-6.2.16-4-pve: 6.2.16-5
pve-kernel-6.2.16-3-pve: 6.2.16-3
ceph: 17.2.7-pve1
ceph-fuse: 17.2.7-pve1
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx7
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.0.7
libpve-apiclient-perl: 3.3.1
libpve-common-perl: 8.1.0
libpve-guest-common-perl: 5.0.6
libpve-http-server-perl: 5.0.5
libpve-network-perl: 0.9.5
libpve-rs-perl: 0.8.7
libpve-storage-perl: 8.0.5
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 5.0.2-4
lxcfs: 5.0.3-pve4
novnc-pve: 1.4.0-3
proxmox-backup-client: 3.1.2-1
proxmox-backup-file-restore: 3.1.2-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.2
proxmox-mini-journalreader: 1.4.0
proxmox-widget-toolkit: 4.1.3
pve-cluster: 8.0.5
pve-container: 5.0.8
pve-docs: 8.1.3
pve-edk2-firmware: 4.2023.08-2
pve-firewall: 5.0.3
pve-firmware: 3.9-1
pve-ha-manager: 4.0.3
pve-i18n: 3.1.5
pve-qemu-kvm: 8.1.2-6
pve-xtermjs: 5.3.0-3
qemu-server: 8.0.10
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.2-pve1

Необходимо сделать это на всех узлах кластера.
Установите:
```
apt-get install pve-headers
```
Перезагрузите узел.
```
apt install make cmake tar zfx ice-1.13.7.tar.gz
cd ice-1.13.7/src
make
make install
reboot
```
После обновления и перезагрузки:
```
modinfo ice
```
Мой ice mod:
```
filename: /lib/modules/6.5.11-8-pve/updates/drivers/net/ethernet/intel/ice/ice.ko
firmware: intel/ice/ddp/ice.pkg
version: 1.13.7
license: GPL v2
description: Intel® Ethernet Connection E800 Series Linux Driver
author: Intel Corporation,
srcversion: 3EB4549D125EAA59F08D047
alias: pci:v00008086d00001888sv*sd*bc*sc*i*
alias: pci:v00008086d0000579Fsv*sd*bc*sc*i*
alias: pci:v00008086d0000579Esv*sd*bc*sc*i*
alias: pci:v00008086d0000579Dsv*sd*bc*sc*i*
alias: pci:v00008086d0000188Csv*sd*bc*sc*i*
alias: pci:v00008086d0000188Bsv*sd*bc*sc*i*
alias: pci:v00008086d0000159Asv*sd*bc*sc*i*
alias: pci:v00008086d00001599sv*sd*bc*sc*i*
depends: gnss
retpoline: Y
name: ice
vermagic: 6.5.11-7-pve SMP preempt mod_unload modversions
parm: debug:netif level (0=none,...,16=all) (int)
parm: fwlog_level:FW event level to log. All levels <= to the specified value are enabled. Values: 0=none, 1=error, 2=warning, 3=normal, 4=verbose. Invalid values: >=5
(ushort)
parm: fwlog_events:FW events to log (32-bit mask)
(long)
```
06.02.2024 11:17:00, skkostas.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Tue, 06 Feb 2024 00:01:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Нет, я был довольно занят после своего поста и не мог этим заняться. Если у тебя есть способ продвинуться дальше и ты можешь им поделиться, я с удовольствием попробую! Спасибо.
06.02.2024 00:01:00, fred9461.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Mon, 05 Feb 2024 16:48:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, нашёл ты решение? Если нет, скажи, помогу! Я уже сам разобрался с проблемой.
05.02.2024 16:48:00, skkostas.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Sat, 23 Dec 2023 04:48:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня тоже проблемы с производительностью моей карты Intel E810 на 100Gbit с драйвером по умолчанию. Чтобы убедиться, что дело в драйвере, хочу попробовать драйвер от Intel. Не могли бы вы объяснить, как его собирать (у меня были ошибки про kernel devel), а потом устанавливать? Спасибо!
23.12.2023 04:48:00, fred9461.

Стандартный драйвер Ice Kernel 6 – ужасная производительность.

Wed, 20 Sep 2023 15:13:00 +0300

Стандартный драйвер Ice Kernel 6 – ужасная производительность. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Okay, let's break down the information you've provided and what it likely means.

**What you've given us:**

* **Network Setup:** You're testing network performance between two servers (likely within a cluster or data center) named `SV4` and `SV6`. `SV4` acts as the server (the one receiving the data) and `SV6` acts as the client (the one sending the data).
* **iperf Tests:** You're using the `iperf` tool (a network performance measurement tool) to generate and measure data transfer rates.
* `-c SV4`: Specifies that `iperf` on `SV6` should connect to server `SV4`.
* `-T s1`: Runs the test for 1 second.
* `-P 12`: Uses 12 parallel streams/connections. This helps saturate the network connection better.
* `-l 32768`: Sends packets with a length of 32768 bytes (32 KB).
* `-w 128M`: Sets the TCP window size to 128 MB. This can improve performance by allowing more data to be in flight before an acknowledgment is needed.
* `-R`: Enables reverse test mode. `iperf` on `SV4` (the server) sends data to `SV6` (the client). The results you're seeing are the results of this *reverse* test.
* `-t 15`: Runs the test for 15 seconds.

* **Kernel Module Info:** You're displaying information about the `ice` kernel driver (likely related to network interface cards). This includes:
* Dependencies: It depends on `retpoline`.
* `intree`: Indicates that the driver is built into the kernel (as opposed to being a loadable module).
* Signatures: Shows the digital signatures of the driver for security verification.

**Analysis & Likely Conclusions**

1. **Good Network Performance:** The iperf results you are getting are quite good. You've consistently achieved bandwidths around 22-23 Gbps (Gigabits per second). This suggests a fast network connection (likely 40Gbps or higher, taking into account overhead) between your servers.
2. **Saturated Connection:** The use of multiple streams (`-P 12`) and a decent packet size (`-l 32768`) indicates that you've likely saturated the network connection. It's sending as much data as the hardware can handle.
3. **Retpoline Dependency:** The `retpoline` dependency means that the kernel is using a mitigation for certain CPU vulnerabilities (Spectre/Meltdown). This might have a small performance impact.
4. **ICE Driver:** The `ice` driver is specific to the network card used. The fact that it's signed and built into the kernel indicates a stable and reliable hardware setup.
5. **Reverse Test Mode:** Testing in both directions (forward and reverse) is good practice to check for asymmetrical network conditions. Both tests show similar results.

**Possible Next Steps (depending on what you're trying to achieve)**

* **Baseline:** This seems to be a reasonable baseline.
* **Compare to Application Performance:** Run this iperf test with the same network setup as your production applications and compare performance.
* **Tuning:** If you need even higher performance, you might explore:
* TCP tuning parameters (window sizes, congestion control algorithms).
* Hardware offload capabilities of your network interface cards.
* Jumbo frames (if supported by all devices in the path).

Let me know if you have any more questions or would like me to elaborate on a particular aspect of this information.
20.09.2023 15:13:00, arthdark.