+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

RSS

Плохая производительность ZFS на Supermicro по сравнению со случайной материнской платой ASUS, Proxmox Виртуальная Среда

Integral

Guest

26.10.2017 08:48:00

Привет всем, у меня проблема с ZFS, производительность моего рабочего сервера значительно ниже, чем у тестового, и я пытаюсь выяснить причину уже последние два дня. Я предоставлю всё, что вам нужно в виде логов. Можете помочь мне найти корень проблемы? Оба сервера: SmartCTL -t long /dev/sdx=> всё в порядке Все разделы выровнены ZFS Compression=on, sync=standard (целостность данных важна) Подключены через 2 NIC с объединением (lacp layer3+4) Диски все WD RED NAS 4x4TB для вращающихся дисков, 1x Samsung 850EVO Pro ZFS используется как корневая файловая система (смонтирована на /) Все SATA-ссылки показывают 6 Гбит/с, всё в режиме AHCI Отличия: Материнская плата (рабочий сервер — сервер класса enterprise Supermicro с IPMI, тест — просто какая-то случайная плата Asus) Процессор (рабочий сервер имеет 2 физических CPU) Оперативная память (рабочий сервер имеет DDR4 с ECC, тест этого не имеет) Сервер 1: (Тестовый сервер) Код: [root@px0003:~]# pveversion -v
proxmox-ve: 5.0-15 (используемое ядро: 4.10.15-1-pve)
pve-manager: 5.0-23 (используемая версия: 5.0-23/af4267bf)
pve-kernel-4.10.15-1-pve: 4.10.15-15
libpve-http-server-perl: 2.0-5
lvm2: 2.02.168-pve2
corosync: 2.4.2-pve3
libqb0: 1.0.1-1
pve-cluster: 5.0-10
qemu-server: 5.0-12
pve-firmware: 2.0-2
libpve-common-perl: 5.0-16
libpve-guest-common-perl: 2.0-11
libpve-access-control: 5.0-5
libpve-storage-perl: 5.0-12
pve-libspice-server1: 0.12.8-3
vncterm: 1.5-2
pve-docs: 5.0-8
pve-qemu-kvm: 2.9.0-2
pve-container: 2.0-14
pve-firewall: 3.0-1
pve-ha-manager: 2.0-2
ksm-control-daemon: 1.2-2
glusterfs-client: 3.8.8-1
lxc-pve: 2.0.8-3
lxcfs: 2.0.7-pve2
criu: 2.11.1-1~bpo90
novnc-pve: 0.6-4
smartmontools: 6.5+svn4324-1
zfsutils-linux: 0.6.5.9-pve16~bpo90 Код: [root@px0003:~]# pveperf

CPU BOGOMIPS: 67200.80
REGEX/SECOND: 2748754
HD SIZE: 7099.24 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND: 750.84
DNS EXT: 35.12 ms
DNS INT: 38.78 ms (xxxxxxxx) Код: [root@px0003:~]# zpool status
pool: rpool
state: ONLINE
scan: scrub repaired 0 in 0h0m with 0 errors on Sun Oct 8 00:24:52 2017
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda2 ONLINE 0 0 0
sdb2 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
sdd ONLINE 0 0 0
sde ONLINE 0 0 0
logs
sdc1 ONLINE 0 0 0
cache
sdc2 ONLINE 0 0 0 Сервер 2: (Рабочий сервер) Код: [root@px0001:~]# pveversion -v
proxmox-ve: 4.4-96 (используемое ядро: 4.4.83-1-pve)
pve-manager: 4.4-18 (используемая версия: 4.4-18/ef2610e8)
pve-kernel-4.4.35-1-pve: 4.4.35-77
pve-kernel-4.4.83-1-pve: 4.4.83-96
pve-kernel-4.4.62-1-pve: 4.4.62-88
lvm2: 2.02.116-pve3
corosync-pve: 2.4.2-2~pve4+1
libqb0: 1.0.1-1
pve-cluster: 4.0-53
qemu-server: 4.0-113
pve-firmware: 1.1-11
libpve-common-perl: 4.0-96
libpve-access-control: 4.0-23
libpve-storage-perl: 4.0-76
pve-libspice-server1: 0.12.8-2
vncterm: 1.3-2
pve-docs: 4.4-4
pve-qemu-kvm: 2.9.0-5~pve4
pve-container: 1.0-101
pve-firewall: 2.0-33
pve-ha-manager: 1.0-41
ksm-control-daemon: 1.2-1
glusterfs-client: 3.5.2-2+deb8u3
lxc-pve: 2.0.7-4
lxcfs: 2.0.6-pve1
criu: 1.6.0-1
novnc-pve: 0.5-9
smartmontools: 6.5+svn4324-1~pve80
zfsutils: 0.6.5.9-pve15~bpo80 Код: [root@px0001:~]# pveperf
CPU BOGOMIPS: 153619.20
REGEX/SECOND: 2396879
HD SIZE: 7099.24 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND: 197.00
DNS EXT: 7.99 ms
DNS INT: 9.22 ms (xxxxxxxx) Код: [root@px0001:~]# zpool status
pool: rpool
state: ONLINE
scan: scrub repaired 0 in 1h29m with 0 errors on Tue Oct 24 12:50:40 2017
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda2 ONLINE 0 0 0
sdb2 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
logs
sde1 ONLINE 0 0 0
cache
sde2 ONLINE 0 0 0

errors: No known data errors

chalan

Guest

09.12.2017 18:52:00

интеграл, ты решил проблему? У меня такая же проблема: материнская плата Supermicro, WD RED NAS 4x1TB 5400-7200rpm с ZFS RAID10, 32 ГБ ОЗУ ECC, 16 ГБ выделено под ARC, нет диска для логов или кеша... производительность ОЧЕНЬ ПОРОЧНАЯ, и я в полном отчаянии root@pve-klenova:~# pveperf CPU BOGOMIPS: 38401.52 REGEX/SECOND: 443946 HD SIZE: 680.44 GB (rpool/ROOT/pve-1) FSYNCS/SECOND: 29.09 DNS EXT: 142.89 ms DNS INT: 29.85 ms (elson.sk) последняя версия биоса там...

killmasta93

Guest

09.12.2017 20:59:00

Я знаю, что многие могут не согласиться, но запустите это, чтобы настроить синхронизацию. Пока у вас есть ИБП, который может отключить вашу машину, и есть резервные копии, то все будет в порядке. Код: zfs set sync=disabled rpool, затем перезагрузите и протестируйте.

mir Guest	#4 0 09.12.2017 22:07:00 Какой же плохой совет!!! Если тормоза на твоей машине не работают должным образом и скорость ограничена, ты бы тогда посоветовал отключить тормоза?

killmasta93 Guest	#5 0 09.12.2017 22:09:00 Я знаю, что меня за это повесили бы, но я говорю из опыта: когда у тебя нет SSD, а только 7200rpm с RAID 1, то пока что все нормально.

mir

Guest

09.12.2017 22:58:00

Я вполне уверен, что это проблема, специфичная для ZOL! Попробуйте использовать приведённый ниже файл как входной при запуске fio на вашей системе. Код: # Этот файл задания пытается имитировать модель доступа к файловому серверу Intel IOMeter. [global] description=Эмуляция модели доступа к файловому серверу Intel IOmeter. [iometer] bssplit=512/10:1k/5:2k/5:4k/60:8k/2:16k/4:32k/4:64k/10 rw=randrw rwmixread=80 direct=1 size=4g ioengine=libaio # IOMeter определяет нагрузку на сервер следующим образом: # iodepth=1 Линейная # iodepth=4 Очень лёгкая # iodepth=8 Лёгкая # iodepth=64 Умеренная # iodepth=256 Тяжёлая iodepth=64 Приведённое выше (адаптированное под требования Solaris) даёт следующий результат на моём сервере хранения Omnios, работающем на материнской плате SuperMicro в RAID10 с использованием 4x1TB WD Red. iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=solarisaio, iodepth=64 fio-2.12 Запускаем 1 процесс iometer: Подготовка IO файла(ов) (1 файл(ов) / 4096MB) Задания: 1 (f=1): [m(1)] [100.0% завершено] [16727KB/4029KB/0KB /с] [3935/959/0 iops] [прогноз 00м:00с] iometer: (groupid=0, jobs=1): err= 0: pid=19252: Сб 9 дек 22:53:54 2017 Описание : [Эмуляция модели доступа к файловому серверу Intel IOmeter] чтение : io=3276.9MB, bw=13583KB/с, iops=2205, runt=247027мс slat (usec): min=0, max=6523, avg= 4.16, stdev=11.41 clat (usec): min=0, max=4454.8K, avg=8042.85, stdev=92616.25 lat (usec): min=7, max=4454.8K, avg=8047.00, stdev=92616.29 clat percentiles (usec): | 1.00th=[ 5], 5.00th=[ 6], 10.00th=[ 6], 20.00th=[ 7], | 30.00th=[ 8], 40.00th=[ 9], 50.00th=[ 10], 60.00th=[ 11], | 70.00th=[ 13], 80.00th=[ 22], 90.00th=[ 83], 95.00th=[ 540], | 99.00th=[160768], 99.50th=[481280], 99.90th=[1482752], 99.95th=[1892352], | 99.99th=[3063808] bw (KB /с): min= 339, max=50609, per=100.00%, avg=13592.53, stdev=7248.03 запись: io=838868KB, bw=3395.9KB/с, iops=553, runt=247027мс slat (usec): min=1, max=8536, avg= 4.49, stdev=23.69 clat (usec): min=1, max=4354.5K, avg=83516.31, stdev=99088.02 lat (usec): min=12, max=4354.5K, avg=83520.80, stdev=99088.06 clat percentiles (usec): | 1.00th=[ 13], 5.00th=[ 19], 10.00th=[ 63], 20.00th=[51456], | 30.00th=[59136], 40.00th=[66048], 50.00th=[78336], 60.00th=[92672], | 70.00th=[100864], 80.00th=[114176], 90.00th=[130560], 95.00th=[154624], | 99.00th=[272384], 99.50th=[552960], 99.90th=[1499136], 99.95th=[1875968], | 99.99th=[2834432] bw (KB /с): min= 40, max=13327, per=100.00%, avg=3396.90, stdev=1801.88 lat (usec) : 2=0.53%, 4=0.25%, 10=34.76%, 20=28.69%, 50=5.60% lat (usec) : 100=7.51%, 250=0.79%, 500=0.40%, 750=1.48%, 1000=0.18% lat (msec) : 2=0.23%, 4=0.13%, 10=0.32%, 20=0.45%, 50=0.95% lat (msec) : 100=10.61%, 250=6.27%, 500=0.37%, 750=0.16%, 1000=0.12% lat (msec) : 2000=0.17%, >=2000=0.04% cpu : usr=102.25%, sys=3.57%, ctx=910871, majf=0, minf=0 Глубина IO : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% отправить : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% завершить : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% выпущено : всего=r=544745/w=136798/d=0, коротко=r=0/w=0/d=0, потеря=r=0/w=0/d=0 задержка : цель=0, окно=0, процентиль=100.00%, глубина=64 Статус выполнения группы 0 (все задания): ЧТЕНИЕ: io=3276.9MB, aggrb=13583KB/с, minb=13583KB/с, maxb=13583KB/с, mint=247027мс, maxt=247027мс ЗАПИСЬ: io=838867KB, aggrb=3395KB/с, minb=3395KB/с, maxb=3395KB/с, mint=247027мс, maxt=247027мс

chalan

Guest

10.12.2017 00:03:00

Хорошо, я создал файл с именем testdisk и заполнил его твоим кодом. После этого я запустил fio. Код: root@pve-klenova:~# fio testdisk iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64 fio-2.16 Запускаю 1 процесс iometer: Подготавливаю IO файл(ы) (1 файл(ов) / 4096MB) fio: похоже, что ваша файловая система не поддерживает direct=1/buffered=0 fio: место назначения не поддерживает O_DIRECT fio: pid=27475, err=22/file:filesetup.c:623, func=open(iometer.0.0), ошибка=Недопустимый аргумент

Статус выполнения группа 0 (все задания):

chalan

Guest

10.12.2017 01:11:00

ok, я запустил это на виртуальной машине. Код: root@merkur:~# fio testdisk iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64 fio-2.2.10 Запускаю 1 процесс. iometer: Создание IO файла(ов) (1 файл(ов) / 4096MB) Задания: 1 (f=1): [m(1)] [100.0% завершено] [1140KB/268KB/0KB /с] [279/76/0 iops] [eta 00m:00s] iometer: (groupid=0, jobs=1): err= 0: pid=4724: Вск 10 дек 01:00:40 2017 Описание : [Эмуляция шаблона доступа к файловому серверу Intel IOmeter] чтение : io=3274.5MB, bw=2870.8KB/s, iops=471, runt=1167873msec slat (usec): min=16, max=812823, avg=54.85, stdev=1953.88 clat (usec): min=2, max=2274.1K, avg=3106.55, stdev=20270.87 lat (usec): min=100, max=2275.9K, avg=3163.21, stdev=20364.06 clat процентиль (usec): | 1.00th=[ 133], 5.00th=[ 177], 10.00th=[ 215], 20.00th=[ 306], | 30.00th=[ 516], 40.00th=[ 908], 50.00th=[ 1336], 60.00th=[ 1784], | 70.00th=[ 2224], 80.00th=[ 2768], 90.00th=[ 3888], 95.00th=[ 6560], | 99.00th=[42752], 99.50th=[64256], 99.90th=[164864], 99.95th=[216064], | 99.99th=[440320] bw (KB /с): min= 0, max=25653, per=100.00%, avg=3207.36, stdev=3326.78 запись: io=841688KB, bw=737998B/s, iops=117, runt=1167873msec slat (usec): min=19, max=944591, avg=241.95, stdev=8288.01 clat (msec): min=3, max=4950, avg=530.08, stdev=642.13 lat (msec): min=3, max=4950, avg=530.33, stdev=642.11 clat процентиль (msec): | 1.00th=[ 20], 5.00th=[ 49], 10.00th=[ 73], 20.00th=[ 113], | 30.00th=[ 153], 40.00th=[ 200], 50.00th=[ 269], 60.00th=[ 375], | 70.00th=[ 553], 80.00th=[ 832], 90.00th=[ 1319], 95.00th=[ 1926], | 99.00th=[ 3064], 99.50th=[ 3359], 99.90th=[ 4015], 99.95th=[ 4228], | 99.99th=[ 4883] bw (KB /с): min= 0, max= 6199, per=100.00%, avg=803.21, stdev=842.35 lat (usec) : 4=0.01%, 10=0.04%, 20=0.01%, 50=0.01%, 100=0.04% lat (usec) : 250=11.61%, 500=11.88%, 750=5.44%, 1000=4.76% lat (msec) : 2=18.10%, 4=20.51%, 10=4.76%, 20=1.25%, 50=2.06% lat (msec) : 100=2.62%, 250=6.50%, 500=3.92%, 750=1.90%, 1000=1.37% lat (msec) : 2000=2.30%, >=2000=0.94% cpu : usr=1.01%, sys=3.40%, ctx=187348, majf=0, minf=11 IO глубины : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued : total=r=550156/w=137644/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=64 Статус выполнения группы 0 (все задания): READ: io=3274.5MB, aggrb=2870KB/s, minb=2870KB/s, maxb=2870KB/s, mint=1167873msec, maxt=1167873msec WRITE: io=841688KB, aggrb=720KB/s, minb=720KB/s, maxb=720KB/s, mint=1167873msec, maxt=1167873msec Статистика диска (чтение/запись): sda: ios=550273/138095, merge=8/358, ticks=1178532/72768524, in_queue=74005392, util=100.00% Как ты думаешь, это нормально? Что показывает тебе pveperf на pve?

mir Guest	#9 0 10.12.2017 01:31:00 Повторите этот тест с direct=0 (ZFS не поддерживает прямой ввод-вывод).

mir Guest	#10 0 10.12.2017 01:32:00 Результаты, которые вы получаете внутри виртуальной машины, не имеют значения в отношении получения данных о вашей дисковой системе на хосте.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры