+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

iSCSI SAN, представленный как NFS с помощью FreeNAS, Proxmox Виртуальная Среда

Chris.P

Guest

25.03.2016 18:26:00

Я системный/инфраструктурный менеджер в компании среднего размера, занимающейся консалтингом и разработкой ПО, и уже несколько лет успешно использую Proxmox для хостинга Windows и Linux ВМ в нашей среде разработки. У нас 4 хоста, поддерживаемые двумя FreeNAS серверами с ZFS RAID 10, которые предоставляют хранилище через NFS хостам Proxmox.

В нашей продакшн-среде — 3 хоста VMWare ESXi, подключённые к SAN Equalogic по iSCSI. Очень хочу отказаться от VMWare в продакшне и перейти на Proxmox, но мне реально нужны снапшоты и формат QCOW2, которых iSCSI и LVM не поддерживают.

Я провёл эксперимент — proof of concept — в тестовой среде: установил iSCSI-клиент в FreeNAS, смапил iSCSI LUN, чтобы FreeNAS видел его как локальный диск. Потом отформатировал этот диск в ZFS и расшарил для Proxmox через NFS. Даже создал 2 лёгких ВМ в Proxmox, загрузил их и даже сделал живую миграцию. FreeNAS при этом выступает как NFS-шлюз.

Хотя этот proof of concept отлично работает в тестах (всё виртуально), кто-то ещё пробовал что-то подобное? Знаю, многие, наверное, сейчас в ужасе от такой идеи, но я просто пытаюсь найти способы обойти ограничения iSCSI и LVM в Proxmox. Есть мысли или идеи?

RobFantini

Guest

09.04.2016 21:42:00

fio тесты с использованием конфигурации Mir для fio [см. выше]
аппаратура: omnios napp-it на Supermicro x9scl-f, 28 ГБ памяти, LSI SAS2008 IT mode HBA
zfs: raidz1: 5 Intel SSD Pro Series 2500 по 480ГБ + ZIL Intel SSD S3700
Lxc:
Код: iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64
fio-2.1.11
Запущен 1 процесс
iometer: Формирование IO файлов (1 файл / 4096МБ)
Задачи: 1 (f=1): [m(1)] [100% выполнено] [252.7МБ/65052КБ/0КБ/с] [59.3К/14.8К/0 операций ввода-вывода в секунду] [осталось 00м:00с]
iometer: (groupid=0, jobs=1): err=0: pid=2513: Сб 9 апр 15:24:14 2016
Описание: [Эмуляция шаблона доступа Intel IOmeter File Server]
чтение: io=3274.5МБ, пропускная способность=303130КБ/с, iops=49742, время=11060мсек
slat (мкс): мин=2, макс=588, сред=7.45, стд=18.05
clat (мкс): мин=160, макс=252974, сред=885.66, стд=2765.50
lat (мкс): мин=167, макс=252977, сред=893.38, стд=2765.43
clat процентили (мкс):
| 1.00%=[334], 5.00%=[406], 10.00%=[482], 20.00%=[580],
| 30.00%=[652], 40.00%=[716], 50.00%=[772], 60.00%=[836],
| 70.00%=[892], 80.00%=[980], 90.00%=[1128], 95.00%=[1304],
| 99.00%=[1832], 99.50%=[2320], 99.90%=[20608], 99.95%=[38656],
| 99.99%=[136192]
пропускная способность (КБ/с): мин=118739, макс=444443, %=100, сред=305665.86, стд=75220.28
запись: io=841688КБ, пропускная способность=76102КБ/с, iops=12445, время=11060мсек
slat (мкс): мин=3, макс=1020, сред=9.17, стд=20.35
clat (мкс): мин=395, макс=264907, сред=1552.83, стд=5218.00
lat (мкс): мин=402, макс=264915, сред=1562.29, стд=5217.88
clat процентили (мкс):
| 1.00%=[644], 5.00%=[804], 10.00%=[908], 20.00%=[1032],
| 30.00%=[1128], 40.00%=[1208], 50.00%=[1288], 60.00%=[1384],
| 70.00%=[1480], 80.00%=[1624], 90.00%=[1864], 95.00%=[2128],
| 99.00%=[2960], 99.50%=[4320], 99.90%=[61696], 99.95%=[121344],
| 99.99%=[252928]
пропускная способность (КБ/с): мин=28575, макс=111024, %=100, сред=76804.24, стд=18922.29
lat (мкс) : 250=0.01%, 500=9.42%, 750=27.66%, 1000=31.51%
lat (мс) : 2=29.46%, 4=1.58%, 10=0.12%, 20=0.06%, 50=0.12%
lat (мс) : 100=0.02%, 250=0.03%, 500=0.01%
cpu : usr=12.19%, sys=56.86%, ctx=17722, majf=0, minf=8
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued : всего r=550156/w=137644/d=0, short r=0/w=0/d=0
задержка : цель=0, окно=0, процентиль=100%, глубина=64

Статус запуска группы 0 (все задачи):
ЧТЕНИЕ: io=3274.5МБ, средняя пропускная способность=303130КБ/с, мин=303130КБ/с, макс=303130КБ/с, мин. время=11060мсек, макс. время=11060мсек
ЗАПИСЬ: io=841688КБ, средняя пропускная способность=76101КБ/с, мин=76101КБ/с, макс=76101КБ/с, мин. время=11060мсек, макс. время=11060мсек

Статистика дисков (чтение/запись):
dm-2: ios=543761/136160, merge=0/0, ticks=349496/178408, в_очереди=527996, загрузка=99.14%, aggrios=547260/137478, aggrmerge=2955/219, aggrticks=351272/179892, aggrin_queue=530992, aggrutil=98.92%
sdk: ios=547260/137478, merge=2955/219, ticks=351272/179892, в_очереди=530992, загрузка=98.92%

kvm jessie: /dev/sda1 на /, тип ext4 (rw, relatime, errors=remount-ro, data=ordered)
Код: iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64
fio-2.1.11
Запущен 1 процесс
iometer: Формирование IO файла (1 файл / 4096МБ)
Задачи: 1 (f=1): [m(1)] [100% выполнено] [13212КБ/3056КБ/0КБ/с] [3031/705/0 iops] [осталось 00м:00с]
iometer: (groupid=0, jobs=1): err=0: pid=1379: Сб 9 апр 15:35:36 2016
Описание: [Эмуляция шаблона доступа Intel IOmeter File Server]
чтение: io=3274.5МБ, пропускная способность=13477КБ/с, iops=2211, время=248763мсек
slat (мкс): мин=1, макс=245460, сред=14.67, стд=589.03
clat (мкс): мин=230, макс=354068, сред=23064.99, стд=17297.36
lat (мкс): мин=641, макс=354079, сред=23079.98, стд=17304.66
clat процентили (мкс):
| 1.00%=[1128], 5.00%=[2800], 10.00%=[4960], 20.00%=[9152],
| 30.00%=[13504], 40.00%=[17792], 50.00%=[22144], 60.00%=[26496],
| 70.00%=[30848], 80.00%=[35072], 90.00%=[40192], 95.00%=[43264],
| 99.00%=[55040], 99.50%=[64256], 99.90%=[254976], 99.95%=[268288],
| 99.99%=[280576]
пропускная способность (КБ/с): мин=5063, макс=24580, %=100, сред=13489.59, стд=3681.45
запись: io=841688КБ, пропускная способность=3383.6КБ/с, iops=553, время=248763мсек
slat (мкс): мин=3, макс=255205, сред=35.01, стд=1964.99
clat (мкс): мин=903, макс=346672, сред=23364.47, стд=17357.57
lat (мкс): мин=921, макс=346689, сред=23399.84, стд=17494.80
clat процентили (мкс):
| 1.00%=[1416], 5.00%=[3088], 10.00%=[5216], 20.00%=[9408],
| 30.00%=[13760], 40.00%=[18048], 50.00%=[22400], 60.00%=[26752],
| 70.00%=[31104], 80.00%=[35584], 90.00%=[40192], 95.00%=[43776],
| 99.00%=[56064], 99.50%=[65280], 99.90%=[254976], 99.95%=[264192],
| 99.99%=[284672]
пропускная способность (КБ/с): мин=1075, макс=6659, %=100, сред=3386.88, стд=972.88
lat (мкс): 250=0.01%, 500=0.01%, 750=0.05%, 1000=0.49%
lat (мс): 2=2.42%, 4=4.71%, 10=14.07%, 20=23.26%, 50=53.43%
lat (мс): 100=1.32%, 250=0.13%, 500=0.12%
cpu: usr=10.42%, sys=23.97%, ctx=673539, majf=0, minf=8
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued : всего r=550156/w=137644/d=0, short r=0/w=0/d=0
задержка: цель=0, окно=0, процентиль=100.00%, глубина=64

Статус запуска группы 0 (все задачи):
ЧТЕНИЕ: io=3274.5МБ, средняя пропускная способность=13477КБ/с, мин=13477КБ/с, макс=13477КБ/с, мин. время=248763мсек, макс. время=248763мсек
ЗАПИСЬ: io=841688КБ, средняя пропускная способность=3383КБ/с, мин=3383КБ/с, макс=3383КБ/с, мин. время=248763мсек, макс. время=248763мсек

Статистика дисков (чтение/запись):
sda: ios=539298/137278, merge=11458/836, ticks=12272328/3311076, в_очереди=15582852, загрузка=100.00%

mir Guest	#3 0 09.04.2016 22:18:00 Попробуйте добавить опцию монтирования nobarrier. Как у вас настроен кэш для диска, подключённого к этому KVM в Proxmox?

RobFantini

Guest

09.04.2016 23:03:00

Кэш установлен в режим writeback. По поводу опции монтирования: в fstab у меня прописано: rw,relatime,nobarrier,data=ordered errors=remount-ro 0 1, но команда mount | grep sda показывает: /dev/sda1 на /, тип ext4 (rw,relatime,errors=remount-ro,data=ordered). Не понимаю, почему в выводе mount отсутствует 'nobarrier'. Завтра проверю. Можешь посмотреть на своей системе? Кстати, как прошёл тест lxc против kvm? Я только начинаю разбираться с fio, поэтому пока не умею правильно оценивать результаты.

mir

Guest

09.04.2016 23:58:00

mount |grep sda6
/dev/sda6 на / тип ext4 (rw,relatime,nobarrier,data=ordered)
/etc/fstab
UUID=21ae3af6-9327-45b9-b7aa-13eb2a27c771 / ext4 nobarrier,defaults 0 2

lxc выглядит отлично, а вот kvm немного разочаровывает. Причина плохой производительности kvm — использование nobarrier вместе с cache = writeback. Если диски работают поверх ZFS, лучшая производительность достигается при использовании cache = nocache (по умолчанию).

RobFantini

Guest

10.04.2016 00:36:00

Вот результат с cache = nocache. Код: iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64
fio-2.1.11
Запуск 1 процесса
Заданий: 1 (f=1): [m(1)] [100.0% выполнено] [13518КБ/3106КБ/0КБ в сек] [3080/712/0 iops] [осталось 00м:00с]
iometer: (groupid=0, jobs=1): err= 0: pid=741: Сб 9 апр 18:34:14 2016
Описание: [Эмуляция модели доступа Intel IOmeter File Server]
чтение: io=3274.5МБ, пропускная способность=13636КБ/с, iops=2237, время выполнения=245858мсек
slat (мкс): мин=1, макс=33704, ср.=10.47, стд.=130.91
clat (мкс): мин=103, макс=303853, ср.=22786.27, стд.=14097.24
lat (мкс): мин=664, макс=303862, ср.=22797.06, стд.=14097.04
квантили clat (мкс):
| 1.00%=[1128], 5.00%=[2800], 10.00%=[4960], 20.00%=[9280],
| 30.00%=[13504], 40.00%=[17792], 50.00%=[22144], 60.00%=[26752],
| 70.00%=[31104], 80.00%=[35584], 90.00%=[40192], 95.00%=[43776],
| 99.00%=[53504], 99.50%=[60160], 99.90%=[83456], 99.95%=[100864],
| 99.99%=[252928]
пропускная способность (КБ/с): мин=8046, макс=26117, 100%, ср.=13642.08, стд.=3431.34
запись: io=841688КБ, пропускная способность=3423.5КБ/с, iops=559, время выполнения=245858мсек
slat (мкс): мин=3, макс=33451, ср.=19.57, стд.=452.84
clat (мкс): мин=899, макс=303705, ср.=23155.09, стд.=14109.95
lat (мкс): мин=909, макс=303718, ср.=23174.99, стд.=14116.26
квантили clat (мкс):
| 1.00%=[1416], 5.00%=[3120], 10.00%=[5344], 20.00%=[9664],
| 30.00%=[14016], 40.00%=[18304], 50.00%=[22656], 60.00%=[27008],
| 70.00%=[31360], 80.00%=[35584], 90.00%=[40704], 95.00%=[43776],
| 99.00%=[54016], 99.50%=[60672], 99.90%=[83456], 99.95%=[102912],
| 99.99%=[257024]
пропускная способность (КБ/с): мин=1717, макс=7110, 100%, ср.=3424.75, стд.=907.68
задержки (мкс) : 250=0.01%, 500=0.01%, 750=0.05%, 1000=0.49%
задержки (мс) : 2=2.43%, 4=4.65%, 10=13.93%, 20=23.17%, 50=53.74%
задержки (мс) : 100=1.48%, 250=0.04%, 500=0.01%
CPU: пользователь=11.03%, система=23.08%, переключения контекста=673492, серьезных ошибок=0, мелких ошибок=9
Глубина IO: 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
отправлено: 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
завершено: 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
выдано: всего r=550156/w=137644/d=0, коротких r=0/w=0/d=0
задержка: цель=0, окно=0, перцентиль=100.00%, глубина=64

Статус выполнения группы 0 (все задания):
ЧТЕНИЕ: io=3274.5МБ, аггрегатная пропускная способность=13636КБ/с, мин=13636КБ/с, макс=13636КБ/с, мин время=245858мсек, макс время=245858мсек
ЗАПИСЬ: io=841688КБ, аггрегатная пропускная способность=3423КБ/с, мин=3423КБ/с, макс=3423КБ/с, мин время=245858мсек, макс время=245858мсек

Статистика диска (чтение/запись):
sda: ios=539347/137164, merge=11335/717, ticks=12247048/3245308, в очереди=15492124, загрузка=100.00%
PS: обратите внимание, что nobarrier всё ещё не отображает mount|grep sda /dev/sda1 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)

mir Guest	#7 0 10.04.2016 00:37:00 Можешь вставить содержимое файла fstab?

RobFantini Guest	#8 0 10.04.2016 00:41:00 исключены закомментированные строки: Код: UUID=016e4c68-b1e3-4275-b4db-e010f5c5650f / rw,relatime,nobarrier,data=ordered errors=remount-ro 0 1 tmpfs /var/cache/apt/archives tmpfs size=1G,defaults,noexec,nosuid,nodev,mode=0755 0 0

mir Guest	#9 0 10.04.2016 01:01:00 Твоя строка в fstab неправильная, должно быть так: UUID=016e4c68-b1e3-4275-b4db-e010f5c5650f / ext4 rw,relatime,nobarrier,data=ordered errors=remount-ro 0 1

RobFantini Guest	#10 0 10.04.2016 01:14:00 спасибо, что заметил. Код: # mount\|grep sda /dev/sda1 на / тип ext4 (rw,relatime,nobarrier,data=ordered) и тест fio: Код: iometer: (g=0): rw=randrw, bs=512-64K/512-64K/512-64K, ioengine=libaio, iodepth=64 fio-2.1.11 Запущен 1 процесс Задачи: 1 (f=1): [m(1)] [100.0% выполнено] [13251КБ/3173КБ/0КБ/с] [3093/735/0 iops] [eta 00m:00с] iometer: (groupid=0, jobs=1): err= 0: pid=695: Сб 9 апр 19:12:16 2016 Описание: [Эмуляция паттерна доступа Intel IOmeter File Server] чтение: io=3274.5MB, пропускная способность=13694КБ/с, iops=2247, время=244825мс slat (мкс): мин=1, макс=34337, сред=10.52, отклонение=160.01 clat (мкс): мин=96, макс=485692, сред=22701.29, отклонение=14578.86 lat (мкс): мин=660, макс=485701, сред=22712.10, отклонение=14578.48 clat перцентили (мкс): \| 1.00%=[1112], 5.00%=[2800], 10.00%=[4960], 20.00%=[9152], \| 30.00%=[13504], 40.00%=[17792], 50.00%=[22144], 60.00%=[26496], \| 70.00%=[30848], 80.00%=[35072], 90.00%=[40192], 95.00%=[43264], \| 99.00%=[52480], 99.50%=[60160], 99.90%=[85504], 99.95%=[113152], \| 99.99%=[296960] пропускная способность (КБ/с): мин=5004, макс=25066, сред=13713.01, отклонение=3454.14 запись: io=841688КБ, пропускная способность=3437.1КБ/с, iops=562, время=244825мс slat (мкс): мин=3, макс=32123, сред=17.92, отклонение=409.82 clat (мкс): мин=868, макс=483835, сред=23016.88, отклонение=14330.54 lat (мкс): мин=881, макс=483848, сред=23035.12, отклонение=14335.88 clat перцентили (мкс): \| 1.00%=[1416], 5.00%=[3056], 10.00%=[5216], 20.00%=[9536], \| 30.00%=[13888], 40.00%=[18304], 50.00%=[22400], 60.00%=[26752], \| 70.00%=[31104], 80.00%=[35584], 90.00%=[40192], 95.00%=[43776], \| 99.00%=[53504], 99.50%=[61184], 99.90%=[85504], 99.95%=[98816], \| 99.99%=[264192] пропускная способность (КБ/с): мин=1422, макс=6579, сред=3443.28, отклонение=926.27 lat (мкс): 100=0.01%, 250=0.01%, 500=0.01%, 750=0.04%, 1000=0.51% lat (мс): 2=2.47%, 4=4.68%, 10=13.98%, 20=23.24%, 50=53.71% lat (мс): 100=1.32%, 250=0.04%, 500=0.02% cpu: usr=10.73%, sys=23.07%, ctx=673631, majf=0, minf=8 Глубина IO: 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0% submit: 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete: 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued: всего r=550156/w=137644/d=0, short r=0/w=0/d=0 задержка: target=0, window=0, percentile=100.00%, depth=64 Статус выполнения группы 0 (все задачи): ЧТЕНИЕ: io=3274.5MB, аггрегатная пропускная способность=13693КБ/с, мин=13693КБ/с, макс=13693КБ/с, мин время=244825мс, макс время=244825мс ЗАПИСЬ: io=841688КБ, аггрегатная пропускная способность=3437КБ/с, мин=3437КБ/с, макс=3437КБ/с, мин время=244825мс, макс время=244825мс Статистика диска (чтение/запись): sda: ios=539489/137206, merge=11367/712, ticks=12209328/3240400, в очереди=15451416, загрузка=100.00% P.S. Всё ещё возникают ошибки lvm. Возможно, они мешают тесту. На вашем pve-сервере команды lvm типа этих выполняются без ошибок? Команды pvs и lvs выводят много ошибок. https://pve.proxmox.com/wiki/Iscsi/tests

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры