Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    VirtIO против SCSI

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    VirtIO против SCSI, Proxmox Виртуальная Среда
     
    tuxis
    Guest
    #1
    0
    29.03.2019 16:12:00
    Некоторые виртуальные машины получают огромное увеличение производительности дискового ввода-вывода просто за счет переключения дискового порта/устройства на VirtIO Block. Результаты с SCSI: Код: [root@acrux testjes]# dd if=/dev/zero of=testfile bs=1M count=1000 oflag=dsync 1000+0 записей введено 1000+0 записей выведено 1048576000 байт (1.0 ГБ) скопировано, 93.3164 с, 11.2 МБ/с [root@acrux testjes]# dd if=/dev/zero of=testfile bs=1G count=1 oflag=dsync 1+0 записей введено 1+0 записей выведено 1073741824 байт (1.1 ГБ) скопировано, 20.9574 с, 51.2 МБ/с Результаты с VirtIO block: Код: [root@acrux testjes]# dd if=/dev/zero of=testfile bs=1M count=1000 oflag=dsync 1000+0 записей введено 1000+0 записей выведено 1048576000 байт (1.0 ГБ) скопировано, 42.9133 с, 24.4 МБ/с [root@acrux testjes]# dd if=/dev/zero of=testfile bs=1G count=1 oflag=dsync 1+0 записей введено 1+0 записей выведено 1073741824 байт (1.1 ГБ) скопировано, 5.74577 с, 187 МБ/с Можно ли ожидать такого огромного увеличения производительности при использовании VirtIO? Кажется странным, что такое, казалось бы, небольшое изменение имеет такой большой эффект. Фоновая информация: кластер Ceph с 3 узлами. Используемый контроллер SCSI — VirtIO SCSI (в обоих тестах).
     
     
     
    lilszi
    Guest
    #2
    0
    25.06.2020 12:41:00
    Я только что зарегистрировался, чтобы поблагодарить вас за этот пост. У меня были проблемы с производительностью в виртуальных машинах на 6g SSD, скорость скачивания составляла всего 50MB/s. С вашими рекомендациями теперь она поднялась до 150MB/s.
     
     
     
    mir
    Guest
    #3
    0
    25.06.2020 15:50:00
    Это опасно, поскольку записи сначала записываются в память, а затем уже сохраняются на носитель.
     
     
     
    David Herselman
    Guest
    #4
    0
    25.06.2020 20:02:00
    Да и нет... Записи буферизуются, но сбросы учитываются, так что это будет безопасно с точки зрения транзакций. Только 'небезопасный' игнорирует сбросы...
     
     
     
    mir
    Guest
    #5
    0
    25.06.2020 22:34:00
    Это полностью зависит от хоста. Кэш записи эквивалентен аппаратному RAID-контроллеру.
     
     
     
    virtRoo
    Guest
    #6
    0
    26.06.2020 02:47:00
    И может также повлиять на то, как работает живая миграция.
     
     
     
    Proxygen
    Guest
    #7
    0
    13.08.2020 20:02:00
    Неужели SATA не будет быстрее любой комбинации SCSI? Мне не нужно более 6 устройств. Это кажется официальной рекомендацией для производительности. https://pve.proxmox.com/pve-docs/chapter-qm.html#qm_hard_disk Что подводит меня к вопросу (извини, если это требует отдельной темы): возможно ли конвертировать диск ВМ? Это по-прежнему актуальное решение?
     
     
     
    gb00s
    Guest
    #8
    0
    13.08.2020 21:23:00
    На одной скамейке, возможно, но на реальной системе с несколькими нагруженными вводом/выводом задачами (виртуальными машинами и базами данных) почему потоки ввода-вывода должны быть недостатком, если они предоставляют несколько некоррелируемых потоков ввода-вывода? Без потоков ввода-вывода все остается в очереди и ждет, пока с этим разберутся. Мне теперь интересно...
     
     
     
    jdancer
    Guest
    #9
    0
    14.08.2020 21:06:00
    Согласно этому посту https://forum.proxmox.com/threads/virtio-scsi-vs-virtio-scsi-single.28426, virtio использует один контроллер на диск, так же как и в случае с virtio scsi single. Что касается того, какой из них "быстрее", не могу сказать.
     
     
     
    Proxygen
    Guest
    #10
    0
    14.08.2020 21:15:00
    Из того, что я собрал после множества исследований, включая некоторые бенчмарки, реальный физический SATA — это самое быстрое. Но это эмулированная среда, поэтому самым быстрым вариантом будет VirtioSCSI. В настройках устройства выбери кэш записи (безопасный вариант, а не небезопасный).
     
     
     
    christian.g
    Guest
    #11
    0
    03.08.2022 15:19:00
    Я знаю, что это старая тема, но в данный момент я исследую IOPs на нашем кластере Ceph. Тестовая виртуальная машина Debian 10 (ядро 4.19) Тестовый комплекс fio с тестом 4k randrw. Каждый тест повторялся 3 раза. Первые тесты проводились на сырых блоковых устройствах rdb из виртуальной машины, чтобы определить лучший интерфейс (SCSI против Virtio) без кэша и с кэшированием записи.

    BUS    Cache    IOThread   SSD Emulation  Discard   IOPS Read (k)  IOPS Write (k)  BW Read (MB/s)  BW Write (MB/s)
    SCSI   None     0         0              0          14 k           6 k              24 MB/s          24 MB/s
    SCSI   Writeback 1        1              1          40 k           17 k             164 MB/s         71 MB/s
    SCSI   Writeback 0        1              1          40 k           17 k             165 MB/s         71 MB/s
    SCSI   Writeback 0        0              0          40 k           17 k             165 MB/s         71 MB/s
    SCSI   Writeback 0        0              1          39 k           17 k             163 MB/s         70 MB/s
    Virtio None     0         0              0          14 k           6 k              54 MB/s          22 MB/s
    Virtio Writeback 1       0              1          46 k           20 k             187 MB/s         79 MB/s
    Virtio Writeback 0       0              1          45 k           19 k             185 MB/s         79 MB/s
    Virtio Writeback 0       0              0          45 k           19 k             185 MB/s         79 MB/s

    Я исключил комбинации кэша "None", так как первый тест показал, что кэширование записи определенно лучше. Пока что IOThread никоим образом не замедлил производительность. Затем я провел тесты на смонтированной файловой системе ext4 (не rootfs) и, к моему удивлению, IOThread действительно замедлил работу.

    BUS    Cache    IOThread   SSD Emulation  Discard   IOPS Read (k)  IOPS Write (k)  BW Read (MB/s)  BW Write (MB/s)
    Virtio Writeback 1       0              1          36 k           16 k             148 MB/s         64 MB/s
    Virtio Writeback 0       0              1          41 k           18 k             169 MB/s         72 MB/s
    Virtio Writeback 0       0              0          45 k           19 k             183 MB/s         78 MB/s
    Virtio Writeback 1       0              0          38 k           16 k             157 MB/s         67 MB/s

    Меня также удивило, что активация функции discard также замедлила работу. Похоже, что Virtio с кэшированием записи и отключенными остальными опциями обеспечивает наилучшие показатели производительности для ext4. Другие файловые системы могут вести себя иначе. Но действительно ли использование кэша записи безопасно при использовании живой миграции? Какие возможные проблемы?

    Обновление: Проведение тестов на сырых устройствах на Debian 11 (ядро 5.10) увеличило общую производительность на 10-15%.

    BUS    Cache    IOThread   SSD Emulation  Discard    IOPS Read (k)  IOPS Write (k)  BW Read (MB/s)  BW Write (MB/s)
    Virtio Writeback 0      0              0           56 k           24 k             230 MB/s         99 MB/s

    Проведение тестов файловых систем на Debian 11 (ядро 5.10) снизило общую производительность на 10-15%, что очень расстраивает.

    BUS    Cache    IOThread   SSD Emulation  Discard    IOPS Read (k)  IOPS Write (k)  BW Read (MB/s)  BW Write (MB/s)
    Virtio Writeback 0      0              0           38 k           17 k             160 MB/s         68 MB/s
     
     
     
    guletz
    Guest
    #12
    0
    03.08.2022 16:32:00
    Привет, Write-back кэш небезопасен, потому что vDisk будет кэшировать все эти данные в ОЗУ (если буфер достаточно большой) и сообщит приложениям... Хорошо, я записываю данные на диск, продолжай... Когда буферы заполнятся или через X секунд (в зависимости от ОС, например, Windows использует 60 секунд, если я не ошибаюсь, и примерно 5-10 секунд для Linux) данные будут сброшены на vDisk. Реальная угроза заключается в том, что между двумя последовательными сбросами данных, если произойдет что-то плохое (например, сбой ОС, сбой хоста, потеря питания и так далее), вы потеряете эти буферизованные данные (которые находятся в ОЗУ). Живая миграция любой ВМ с активным и работающим qemu-guest пройдет нормально (живая миграция начнет сбрасывать любые буферизованные данные на vDisk, а после этого начнет перемещение vDisk). Без qemu-guest... да, вы можете потерять свои данные, если в процессе (если ВМ или узел упадут). Также имейте в виду, что отключенная опция discard не так хороша, как вы думаете, потому что задний хранилище vDisk не сможет удалить неиспользуемые блоки, которые были удалены файловой системой ОС ВМ. Удачи! Bafta!
     
     
     
    christian.g
    Guest
    #13
    0
    04.08.2022 11:47:00
    Конечно, именно это и делает writeback. Ладно, теперь о обычных недостатках writeback. Спасибо. Да, но это касается только флеш-памяти. Я хотел просто обратить внимание, что discard влияет на производительность. В моем случае мне нужен discard, но это не обязательно относится ко всем. Я тестировал на флеш-памяти, было бы интересно узнать, влияет ли опция "discard" на производительность на дисках с вращающимися пластинами.
     
     
     
    guletz
    Guest
    #14
    0
    04.08.2022 11:49:00
    Не правда!
     
     
     
    christian.g
    Guest
    #15
    0
    04.08.2022 12:29:00
    Верно, но я был бы признателен, если бы вы вместо простого "Не верно" предоставили полезную информацию. Я неправильно интерпретировал опцию Discard! Она касается тонкойProvisioning, а не флеш-накопителей. "Образы дисков в Proxmox являются разреженными, независимо от типа изображения, что означает, что размер образа диска медленно увеличивается по мере хранения данных. Со временем данные создаются и удаляются внутри файловой системы образа диска. Но в разреженном образе диска, даже после удаления данных, свободное пространство никогда не восстанавливается. Виртуальная машина может сообщать о правильном доступном объеме памяти, но хранилище Proxmox будет показывать более высокое использование памяти. Опция Discard позволяет узлу восстановить свободное пространство, в котором нет данных. Это эквивалентно опции TRIM, введенной в SSD-дисках. Прежде чем можно будет использовать эту опцию, мы должны убедиться, что виртуальная машина использует контроллер VirtIO SCSI. Мы можем установить тип контроллера SCSI на вкладке параметров виртуальной машины: ..." https://www.oreilly.com/library/vie...05/03431488-8696-41e3-92e2-a60482b6e4e9.xhtml Или https://gist.github.com/hostberg/86bfaa81e50cc0666f1745e1897c0a56
     
     
     
    LnxBil
    Guest
    #16
    0
    04.08.2022 20:07:00
    Также имейте в виду, что любые настройки кэширования на стороне хоста (всё, кроме NONE) потребуют дополнительную оперативную память на хосте/гипервизоре, и часто люди жалуются на то, что PVE использует слишком много памяти. Вот в чем дело. Также может случиться так, что вы кэшируете на нескольких уровнях, например, с ZFS, где NONE является настройкой по умолчанию и также должно оставаться настройкой по умолчанию, если вы не хотите кэшировать дважды (только на хосте, может быть также кэш внутри вашей гостевой ОС).
     
     
     
    christian.g
    Guest
    #17
    0
    25.08.2022 09:32:00
    Все ваши замечания справедливы, но в конце концов кластер должен быть достаточно быстрым, чтобы удовлетворять потребности, а с кэшем "Нет" этого не происходит. В общем, я предпочитаю безопасность производительности, но в данном случае цифры слишком плохие, и пользователям приходится работать без возможности пойти выпить кофе, пока приложения не завершат свою работу.
     
     
     
    VictorSTS
    Guest
    #18
    0
    25.08.2022 13:17:00
    Пожалуйста, не могли бы вы поделиться всей командой fio, которую вы используете, чтобы получить эти числа? Спасибо!
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры