Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Intel CAS/Open CAS Linux и Proxmox/ceph

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Intel CAS/Open CAS Linux и Proxmox/ceph, Proxmox Виртуальная Среда
     
    Joi Owen
    Guest
    #1
    0
    21.10.2020 18:46:00
    Мне сказали установить и настроить Intel Optane в нескольких Proxmox, и каким-то образом интегрировать его как дисковый кэш в 4-узловый кластер. Там довольно большой сервер mssql, который, я полагаю, является основным объектом, улучшить который хотят. Я немного поискал и не нашел никаких упоминаний о том, что кто-то устанавливает и использует Open CAS Linux или Intel CAS в среде Proxmox. В документации Intel CAS Administration есть раздел об использовании с общим Ceph, который мы используем в этом существующем кластере. Кто-нибудь тестировал использование Open CAS Linux для кэширования Ceph storage под Proxmox?
     
     
     
    elurex
    Guest
    #2
    0
    30.01.2021 12:45:00
    Так, pve ceph не совместим с open cas? Серьезно, это дает производительности толчок цефе с жёсткими дисками типа spindle?
     
     
     
    Alwin Antreich
    Guest
    #3
    0
    01.02.2021 15:31:00
    Open CAS не в ядре, это бы создало огромную нагрузку на разработчиков для очень специфичного случая использования. К тому же, попробуйте отлаживать проблемы кэша на этом уровне с Ceph сверху.
     
     
     
    elurex
    Guest
    #4
    0
    06.02.2021 06:16:00
    Я без проблем работаю с bcache и Ceph... есть ли большая разница между OpenCas и bcache? Они ведь в чем-то похожи.
     
     
     
    elurex
    Guest
    #5
    0
    19.02.2021 09:27:00
    open cas linux полностью совместим с PVE 6.3.3, его очень легко скомпилировать и можно добавить в dkms.conf для автоматической компиляции. Я не вижу никаких проблем с его использованием с pve+ceph 15
     
     
     
    elurex
    Guest
    #6
    0
    03.03.2021 09:00:00
    Обновление действительно простое с помощью DKMS
     
     
     
    eduncan911
    Guest
    #7
    0
    08.07.2021 17:53:00
    Я согласен с @elurex. Установка модулей ядра для сборки на dkms/kernel updates довольно проста. Раз уж это выходит за рамки Proxmox и их контрактов поддержки, то это просто Debian под капотом. Так что всё сводится к вопросу, хотите ли вы Enterprise Support или нет. Были некоторые тесты с OpenCAS и Ceph: https://01.org/blogs/tingjie/2020/research-performance-tuning-hdd-based-ceph-cluster-using-open-cas  Для автора вопроса (который, уверен, уже придумал какое-нибудь другое решение), или для всех, кто хочет выжать максимум из MySql и ZFS, обратите внимание: MyISAM использует размер блока 8k, а InnoDB — 16k для данных и 128k для логов. Поэтому установите ashift как минимум на 13 (8k) или даже 14 (16k) для InnoDB. И используйте Optane-диск как огромный буст производительности ZFS ZIL SLOG. lol
     
     
     
    Ruklaw
    Guest
    #8
    0
    22.11.2021 16:35:00
    Кто-нибудь добился успеха или получил какие-то советы по установке OpenCAS на Proxmox 7? Пытаюсь запустить тестирование в своей лабораторной среде, используя репозиторий без подписки, последнюю версию Proxmox. Установил все необходимые зависимости (вроде как) – команды, которые я уже запустил: apt install sed make gcc pve-headers python3 lshw libelf-dev python-argparse git git clone https://github.com/Open-CAS/open-cas-linux cd open-cas-linux git submodule update --init ./configure И на этом этапе я получаю ошибку: ERROR! Following steps failed while preparing config: 1_bd_first_part.conf Какие у вас есть идеи, чего мне не хватает или есть ли другой способ, который работает?
     
     
     
    Joi Owen
    Guest
    #9
    0
    22.11.2021 17:27:00
    Проверь содержимое файла config.out; ошибка из скрипта 1_bd_first_part.conf в ./configure.d, и похоже, что у тебя не хватает некоторых заголовочных файлов. Разработчики как-то забывают, что на каждом production-сервере не всегда установлен полный набор пакетов заголовочных файлов ядра.
     
     
     
    Ruklaw
    Guest
    #10
    0
    22.11.2021 18:03:00
    Содержимое config.out выглядит так, как указано ниже. Учитывая, что установлен pve-headers, какие у вас есть предложения, что попробовать дальше? Есть ли ещё какой-нибудь пакет заголовков ядра?

    Code:
    1_append_bio.conf 2
    1_bdev_nr_sectors.conf 1
    1_bdev_lookup.conf 1
    1_bdev_whole.conf 1
    1_bd_first_part.conf X
    1_bdget_disk.conf 2
    1_bio_dev.conf 1
    1_bio_clone.conf 3
    1_bio_discard.conf 2
    1_bio_err.conf 1
    1_bio_flags.conf 1
    1_bio_iter.conf 1
    1_bio_gendisk.conf 2
    1_bio_split.conf 1
    1_biovec.conf 1
    1_blk_mq.conf 2
    1_blk_status.conf 1
    1_blk_end_req.conf 1
    1_deamonize.conf 2
    1_block_pc.conf 2
    1_dentry.conf 1
    1_discard_zeros.conf 2
    1_err_no_to_blk_sts.conf 1
    1_hlist.conf 1
    1_global_page_state.conf 1
    1_flush_flag.conf 3
    1_kallsyms_on_each_symbol.conf 2
    1_inode.conf 1
    1_make_request.conf 3
    1_mq_flags.conf 3
    1_munmap.conf 3
    1_queue_bounce.conf 2
    1_queue_flag_set.conf 1
    1_queue_chunk_sectors.conf 1
    1_reread_partitions.conf 1
    1_queue_lock.conf 2
    1_queue_limits.conf 2
    1_set_submit_bio.conf 1
    1_timekeeping.conf 1
    1_vfs_ioctl.conf 1
    1_submit_bio.conf 1
    1_vmalloc.conf 1
    1_write_flag.conf 1
    1_wtlh.conf 1
    2_bio_barrier.conf 1
    2_generic_acct.conf 1
    2_bio_cmpl.conf 2
    2_make_req.conf 2
    2_queue_write.conf 1
     
     
     
    Joi Owen
    Guest
    #11
    0
    22.11.2021 18:15:00
    Проверил один из production-хостов, и два .h файла, которые ищет этот скрипт, присутствуют. Возможно, у скрипта возникла ошибка компиляции при тестировании. Попробуй включить verbose или debug вывод в команде configure и перезапустить её. Дважды проверь, что версия установленного пакета pve-headers совпадает со значением 'uname -a' для ядра, которое сейчас работает на твоём build-хосте. Я сам не пытался собрать CAS на proxmox, учитывая корпоративную поддержку, которую мы оплачиваем. Просто вспоминаю свои старые dev-навыки.
     
     
     
    Robert.H
    Guest
    #12
    0
    05.01.2022 21:58:00
    @Ruklaw, есть какие-нибудь новости или прогресс? Хотелось бы попробовать то же самое, основываясь на твоих результатах.
     
     
     
    Ruklaw
    Guest
    #13
    0
    05.01.2022 22:13:00
    Нет, но я довольно много тестировал bcache, lvm cache и lvm write cache в лабораторной среде с Ceph. Пока что руки не дошли, чтобы написать об этом и выложить... Если у вас получится запустить opencas, я буду очень рад добавить это в тесты.
     
     
     
    Giovanni
    Guest
    #14
    0
    27.07.2024 23:15:00
    Привет из будущего! 2024… так ты вообще дошла до того, чтобы опубликовать и поделиться своими открытиями?
     
     
     
    Ruklaw
    Guest
    #15
    0
    28.07.2024 00:23:00
    Привет, Джованни!

    Нет, в конечном итоге я так и не опубликовал свои выводы, потому что слишком много переменных вступает в игру при совмещении кэширования с Ceph, и даже те настройки, которые показывали хорошие результаты в тестах, на практике работали не особо хорошо. Мы некоторое время использовали OSD с поддержкой bcache, это было неплохо при работе с горячими данными, но холодные данные загружались очень медленно – в итоге оказалось, что проблема в том, как работает Ceph, а не в подходе к кэшированию, и мне потребовалось некоторое время, чтобы это понять.

    Главное, что нужно понять о Ceph, это то, что хотя у вас может быть 3 или 4 копии каждого блока данных в сети, Ceph никогда не использует эти дополнительные копии для ускорения чтения – каждый блок данных будет читаться с того OSD, который Ceph выбрал в качестве основного для этого блока. Если все ваши OSD хранятся на жестких дисках, то в лучшем случае однопоточный последовательный чтение данных будет идти со скоростью одного жесткого диска – даже если данные распределены по десяткам дисков с множеством копий. Это очень отличается от того, к чему вы привыкли при использовании RAID 1 или RAID 5/6 массивов, где дополнительные копии используются для ускорения чтения.

    На деле даже хуже, потому что хотя данные, которые вы читаете, могут быть одним большим файлом, Ceph может разбить их на несколько OSD (и довольно случайно, какой из этих OSD будет выбран в качестве основного OSD для этого блока данных), – поэтому в процессе чтения большого файла вам может потребоваться подождать, пока Ceph проищет на другом жестком диске, чтобы получить следующий блок данных.

    В итоге, в реальных условиях, при копировании редко используемого видеофайла из нашего Ceph-хранилища скорость часто была около 50 мегабайт в секунду – менее половины производительности одного из лежащих в основе дисков. Это было недостаточно хорошо!

    Решением, к которому я пришел, было следующее: вместо OSD для каждого жесткого диска мы объединяли жесткие диски в RAID 0 массивы с использованием LVM, а затем каждый из этих массивов из двух дисков настраивался как OSD – с WAL на отдельном корпоративного класса SSD с PLP. Это означает, что наш худший случай производительности теперь равен скорости двух жестких дисков в RAID 0, а не только одного жесткого диска. Очевидно, это немного менее безопасно/не рекомендуется и т.д., но в нашей конфигурации это оказалось хорошим компромиссом, и мы пережили несколько отказов жестких дисков без проблем (у нас 4 копии/2 минимум на нашем Ceph-хранилище).

    Это также имело побочный эффект – меньше RAM тратилось на наших серверах – Ceph довольно жаден к RAM, который он выделяет каждому OSD.

    На одном из наших четырех серверов (у нас четыре сервера Proxmox/Ceph плюс один сервер-свидетель) мы заменили жесткое дисковое хранилище на чисто SSD-хранилище – так что у нас 8 x 3 ТБ жестких дисков на трех серверах и 3 x 7,6 ТБ SSD-дисков на одном сервере. Я установил аффинитет на OSD, размещенные на SSD, чтобы Ceph всегда рассматривал их как основные – это означает, что чтение всегда будет происходить со скоростью SSD, пока этот сервер работает.

    Если у вас есть какие-либо дополнительные вопросы, я постараюсь на них ответить, но надеюсь, это понятно!
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры