Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Proxmox с ZFS или BTRFS?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Proxmox с ZFS или BTRFS?, Proxmox Виртуальная Среда
     
    N0Tallow3D
    Guest
    #1
    0
    22.01.2019 12:59:00
    Привет, ребята, новый год, новые вызовы. В этом году я выбрал файловые системы, и после трёх недель чтения документации, учебников и лучших практик я зашёл в тупик. Я выбрал существующий оптимизированный сервер с 16 ГБ ОЗУ, 1x 250GB nvme SSD (Proxmox+VM), 1x 256GB SSD SATA (Кеш/Лог), 2x 2TB HDD SATA (Raid1: Данные), 3x 3TB HDD SATA (Raid1+Резерв: Данные). Вся система не предназначена для высокой скорости, а ВМ содержат только внутренний DNS, NAS и небольшие сервисы. Для тестов я сделал настройки с ZFS на обоих SSD и 2TB HDD в режиме Raid1. 3TB HDD работают на ext4. Я тестировал compress=off/lz4, dedup=on/off и несколько конфигураций Cache/Log на 256GB SSD. Во втором раунде я сделал настройки с btrfs на nvme SSD и luks+btrfs на 2TB HDD в режиме RAID1. Независимо от того, что я делал, максимальная скорость передачи (запись) на ZFS колебалась между 40-60MB. С btrfs я получил 130-160MB. Зачем ZFS так медленный? Я не нашёл ошибок, и никаких советов по оптимизации мне не помогает. Так что вывод должен быть в пользу btrfs, особенно когда дело касается продуктивных данных. Но один HDD случайным образом выдаёт ошибки ввода/вывода. У диск в порядке (SMART&fsck&scrub), кабель SATA был заменён (3 разных типа), контроллер тоже заменялся (PCIe и встроенный), а исходные данные приходят из 3TB HDD, как и в настройках без ошибок с ZFS. Честно говоря, я предпочёл бы btrfs из-за значительно большей скорости на том же железе, но потенциальная потеря данных — это не вариант. Так что... Что бы вы сделали? Я что-то упустил? С уважением, N0Tallow3D (чтобы оставить ext4 *г*)
     
     
     
    ricardoj
    Guest
    #2
    0
    05.06.2019 14:26:00
    Привет, ребята, некоторые сообщения о BTRFS устарели, примерно лет пять назад. Я использую 3 Open Media Vault и один Proxmox 5.4 (лабораторная среда) с BTRFS и пока не вижу проблем. Я решил попробовать BTRFS после множества поисков в Интернете и узнал, что один производитель NAS продает устройства с этой файловой системой. https://www.synology.com/en-us/dsm/Btrfs Я никак не связан с этим производителем или разработкой BTRFS. Также я не утверждаю, что ZFS плохой, или что BTRFS — лучший вариант в мире. По личному опыту могу сказать, что ZFS требует серверного оборудования, такого как быстродействующие диски и много памяти или SSD начального уровня. Если у вас есть бюджет, выбирайте его, но если бюджет ограничен, а ваше оборудование не слишком быстрое, стоит попробовать BTRFS. Пожалуйста, посмотрите мою другую публикацию о резервном копировании контейнеров на ZFS (моя среда): https://forum.proxmox.com/threads/container-slow-backup.53499/ С наилучшими пожеланиями, Рикардо Жорже
     
     
     
    guletz
    Guest
    #3
    0
    05.06.2019 21:51:00
    И в моем случае я использую (по крайней мере 5 лет) в основном несерверное оборудование (без ECC-памяти, NAS/видеонаблюдение на SATA HDD) с 8 ГБ ОЗУ (в лучшем случае 16 ГБ). И без SSD. Но я должен сказать, что потратил бессчетные ночи и нейроны моего мозга, прежде чем смог начать понимать ZFS! Даже сейчас у меня есть система классического настольного компьютера. Так что у каждого свои особенности и опыт. Самое главное, что у нас могут быть разные мнения (ZFS, Btrfs, Nilfs2 и так далее), и мы можем выбирать, что лучше для нас и нашей ситуации.
     
     
     
    ricardoj
    Guest
    #4
    0
    06.06.2019 02:53:00
    ПРИВЕТ, я не могу сказать, что "разные ребята" — это единственный ответ, но разное количество виртуальных машин, а также различные операционные системы для виртуальных машин. В моем случае 18 рабочих станций Windows 10 (VDI), работающих на "настольном классе" аппаратного обеспечения с 64 ГБ ОЗУ, вызывают настоящие проблемы с производительностью при использовании ZFS. Теперь, говоря о выборе, это не совсем так, так как ZFS можно установить только с установочного носителя. Все, что связано с BTRFS, нужно делать вручную. Да, вы можете это сделать, но поддержки у вас не будет. С уважением, Рикардо Жорже
     
     
     
    guletz
    Guest
    #5
    0
    06.06.2019 18:11:00
    Верно. Но вы можете установить операционную систему Debian (зеркало), а затем на ней систему PMX. После этого вы можете использовать Btrfs так, как вам нравится. Все несовместимо. Извините за мой плохой английский!
     
     
     
    Vladimir Bulgaru
    Guest
    #6
    0
    06.06.2019 19:05:00
    Не могу сказать, что я ветеран в этой области, но последние 6 месяцев я стараюсь изо всех сил защитить данные на своем сервере. Как обычно, всё начинается с понимания, что такое SAS, контроллер RAID, RAID, резервирование, целостность данных и так далее. В двух словах, мне нравится ZFS. Основной недостаток — расход ресурсов, но в остальном всё лучше. Похожая на btrfs, она обеспечивает защиту целостности данных, создавая контрольные суммы и фиксируя записи. При этом ZFS встроена в Proxmox и может быть легко развернута во время установки. Мне не нравится, что нет графического интерфейса для настройки настроек ZFS, и все приходится делать через терминал, но, думаю, так обстоит дело с множеством вещей в Proxmox. Кроме того, мне приятно, что ZFS предоставляет отличную альтернативу контроллерам RAID (я был рад избавиться от этой точки отказа) и обеспечивает не только резервирование данных, но и их целостность. Что касается ресурсов, то 10-20ГБ, используемых ZFS, и, возможно, добавление SSD для кэширования, кажутся отличным решением, когда речь идет о спокойном сне, зная, что ваши данные в безопасности. Более того, расходы на дополнительную оперативную память компенсируются экономией на дорогом аппаратном контроллере RAID. Что касается btrfs, я прочитал довольно много статей на эту тему, и с учетом того, насколько ZFS развивалась за эти годы, я не вижу явных преимуществ. Вот видео, которым я могу поделиться на эту тему, хотя оно выглядит устаревшим, когда речь заходит о ZFS: https://www.youtube.com/watch?v=yAuEgepZG_8
     
     
     
    ricardoj
    Guest
    #7
    0
    06.06.2019 19:11:00
    Привет, как я и говорил, BTRFS можно установить вручную, но тогда поддержки не будет, и, на мой взгляд, главная причина этого — плохая репутация, потому что люди до сих пор пишут: "У меня были проблемы много лет назад, когда я использовал BTRFS". Если BTRFS так плох, почему его использует SuSE? Почему производитель NAS продает устройства с ним? Почему Oracle его поддерживает? Почему Open Media Vault планирует сделать BTRFS файловой системой по умолчанию? Если люди только читают о проблемах, никто не станет рассматривать BTRFS как вариант, и ZFS останется единственным "вариантом". Идеальной файловой системы не существует, и разным системам могут нужны разные файловые системы. ZFS требует больше ресурсов, чем BTRFS, и если вам нужна бюджетная система, почему бы не использовать BTRFS с поддержкой от Proxmox? Если вы собираетесь использовать только оборудование класса "предприятие", возможно, ZFS вам подойдёт. С уважением, Рикардо Хорхе
     
     
     
    alexskysilk
    Guest
    #8
    0
    06.06.2019 20:37:00
    У вашей гипотезы есть два момента. Первый — BTRFS на самом деле не поддерживается для каких-либо серьезных "производственных" приложений. Да, он относительно стабилен и имеет хорошие функции, но раз нет реального якорного клиента, который бы его использовал, нет и крупного разработчика, который бы продвигал код. ZFS используется во множестве коммерческих приложений, включая, но не ограничиваясь LLNL Lustre, Datto, Nexenta и других, кто продолжает вкладывать время и ресурсы в разработку. С учетом того, что Red Hat, по сути, объявила об отсутствии интереса, SUSE теперь является единственным "носителем факела" для BTRFS, но у них нет продукта, связанного с ним (да, есть Synology, но не считаю, что их инженерные возможности сопоставимы с вышеназванными. Между прочим, даже они используют BTRFS только как LVM, а не в качестве замены RAID). Если вы собираетесь разработать продукт, который зависит от фактически "сиротского" кода, вам лучше быть готовым поддерживать его самостоятельно. Файловые системы крайне сложны, и новые редкие проблемы возникают постоянно — только потому, что с вами этого еще не случалось, не означает, что это не произойдет; насколько вы уверены в том, сколько времени (если вообще) потребуется для решения проблем? Второй момент — одно то, что вы можете, не означает, что вы должны. Разработчики продукта, который вам действительно нужен (Proxmox), не заинтересованы в том, чтобы самостоятельно поддерживать еще одну файловую систему, и, следовательно, все соответствующие функции не встроены в их продукт для поддержки вашего выбора. Стоит ли это всех тех усилий и изобретения колеса заново? Если вы действительно не хотите использовать ZFS из-за ограничений по производительности, LVM поверх MDraid работает прекрасно.
     
     
     
    ricardoj
    Guest
    #9
    0
    06.06.2019 22:51:00
    Привет, я не фанат BTRFS и надеюсь, что все комментарии здесь будут такими же по поводу ZFS! BTRFS всё ещё в планах Proxmox. Может, это ошибка или стратегия на будущее. Кто знает? - https://docs.docker.com/storage/storagedriver/btrfs-driver/ - https://www.synology.com/en-us/dsm/Btrfs - https://docs.oracle.com/cd/E37670_01/E37355/html/ol_about_btrfs.html Самая большая проблема с ZFS с точки зрения пользователя Linux — это лицензирование. ZFS лицензирован под CDDL, что является полупозволительной лицензией и конфликтует с GPL. Существует много споров о последствиях использования ZFS с ядром Linux, мнения варьируются от "это нарушение GPL" до "это нарушение CDDL" и "это вполне нормально, просто это ещё не тестировалось в суде." С уважением, Рикардо Хорхе
     
     
     
    alexskysilk
    Guest
    #10
    0
    06.06.2019 23:25:00
    Вы можете утверждать, что не являетесь фанатом, но когда вы переходите к описанию причин, почему ZFS не для вас, вместо того чтобы спорить, почему btrfs - это в какой-то момент становится очевидным. Мне интересно, откуда у вас появилась идея, что лицензирование ZFS является проблемой для пользователя Linux, и тем более - самой большой? Возможно, вам стоит взглянуть сюда: https://github.com/zfsonlinux/zfs/wiki/FAQ#licensing Я упрощу основные моменты: 1. В CDDL нет положений, которые запрещают его использование в Linux или любой другой ОС 2. В GPL нет положений, запрещающих включение бинарного кода, включая KLM (модули, загружаемые в ядро). Ограничение касается включения этого в ядро, что никто не делает. Мне действительно хотелось бы, чтобы люди перестали распространять эту ерунду.
     
     
     
    ricardoj
    Guest
    #11
    0
    06.06.2019 23:46:00
    Привет, как я и говорил, "BTRFS все еще на дорожной карте Proxmox." Если ребята из Proxmox не видят ценности в BTRFS, они могут изменить свою дорожную карту. Это их дело! Что касается лицензии: - https://sfconservancy.org/blog/2016/feb/25/zfs-and-linux/ Теперь о распространении ерунды и FUD, по этой причине я снова вернулся к этой теме. Похоже, основная причина использования ZFS как единственной поддерживаемой файловой системы - это "у меня была проблема много лет назад при использовании BTRFS". А почему бы не проверить, так ли это сейчас, когда многие другие разработчики используют BTRFS (пожалуйста, посмотрите ссылки). Не стоит бояться BTRFS. С уважением, Рикардо Хорхе
     
     
     
    praxmaxl
    Guest
    #12
    0
    02.02.2021 07:21:00
    на самом деле ECC RAM, похоже, является обязательным для ZFS, согласно этой статье
     
     
     
    guletz
    Guest
    #13
    0
    02.02.2021 09:52:00
    Привет, на мой взгляд, многие пользователи, особенно из корпоративной среды, даже не думают, что BTRFS может быть долгосрочным вариантом по некоторым уважительным причинам: - RHEL, например, не поддерживает BTRFS - развитие идет медленно (включая исправления ошибок), и в некоторые периоды я видел только 2 обновления в год - RAID 5 и 6 реализованы, но не готовы и не рекомендуются для производства (насколько я помню) Говоря от себя (но таких, как я, наверняка много), я больше не использую BTRFS не потому, что "у меня была проблема много лет назад" (проблемы можно решить), а потому что я потерял ВСЕ свои ДАННЫЕ на BTRFS. И я не хочу снова рисковать и играть в лотерею с BTRFS! Но у других людей может быть другой опыт/ИТ-ландшафт/оценка рисков, и они считают, что BTRFS в порядке. Мои наилучшие пожелания им! Удачи / Bafta!
     
     
     
    guletz
    Guest
    #14
    0
    02.02.2021 10:02:00
    Привет, почти правда. Но даже сейчас у меня есть несколько старых систем (с ZFS больше 7 лет) без памяти ECC, и у меня не было проблем. Одна из них такая старая, как эта (zfs-fuse), посмотри дату из истории zpool: Код: 2012-01-23.09:11:20 zpool create myzpool /dev/md6 ... с наработкой HDD: Код: 9 Power_On_Hours 0x0012 084 084 000 Old_age Всегда - 114009 Удачи / Бафта!
     
     
     
    Helmut101
    Guest
    #15
    0
    19.07.2021 08:48:00
    Теперь, когда BTRFS поддерживается в Proxmox VE 7.0, как вы оцените выбор между ZFS и BTRFS? У меня сейчас: 2x 16TB HDD в RAID 1 (хранение Proxmox) 2x 256GB SSD в RAID 1 (для гипервизора + данные/временные файлы ВМ) 2x 16GB HDD в RAID 1 на удаленном сайте. Я хочу перейти на ZFS или BTRFS, чтобы избежать тихой порчи данных. На удаленном сайте я продолжу использовать rsync/borg/RAID1 с аппаратным RAID, потому что это надежное и низкоуровневое решение, с которым я знаком, поэтому мне не нужна безумная защита с помощью резервных копий. Моя система: 36GB ECC RAM, 10 GB используется Один узел, домашнее использование В основном непривилегированные контейнеры LXC с привязкой томов прямо с хост-системы/с пользовательским сопоставлением Много вложенных контейнеров Docker в непривилегированных LXC, в основном для удобства Двойное преобразование USV Система резервного копирования на удаленном сайте: нет USV Мне нужно (заказал): надежность. Но у меня есть резервные копии на удаленном сайте, поэтому потеря данных на одном сайте не будет катастрофической. Гибкость. Я хочу подключать новые диски и как-то расширять текущее хранилище или заменять диски по одному без headaches. Шифрование. В настоящее время я использую Luks/dmcrypt, который монтируется при загрузке. Я знаю, что ZFS имеет встроенную поддержку шифрования. Docker. Я хочу продолжать использовать Docker - слышал, что производительность чтения/записи Docker внутри LXC может быть значительно снижена с ZFS как файловой системой, с некоторыми довольно сложными обходными решениями (официально Docker поддерживает как BTRFS, так и ZFS). Недостатки ZFS: плохая производительность при вложении Docker-LXC требует больше ресурсов; требует ECC RAM (для меня не проблема) Драйвер хранения Docker для ZFS поддерживается только для Ubuntu (я запускаю все свои Docker в Debian LXC) Недостатки BTRFS: интеграция в настоящее время находится на этапе технологического предварительного просмотра в Proxmox VE нет встроенного шифрования файлов, необходимо комбинировать с luks/dmcrypt Я был бы очень признателен за любые отзывы от тех, кто имеет опыт работы с BTRFS или ZFS или обоими файловыми системами.
     
     
     
    praxmaxl
    Guest
    #16
    0
    19.07.2021 09:23:00
    Поскольку у вас, похоже, установлена ECC RAM, я думаю, я бы последовал совету, который здесь описан, который в основном говорит... статистически ни одного случая потери данных не было зафиксировано у пользователей ZFS, потери данных сообщались в разных случаях пользователями btrfs. И это не мое мнение, а совет руководителя команды Linuxcontainers в @Canonical. Лично я бы склонялся к BTRFS, даже несмотря на то, что он нативный для Linux. С учетом этого... если бы у меня была ECC, я, вероятно, выбрал бы ZFS на основе этого утверждения.
     
     
     
    Helmut101
    Guest
    #17
    0
    19.07.2021 11:34:00
    Интересно! Большое спасибо. Интересно, почему в цитируемых документах BTRFS говорится, что драйвер хранения ZFS не может использоваться внутри контейнера, в то время как в документации Docker есть отдельный раздел по использованию драйвера хранения ZFS, а контейнеры LXC, похоже, полностью совместимы с ZFS.
     
     
     
    praxmaxl
    Guest
    #18
    0
    19.07.2021 12:24:00
    предположительно, вы не хотите рассматривать Linux Containers (LXC/LXD) в свете концепции Docker (хоть обе технологии и обоснованы на похожих принципах — cgroups, namespace). Я не могу действительно подробно в этом разобраться без достаточных знаний, но сказал бы, что это все равно что сравнивать яблоки с грушами.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры