@sg90 + @Alwin Извините за задержку. Я убрал OSD, заменил диски и провел много попыток решить проблему, но безуспешно. Проблемы начались, когда мы перенесли наши производственные ВМ с нашего другого кластера на 10 узлов в кластер на 5 узлов по другим причинам, связанным с нашим колокацией. Сначала мы получили ошибки SMART "FailedOpenDrive", и предположили, что, возможно, диски или отсеки неисправны. Переподключение дисков на время помогло, но когда ошибки вернулись, я переставил диски. Из 20 HDD, думаю, около 15 "сломались". Даже после перестановки дисков, чтобы исключить проблемы с отсеками, ошибки возобновились. Это заставило нас заменить диски с проблемами, убрать старые OSD и создать новые с новыми дисками, перезагрузить кластер. Логи SMART перестали генерироваться, что, я полагаю, хорошо, но затем мы столкнулись с серьезными проблемами с пулом HDD. Я прикрепил заметки, которые я сделал, когда глубоко исследовал этот вопрос ранее на этой неделе. Хорошая новость в том, что в кластере в настоящее время нет производственных ВМ из-за этих проблем. Плохая новость в том, что мы наблюдаем подобные предварительные ошибки SMART во втором кластере, который и привел этот первый кластер к текущему состоянию, поэтому мы надеемся избежать повторения и выяснить, в чем проблема. Сказав это, я подумываю о полном разборе и перестройке пула HDD, но хотел бы узнать, можете ли вы помочь. Теперь к ответу на прошлые вопросы: Размер 2, минимум 2. Причина в том, что мы хотели немного больше доступного пространства, чем предлагал размер 3. Я видел упоминание о снижении минимального размера, но беспокоился о том, что у нас не будет "2" наборов данных для логов. Что касается того, что один OSD не должен быть причиной этих проблем, то здесь несколько OSD имеют неисправности. Если я перезагружаю или останавливаю их, сообщается о другом OSD. Я говорю о высокоуровневом резюме в DC > Резюме > Предупреждения и ошибки Ceph.

Извини за резкость, но читаю еще раз: у тебя 20 OSD, а работает только 13, так что 7 отключены. Плюс 27 PG в неактивном состоянии означает, что у Ceph больше нет копий, и соответственно, он потерял твои данные. Так что понятно, что резервная копия зависнет: Ceph перестал работать.

После работы с предупреждениями в Datacenter > Summary > Ceph Health, мне удалось решить ошибки (включая понижение параметра min_size). Последние логи, которые я вижу (на самом деле, последние): pg 20.0 неполный, действует [13,7] pg 20.3 неполный, действует [7,0] pg 20.8 неполный, действует [16,14] Это просто повтор вышеизложенного. В интернете я не нашел много информации, поэтому, если кто-то сможет помочь, буду очень признателен. У меня есть возможность просто удалить и заново создать HDD пул, но я не хочу к этому прибегать, если не придется. Видя, что у нас возникают похожие ошибки на другом кластере, я не могу перемещать ВМ между кластерами и постоянно пересоздавать HDD пулы.

Нужны ли тебе данные по этому пулу? Если ты удалишь PG, то удалишь небольшие части хорошего процента твоих данных, что приведет к порче большинства данных в этом пуле.