Аспро: ЛайтШоп [тема: 451 4.3.0 Ошибка: ошибка записи файла очереди;]

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 21:45:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Спасибо за данные! Не воспроизводится напрямую:
* взял письмо и отправил через стандартную конфигурацию — дошло менее чем за 1-2 секунды
* то же с твоим файлом custom-score, но когда я установил spamsize на твоё значение (которое больше 100M) — сканирование заняло 90 секунд (разница в 70 секунд, скорее всего, объясняется разным процессором и тем, что у меня в системе больше ничего не было запущено)

Не уверен, что здесь можно сделать что-то действительно надёжное — большие письма, проходящие через кучу регулярных выражений SpamAssassin, занимают время (да и отвечать чем-то кроме 4xx тоже неправильно, потому что письмо может пройти при следующей попытке).

* В качестве смягчающей меры можно попробовать установить spam-size пониже (но это может сломать обнаружение DKIM в SpamAssassin — без полного тела письма хэш тела не совпадёт).

Подумаю, что ещё можно улучшить здесь (кроме прерывания сканирования при достижении таймаута, что могло бы дать чуть более точную диагностику).
09.12.2021 21:45:00, Stoiko Ivanov.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 20:55:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Не беспокойтесь. Сообщение отправлено. Надеюсь, вам удастся воспроизвести проблему. Ваш труд очень ценится!
09.12.2021 20:55:00, poetry.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 20:47:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Извиняюсь за путаницу — я имел в виду по почте (s.ivanov _at_ proxmox.com) (в виде zip-файла).
09.12.2021 20:47:00, Stoiko Ivanov.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 20:43:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
@Stoiko Ivanov, когда я пытаюсь отправить тебе сообщение, появляется такая надпись: «Вы не можете начать разговор с следующим получателем: Stoiko Ivanov». Разве переписка действительно приватная? Я бы отправил тебе свою конфигурацию pmg и сообщение, из-за которого возникла эта ошибка, если бы переписка была закрытой. Я перепутал Custom Rules и Custom Scores. У меня только Custom Scores для spamassassin. Стараюсь вообще не менять конфигурацию, чтобы не выходить за рамки возможностей GUI, именно по этой причине (никогда не знаешь, к каким последствиям это приведёт). Ещё раз спасибо.
09.12.2021 20:43:00, poetry.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 17:34:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Пользовательские правила (например, с пользовательскими совпадениями по телу письма) нельзя настроить через графический интерфейс — можно изменить оценку определённых правил вверх или вниз, но если раньше оценка не была равна 0 (что отключает правило), это не должно влиять на время выполнения. Если хотите, вы можете прислать мне письмо (в архиве eml), и я попробую посмотреть, смогу ли я воспроизвести проблему или это что-то локальное в вашей среде. Возможно, вы могли бы поделиться здесь своими пользовательскими правилами? (может, я что-то увижу, что можно улучшить). Да, пожалуйста, держите нас в курсе! Спасибо!
09.12.2021 17:34:00, Stoiko Ivanov.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 17:21:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
У меня есть свои правила spamassassin, которые я настроил через pmg GUI. Они мне нужны, без них детекция не достаточно хорошая. DNS работает, я даже могу настроить выделенные DNS-серверы специально для этого сервера. Это что-то на будущее. Я выставил smtpd_proxy_timeout в шаблоне main.cf.in, потом выполнил pmgconfig sync и, как ты сказал, перезапустил postfix. Посмотрю, будет ли та же ошибка в следующий раз.
09.12.2021 17:21:00, poetry.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 16:32:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
155,621 секунды тратятся на SpamAssassin (а не на spamassassin) — возможно, у вас есть кастомные правила для spamassassin? По моему опыту, именно они иногда вызывают такую проблему. А DNS у вас работает? Судя по всему, настройка от @hata_ph должна быть правильной для фильтрации до очереди (я так понимаю, у вас эта функция включена). Где вы установили smtpd_proxy_timeout? Наверное, лучше всего прописать его в шаблоне main.cf.in (а потом, конечно, выполнить pmgconfig sync и перезапустить postfix). Надеюсь, это поможет!
09.12.2021 16:32:00, Stoiko Ivanov.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 16:19:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
@Stoiko Ivanov, спасибо. Я временно отключил clamav и теперь вижу, что сообщение обрабатывается нормально и наконец доставлено. Скоро включу clamav обратно. Можно ли увеличить время обработки для clamav и pmg-smtp-filter? Я уже пробовал совет с https://lxadm.com/“Error:_queue_file_write_error”_with_Postfix_and_Amavis от @hata_ph, но это не помогло... Сейчас в логах по этому сообщению, которое вызывало проблемы даже при отключённом clamav, видно, что обработка заняла очень много времени:
Код: Dec 9 16:10:51 pmg-smtp-filter[1742]: 120CE061B21BDE09BD1: processing time: 156.951 seconds (155.621, 0, 0)
09.12.2021 16:19:00, poetry.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 15:56:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Судя по логам, сервер, который пытается переслать сообщение на ваш PMG, имеет письмо в своей очереди (в логах, что вы прислали, всегда есть подключение снаружи). Если это действительно clamav, вы можете отключить сканирование с помощью clamav через /etc/pmg/pmg.conf — поставьте 'clamav 0' в разделе admin и перезапустите pmg-smtp-filter. Наверняка стоит также посмотреть журнал, чтобы получить больше подсказок о том, откуда берётся эта проблема. Надеюсь, это поможет!
09.12.2021 15:56:00, Stoiko Ivanov.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Thu, 09 Dec 2021 15:35:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
У меня снова возникает та же ошибка. Сообщение, вызвавшее эту ошибку, было размером 8 МБ с примерно 90 вложенными файлами Excel. Думаю, что clamav не смог обработать это сообщение, и теперь мы получаем ошибки доставки каждые 5 минут. Пробовал перезапускать, менял значения clamav — то выше, то ниже, ставил по умолчанию — всё без изменений... Проверил все очереди и очистил их, но сообщение всё равно как будто пытается доставиться. Помогите, пожалуйста, это заполняет почтовые ящики на нашем сервере... Вот с чего всё началось:

Код:

Dec 6 09:01:35 postfix/smtpd[117713]: connect from server.example.com[1.2.3.4]
Dec 6 09:01:35 postfix/smtpd[117713]: Anonymous TLS connection established from server.example.com[1.2.3.4]: TLSv1.2 with cipher ECDHE-RSA-AES256-GCM-SHA384 (256/256 bits)
Dec 6 09:01:35 postfix/smtpd[117713]: NOQUEUE: client=server.example.com[1.2.3.4]
Dec 6 09:03:18 postfix/smtpd[117713]: warning: timeout talking to proxy 127.0.0.1:10024
Dec 6 09:03:18 postfix/smtpd[117713]: proxy-reject: END-OF-MESSAGE: 451 4.3.0 Error: queue file write error; from= to= proto=ESMTP helo=
Dec 6 09:03:18 postfix/smtpd[117713]: disconnect from server.example.com[1.2.3.4] ehlo=2 starttls=1 mail=1 rcpt=2 data=0/1 quit=1 commands=7/8

Dec 6 09:18:21 postfix/smtpd[118700]: connect from server.example.com[1.2.3.4]
Dec 6 09:18:21 postfix/smtpd[118700]: Anonymous TLS connection established from server.example.com[1.2.3.4]: TLSv1.2 with cipher ECDHE-RSA-AES256-GCM-SHA384 (256/256 bits)
Dec 6 09:18:21 postfix/smtpd[118700]: NOQUEUE: client=server.example.com[1.2.3.4]
Dec 6 09:20:02 postfix/smtpd[118700]: warning: timeout talking to proxy 127.0.0.1:10024
Dec 6 09:20:02 postfix/smtpd[118700]: proxy-reject: END-OF-MESSAGE: 451 4.3.0 Error: queue file write error; from= to= proto=ESMTP helo=
Dec 6 09:20:02 postfix/smtpd[118700]: disconnect from server.example.com[1.2.3.4] ehlo=2 starttls=1 mail=1 rcpt=2 data=0/1 quit=1 commands=7/8

Dec 6 09:35:02 postfix/smtpd[121966]: connect from server.example.com[1.2.3.4]
Dec 6 09:35:02 postfix/smtpd[121966]: Anonymous TLS connection established from server.example.com[1.2.3.4]: TLSv1.2 with cipher ECDHE-RSA-AES256-GCM-SHA384 (256/256 bits)
Dec 6 09:35:03 postfix/smtpd[121966]: NOQUEUE: client=server.example.com[1.2.3.4]
Dec 6 09:36:45 postfix/smtpd[121966]: warning: timeout talking to proxy 127.0.0.1:10024
Dec 6 09:36:45 postfix/smtpd[121966]: proxy-reject: END-OF-MESSAGE: 451 4.3.0 Error: queue file write error; from= to= proto=ESMTP helo=
Dec 6 09:36:45 postfix/smtpd[121966]: disconnect from server.example.com[1.2.3.4] ehlo=2 starttls=1 mail=1 rcpt=2 data=0/1 quit=1 commands=7/8
09.12.2021 15:35:00, poetry.

451 4.3.0 Ошибка: ошибка записи файла очереди;

Tue, 21 Sep 2021 13:32:00 +0300

451 4.3.0 Ошибка: ошибка записи файла очереди; Proxmox Mail Gateway в форуме Proxmox Mail Gateway.
Код: 21 сен 13:10:46 server pmg-smtp-filter[97459]: Убивается "1" дочерний процесс
21 сен 13:10:47 server systemd[1]: Остановка демона Proxmox SMTP Filter...
21 сен 13:10:47 server pmg-smtp-filter[97459]: 2021/09/21-13:10:47 Сервер закрывается!
21 сен 13:10:47 server systemd[1]: pmg-smtp-filter.service: Завершено успешно.
21 сен 13:10:47 server systemd[1]: Демон Proxmox SMTP Filter остановлен.
21 сен 13:10:47 server systemd[1]: pmg-smtp-filter.service: Использовано CPU времени 24мин 4.472с.
21 сен 13:10:47 server systemd[1]: Запуск демона Proxmox SMTP Filter...
21 сен 13:10:48 server postfix/smtpd[100617]: предупреждение: соединение с proxy filter 127.0.0.1:10024 отказано
21 сен 13:10:48 server postfix/smtpd[100617]: proxy-reject: END-OF-MESSAGE: 451 4.3.0 Ошибка: ошибка записи файла очереди; от= к= протокол=ESMTP helo=
21 сен 13:10:48 server pmg-smtp-filter[103908]: Процесс переведен в фон
21 сен 13:10:48 server pmg-smtp-filter[103908]: 2021/09/21-13:10:48 main (тип Net::Server::PreFork) запускается! pid(103908)
21 сен 13:10:48 server pmg-smtp-filter[103908]: Привязка к TCP порту 10023 на хосте 127.0.0.1 с IPv4
21 сен 13:10:48 server pmg-smtp-filter[103908]: Привязка к TCP порту 10024 на хосте 127.0.0.1 с IPv4
21 сен 13:10:48 server pmg-smtp-filter[103908]: Группа не определена. Используется EGID '0' по умолчанию
21 сен 13:10:48 server pmg-smtp-filter[103908]: Пользователь не определен. Используется EUID '0' по умолчанию
21 сен 13:10:48 server postfix/cleanup[103151]: 1E0801219B7: message-id=<20210921111048.1E0801219B7@server.example.com>
21 сен 13:10:48 server pmg-smtp-filter[103908]: Настройка сериализации через flock
21 сен 13:10:48 server pmg-smtp-filter[103908]: Фильтр-демон (повторно)запущен (макс. 40 процессов)
21 сен 13:10:48 server systemd[1]: Демон Proxmox SMTP Filter запущен.
Мы получили это письмо на postmaster@server.example.com от MAILER-DAEMON@server.example.com

Код: Транскрипт сессии ниже.

Out: 220 server.example.com ESMTP server.example.com
In: EHLO outlook.com
Out: 250-server.example.com
Out: 250-PIPELINING
Out: 250-SIZE 157286400
Out: 250-VRFY
Out: 250-ETRN
Out: 250-STARTTLS
Out: 250-ENHANCEDSTATUSCODES
Out: 250-8BITMIME
Out: 250 CHUNKING
In: STARTTLS
Out: 220 2.0.0 Готов начать TLS
In: EHLO outlook.com
Out: 250-server.example.com
Out: 250-PIPELINING
Out: 250-SIZE 157286400
Out: 250-VRFY
Out: 250-ETRN
Out: 250-ENHANCEDSTATUSCODES
Out: 250-8BITMIME
Out: 250 CHUNKING
In: MAIL FROM: SIZE=2063927
Out: 250 2.1.0 Ок
In: RCPT TO:
Out: 250 2.1.5 Ок
In: RCPT TO:
Out: 250 2.1.5 Ок
In: BDAT 2046876 LAST
Out: 451 4.3.0 Ошибка: ошибка записи файла очереди
In: QUIT
Out: 221 2.0.0 Пока

Для остальных деталей смотрите локальный почтовый лог. Могу предоставить дополнительные логи техподдержке, если нужно, но публиковать их здесь не могу — слишком сложно замаскировать личную информацию при большом объёме логов.
21.09.2021 13:32:00, poetry.