Большинство «A/B-тестов» в рассылках — это не тесты, а гадание с красивым интерфейсом. Отправили две темы письма на 200 человек, у одной открытий на 4 больше, объявили победителя и поехали дальше. Проблема в том, что эти 4 открытия — чистый шум: завтра при том же письме победит другая тема. Разберём по шагам, как проводить A/B-тест email-рассылки так, чтобы выводу можно было верить: что тестировать, сколько людей нужно в группах, как считать значимость и почему в 2026 году open rate перестал быть надёжной метрикой.
Коротко
- Меняй ровно один элемент за тест — иначе не поймёшь, что сработало.
- Считай выборку калькулятором заранее. Меньше ~1000 контактов в базе и <250 в группе — результат недостоверен в принципе.
- Внедряй победителя только при значимости ≥95%. Не подглядывай в цифры до конца теста.
- В 2026 open rate завышен Apple MPP — оценивай тесты по кликам (CTR/CTOR), не по открытиям.
Что вообще такое A/B-тест рассылки
Берёте два варианта письма, которые отличаются одним элементом — например, темой. Случайно делите часть базы на две сопоставимые группы, шлёте версию A одной, версию B другой и сравниваете по заранее выбранной метрике: открытия, клики, конверсия. Смысл — заменить «мне кажется, так лучше» цифрами. Механику поддерживают все крупные российские сервисы: Unisender, Sendsay, DashaMail, Mindbox, RetailCRM, enKod. Кнопка «A/B» есть почти везде — вопрос не в том, как её нажать, а в том, как не обмануть себя результатом.
Шаг 1. Решите, что тестировать
Элементы письма влияют на разные этапы воронки, и тестировать их нужно осознанно.
На открытия (Open Rate) влияют: тема письма (формулировка-вопрос, упор на выгоду, срочность, размер скидки, длина, эмодзи, имя в теме), имя отправителя («от кого» — бренд, имя человека или должность), прехедер (текст-дополнение к теме в инбоксе), время и день отправки. Школа «Фоксфорд» однажды подписала письма именем маскота и получила около +10% к открытиям — это конкретный кейс, а не универсальная цифра, у вас будет своя.
На клики (CTR/CTOR) влияют: призыв к действию (формулировка кнопки, цвет, размер, расположение), сам контент и вёрстка (структура, длина, картинки против текста, оффер, тон), персонализация (имя, интересы, поведение).
Честный приоритет: тестируйте то, что выше по воронке и крупнее по эффекту — тему, оффер, сегмент. Цвет кнопки на базе в 800 человек вы не задетектите никогда, разница утонет в шуме. Крупные рычаги дают измеримый сдвиг, мелочи — только иллюзию работы.
Шаг 2. Меняйте ровно одну переменную
Если в варианте B вы поменяли и тему, и кнопку — и письмо сработало лучше, вы не узнаете, что именно дало прирост. Может, тема. Может, кнопка. Может, они вместе, а по отдельности обе хуже. Атрибуция ломается. Поэтому правило железное: один тест — один изменённый элемент. Исключение — целостный редизайн письма, но это уже тест «концепций», а не элемента, и читать его надо осторожнее: вы сравниваете два мира целиком, а не находите рабочую деталь.
Шаг 3. Посчитайте размер выборки до отправки
Это шаг, который пропускают чаще всего, — и именно здесь рождаются ложные выводы. Размер групп нельзя брать «на глаз», его считают калькулятором (есть у Mindbox, ROMI center и других). Вводных четыре:
Уровень значимости α = 0,05 (доверие 95%) — отраслевой стандарт. Означает: не больше 5% шанса принять случайную разницу за настоящую. Мощность теста 80% — вероятность увидеть эффект, если он реально есть. Базовая конверсия — ваш текущий показатель по метрике. И MDE — минимальный эффект, который вы хотите уметь различить. Закономерность простая: чем меньше эффект вы ловите, тем больше нужна выборка. Прирост в 1% на маленькой базе физически не виден.
Ориентиры по рынку (проверяйте под свои цифры калькулятором): осмысленный тест начинается примерно от 1000 контактов в базе, ниже — крупные тесты не работают. При менее 250 человек в группе достоверность нулевая, что бы там ни показал интерфейс. Чтобы поймать относительный прирост открытий на 20% при базовом OR около 40%, нужно порядка 590–600 получателей на вариант. А если эффект мельче и условия строгие (95% / 80%) — выборка легко вырастает до ~3400 на группу, то есть ~6800 на тест.
Пример. База 40 000 активных подписчиков. Классическая схема «30 на тест / 70 на победителя»: по 15% (6000 человек) уходит на вариант A и B, итого 12 000 в тесте. Через сутки система видит победителя с запасом по выборке и автоматически рассылает его на оставшиеся 28 000. На базе же в 800 человек ту же схему включать бессмысленно: по 120 на группу — это гадание, а не статистика.
Для крупных баз практика проще: 5–10% на каждый вариант, победитель — на остаток. Многие ESP делают авто-выбор победителя по таймеру или по достижению значимости — удобно, но не отключайте голову: проверяйте, какую метрику сервис считает «победой».
Шаг 4. Дайте тесту доиграть и не подглядывайте
Две вещи должны выполниться одновременно: набрана запланированная выборка и прошёл минимальный срок. По времени обычно хватает 24–48 часов; в B2B дольше — там открывают в рабочие часы, и письмо, ушедшее в пятницу вечером, «дозревает» только к понедельнику.
Главная дисциплина — не подглядывать (no peeking). На малой выборке ранний лидер почти всегда случаен: разрыв то появляется, то исчезает. Если остановить тест по первому отрыву, вы поймаете ложноположительный результат — это классическая проблема множественных проверок. Решение приняли — открытие пропало. Доводите до конца, как договорились на старте.
И ещё: одна целевая метрика на тест. Если смотреть разом open rate, CTR, конверсию, отписки и доход, шанс случайно найти «значимый» показатель резко растёт. Зафиксируйте гипотезу и метрику заранее — иначе вы не тестируете, а ищете, чем бы оправдать понравившийся вариант.
Шаг 5. Прочитайте результат честно
Внедряйте изменение, только если значимость ≥95%. Если её нет — корректный вывод звучит как «разницы не обнаружено», и это тоже валидный итог: значит, элемент не решает, и силы стоит вложить в другой рычаг. Тест без значимости — не «победил A с перевесом 3%», а «мы ничего не выяснили». Принимать на нём решения — то же самое, что подбрасывать монетку, но дороже.
2026: почему open rate больше нельзя использовать как метрику теста
Это главное отличие свежего гайда от тех, что писались до 2022 года. Apple Mail Privacy Protection (MPP) и аналогичные приватность-фичи предзагружают трекинг-пиксель письма без участия пользователя. Для системы это выглядит как «открытие», хотя письмо никто не видел. Итог — open rate искусственно завышен, и у части аудитории он вообще не отражает реальность.
Что это значит для тестов темы и прехедера: оценивать их по open rate стало недостоверно. Рынок перешёл на CTR и CTOR (click-to-open) — клик подделать предзагрузкой нельзя, это настоящий интерес. Но кликов всегда меньше, чем «открытий», поэтому для тестов темы выборки приходится увеличивать (нередко до схемы 50/50) или исключать MPP-пользователей из подсчёта победителя — последнее умеют не все сервисы, уточняйте у своего ESP. Если ваш A/B-тест темы до сих пор крутится на open rate — вы оптимизируете шум.
Частые ошибки. Тестируют мелочь (цвет кнопки) на базе в 500 человек — эффект меньше погрешности, вывод случаен. Останавливают тест по первому лидеру — ловят ложноположительный результат и катят в продакшн ухудшение. Принимают решение по open rate в эпоху MPP — оптимизируют метрику, которой нет. И почти все рассуждают разово: один тест → один вывод → забыли. A/B — это цикл: гипотеза → тест → результат → новая гипотеза.
На какие цифры ориентироваться (осторожно)
Бенчмарки полезны как порядок величин, а не как норматив. По разным агрегированным отчётам 2025 года средний open rate держится в районе 20–40% в зависимости от методики подсчёта — и он завышен MPP, реальный ниже. CTR по рыночным агрегатам — примерно 2–3% (ниже у e-commerce и ритейла, выше у B2B, НКО, образования). CTOR сейчас — самый надёжный показатель живого интереса. Все эти цифры западные; для России берите их диапазонами и сравнивайте прежде всего с собственной историей, а не с чужой нормой.
Где выбрать сервис и что с ним связать
A/B-тесты — встроенная функция почти любого ESP, отдельно их покупать не нужно. Если ещё выбираете платформу, начните с обзорной подборки сервисов email-рассылок — там сравнение по тарифам и возможностям, включая поддержку сплит-тестов. Для старта на русскоязычной базе чаще всего берут Unisender: удобный конструктор A/B и адекватная отчётность. А когда тесты темы и оффера отлажены, основной прирост денег даёт не разовая рассылка, а триггерные email-рассылки — их тоже стоит A/B-тестировать поэлементно, только там выборка набирается дольше, потому что письма уходят по событиям, а не разом.
Коротко про легальность рассылок
Раз гайд практический — врезка, без которой тесты не имеют смысла: рассылать вообще можно только с согласия. По 38-ФЗ «О рекламе», ст. 18 реклама по электросвязи (email, SMS, push, мессенджеры) идёт только с предварительным согласием адресата; предзаполненные галочки и авто-добавление в базу после покупки запрещены. Нужны два раздельных согласия: на обработку персональных данных (152-ФЗ) и на саму рекламную рассылку (38-ФЗ) — это разные вещи.
С 1 сентября 2025 по 152-ФЗ согласие на обработку ПДн оформляется отдельным документом (нельзя зашивать в договор или анкету), с целями, перечнем данных, сроком хранения и порядком отзыва. И ключевое: бремя доказывания сдвинулось на бизнес — теперь вы обязаны доказать, что согласие было, а не регулятор обратное. Отсюда практика: храните пруфы (дата, источник, double opt-in). Отдельно — повышенные штрафы по ст. 13.11 КоАП (нарушения при обработке ПДн): основной пакет санкций, включая оборотные за утечки, действует с 30 мая 2025, и за неверное оформление согласий нормы предусматривают суммы вплоть до сотен тысяч рублей для юрлиц. Штрафы по ст. 14.3 ч. 1 КоАП за рекламу без согласия адресата для юрлиц — 100 тыс. – 500 тыс. ₽. Точную часть статьи и сумму перед запуском сверьте по КонсультантПлюс — нормы 2025 года правились, даты вступления у разных изменений разные, и формулировки в открытых источниках расходятся.
Частые вопросы
Сколько подписчиков нужно, чтобы A/B-тест вообще имел смысл?
Грубый порог — от 1000 контактов в базе и не меньше 250 в каждой группе. Ниже этого достоверность нулевая. Точное число считается калькулятором под вашу базовую конверсию и размер эффекта, который вы хотите различить: на крупный эффект хватит 590–600 на вариант, на мелкий легко уходит 3000+.
Можно ли тестировать сразу тему и кнопку?
Нет, если хотите понять, что сработало. Меняете один элемент за тест. Иначе при росте показателя вы не сможете отнести его к теме или к кнопке. Хотите проверить и то и другое — делайте два последовательных теста.
Почему нельзя остановить тест, как только один вариант вырвался вперёд?
Потому что ранний лидер на неполной выборке почти всегда случаен — это эффект подглядывания. Остановка по первому отрыву даёт ложноположительный результат, и вы выкатываете в рассылку вариант, который на самом деле не лучше. Дожидайтесь набора выборки и минимального срока.
По какой метрике сравнивать варианты в 2026?
По кликам — CTR и особенно CTOR (click-to-open). Open rate завышен Apple MPP: система засчитывает «открытия» от предзагрузки пикселя, которых на деле не было. Для тестов темы по open rate берите большие группы или вообще переходите на клики как целевую метрику.
Что делать, если тест не показал значимой разницы?
Зафиксировать вывод «разница не обнаружена» и перенести усилия на другой, более крупный рычаг. Это нормальный результат: значит, протестированный элемент не влияет на поведение вашей аудитории. Внедрять «победителя» без значимости ≥95% — значит закреплять случайность.
Хороший A/B-тест начинается не с кнопки в интерфейсе, а с честного вопроса: «сколько мне нужно людей, чтобы этой разнице можно было верить». Посчитайте выборку, поменяйте один элемент, доведите до конца без подглядываний и смотрите на клики, а не на открытия — и тогда рассылка перестанет быть искусством и станет управляемым процессом, где каждая итерация добавляет процент к деньгам, а не к иллюзии контроля.
