Что оставляют одинаковым

В A/A-проверке режимы по замыслу одинаковы. Группы всё равно назначаются и проходят через систему учёта, которую нужно испытать. Иногда используют настоящий трафик с одинаковой логикой, иногда повторные случайные разбиения исторических данных. Эти способы проверяют разные части процесса.

Историческое разбиение может проверить аналитический код, но не обязано выявить ошибку реального назначения в браузере. Работающий онлайн A/A проходит через доставку, однако тоже не подтверждает все будущие изменения. В карточке проверки нужно назвать охваченный путь и то, что остаётся за его пределами.

Microsoft Research описывает проверку доверия к метрикам через повторные имитации A/A и распределение полученных p-values. Такой подход позволяет заметить, что процедура ведёт себя иначе, чем ожидается при принятой нулевой гипотезе. Это диагностика с собственными предположениями, а не требование к каждому набору данных иметь идеально ровную гистограмму. Microsoft Research

Почему один победитель возможен

Статистическая проверка допускает заранее описанный риск ложного сигнала. Если условия классического теста выполнены и уровень ошибки равен 5%, нулевая гипотеза иногда будет отклоняться даже без воздействия. Поэтому правило «все A/A всегда должны быть незначимыми» неверно.

В учебной таблице десять значений p-value от 0,01 до 0,91 с шагом 0,10. Одно находится ниже 0,05. Ряд придуман для объяснения, это не результат симуляции и не оценка реальной доли ошибок. По десяти строкам нельзя подтвердить калибровку статистической системы.

P-value описывает, насколько необычно получить столь же сильное или более сильное различие при отсутствии эффекта и принятых предположениях теста. Оно не показывает вероятность того, что конкретное объявление хорошее, и не является размером эффекта. В отчёте рядом нужны оценка различия, её неопределённость и описание процедуры. Маленькое значение без такого контекста легко превратить в лишний деловой вывод.

В примере Microsoft многократно продублированные клики одного пользователя дают скопление p-values около 0,32. Значимых результатов может не быть вовсе, но ожидаемая форма распределения нарушена. Поэтому при диагностике смотрят на весь ряд и устройство метрики, а не только на число отметок ниже порога. Это описанный авторами случай, не воспроизведённый редакцией эксперимент.

Проверяйте назначение и события

Сначала убедитесь, что группы действительно получают одинаковые условия. Затем проверьте доли назначения, сохранность идентификаторов и пропуски событий. Если одна ветка чаще теряет покупки, процедура может обнаружить различие в доставке данных вместо эффекта объявления.

Сохраните единицу анализа. Если пользователь порождает много показов, они не обязательно независимы. Простое увеличение числа строк может сделать оценку неопределённости чрезмерно узкой. Исторические разбиения должны сохранять те связи, которые важны для рабочей метрики.

Выбросы тоже требуют заранее принятого обращения. Один необычно активный пользователь способен сильно влиять на денежную или счётную метрику. Нельзя обрезать его только в том варианте анализа, где результат стал неудобным. Если вводите ограничение, опишите его смысл и примените одинаково ко всем проверкам.

Способ остановки входит в тест

Обычная процедура с фиксированным объёмом данных и процедура, допускающая последовательный просмотр, не взаимозаменяемы. Если каждый час проверять значимость и останавливаться при первом удобном результате, фактический риск может отличаться от объявленного. Optimizely разбирает эту проблему и собственное решение через последовательные методы. Правила конкретного продукта нельзя приписывать любой библиотеке. Optimizely, Stats Engine

Для A/A заранее задайте число повторов, способ разбиения, метрики и остановку. Если повторы используют одних людей или пересекающиеся периоды, учтите зависимость. Номинальные 5% не превращаются автоматически в обязательные ровно пять срабатываний на сто проверок.

При найденном отклонении разберите несколько конкретных повторов. Причиной может быть потеря данных, особенность распределения метрики, зависимость наблюдений или ошибка расчёта. Исправление должно устранять установленную причину. Замена теста на тот, который даёт больше спокойных результатов, не является достаточным объяснением.

Что принять у российской команды

Попросите аналитика показать воспроизводимый запуск и сохранить версию данных и кода. Разработчик подтверждает одинаковую логику веток, а владелец эксперимента описывает, какие проверки считаются достаточными для следующего пилота. A/A должен закончиться диагностикой системы, а не рекламным обещанием нулевого риска.

Повторите проверку после изменения счётчика, назначения или ключевой метрики. Успех прошлой версии не подтверждает новую автоматически. Дневной шум в одном тесте и регулярное отклонение всей процедуры требуют разных действий.

Распределение групп разбирает материал о SRM, множественные выводы проверка креативных тестов. Предысторию объясняет CUPED, термины собраны в глоссарии.