Когда покупатели не независимы

Маркетплейс испытывает новый порядок рекламных предложений. У продавца один ограниченный бюджет на сутки. Если новый режим быстрее его расходует, для покупателей из контроля может остаться меньше рекламы этого продавца. Состояние контроля изменилось, хотя его собственный алгоритм не обновляли.

Другой пример связан с исполнением. Реклама увеличивает спрос на магазин, который обслуживает обе группы. Очередь заказов и доступность доставки меняются для всех. Простое сравнение людей перестаёт описывать изолированное воздействие на каждого из них. Для начала нужно установить, насколько такая связь существенна в рассматриваемой задаче.

Этот эффект называют взаимным влиянием, или interference. Он не означает, что все A/B-тесты маркетплейса непригодны. Если предмет изменения не затрагивает общий ограниченный ресурс, разделение пользователей может оставаться разумным. Выбор дизайна начинается с механики рынка, которую меняет конкретная функция.

Что меняет назначение по времени

В switchback-подходе на выбранной части рынка действует один режим в течение определённого окна, затем может включиться другой. DoorDash описывает случайное назначение на пары региона и времени. В разных регионах расписания могут быть независимыми. Это опыт работы платформы, а не универсальная готовая инструкция для любой рекламной системы. DoorDash, switchback

Для рекламной команды единицей назначения становится, например, регион R1 в окне W1. Все подходящие события внутри этой единицы обслуживаются по принятому режиму. Затем система сохраняет фактически применённое назначение. Просто присвоить каждому показу отдельный случайный ярлык здесь недостаточно.

Исследование двухсторонних рынков показывает, что выбор дизайна связан с соотношением спроса и предложения и устройством взаимодействий. Поэтому временное переключение нужно сравнивать с другими вариантами, включая разделение рынков или специальную работу с бюджетами. Оно не является обязательным продолжением каждого теста рекламы. Johari и соавторы

Расписание должно быть задано до результата

В учебном CSV два региона и четыре окна по 30 минут. Режимы A и B в каждом регионе назначены по иллюстративному расписанию. Это восемь единиц, а не восемь независимых пользователей и не доказанный размер рабочего эксперимента.

Последовательность R1 имеет вид A, B, B, A; у R2 это B, A, A, B. Два соседних окна внутри региона могут получить один режим. Зеркальность двух строк в этом учебном расписании задана для наглядности, а не представлена результатом независимой рандомизации. В рабочем дизайне независимые назначения и обязательная противоположность являются разными схемами. В реальном тесте способ случайного выбора и допустимые ограничения сохраняются до сбора результатов. Учебный ряд сам по себе не подтверждает рандомизацию.

В стенде расписания можно выбрать окно и увидеть режим каждого региона. Рядом показываются число событий и длительность. Демо помогает проверить чтение таблицы. Оно не генерирует статистически обоснованный план и не оценивает рекламный эффект.

Почему нельзя просто включать B каждый вечер

Если новый режим всегда получает вечерний спрос, различие может объясняться временем суток. Покупатели, доступность товаров и конкуренция за объявления меняются по расписанию независимо от эксперимента. Сравнение A утром и B вечером не устраняет эту причину автоматически.

Случайное назначение помогает распределять такие состояния, но короткий тест всё ещё способен получить неудачный состав. До запуска назовите дни недели, часы и регионы, которые должны быть представлены. Аналитик должен оценить, как эти блоки учитываются в назначении и анализе. Изменять правила после просмотра удобного результата нельзя.

Сохраните календарь внешних событий: распродажи, сбои, изменения доставки и массовые промо. Для исключения окна нужна заранее определённая причина, применённая к обоим режимам. Правило «убрать часы, где вариант проиграл» превращает проверку в подбор понравившейся цифры.

Длительность окна следует из механизма

Слишком короткое окно может смешать результаты соседних режимов. Например, прежняя очередь заказов ещё обслуживается после переключения. Слишком длинное окно уменьшает число назначений и усложняет баланс времени. Универсальное правило вроде «переключать каждые полчаса» здесь не работает.

Сначала опишите, сколько живёт состояние, на которое влияет функция. Это могут быть очередь исполнения, бюджет продавца, ограничение частоты или обучение оптимизатора. Для каждого назовите момент обновления и доступную диагностику. Если состояние сохраняется сутками, получасовая смена ярлыка его не обнуляет.

Иногда после переключения выделяют переходный интервал, который анализируют отдельно или исключают по принятому плану. Его длительность нужно обосновать до сравнения. Проверьте, сколько полезных данных остаётся после таких исключений. Формально много часов работы не означает много пригодных назначений.

Привяжите результат к правильному назначению

Показ может произойти в одном окне, а покупка позже. Нужен заранее описанный способ связать результат с воздействием. Если всю выручку записать по времени её получения, последствия режима A способны попасть в итог режима B. Если считать по воздействию, понадобится окно ожидания и проверка полноты поздних событий.

Сохраните два времени: когда применили режим и когда получили результат. В рабочем отчёте укажите, какие когорты уже дозрели. Для функций с длинным последействием временное переключение может оказаться неудачным выбором. Тогда нужен другой дизайн, а не более сложная подпись к той же таблице.

Смена бюджета или алгоритма во время окна также требует журнала. Запланированный режим и фактически исполненный иногда различаются из-за аварийного возврата. Такой случай нельзя растворять в среднем. Приёмка должна показать назначение, фактическое действие и причину отклонения.

Как читать восемь учебных строк

В R1 для A за два окна получено 42 события, для B 49. В R2 это 39 и 39. Во всех случаях длительность соответствующих двух окон равна 60 минутам. Сложив регионы, получим 81 событие для A и 88 для B при одинаковых 120 регион-минутах каждого режима, по 60 минут в каждом из двух регионов. Это сумма объёма наблюдения по территориям, а не длительность эксперимента по часам.

Этого недостаточно, чтобы объявить B эффективнее. Региональные условия, время, зависимость окон и вариативность результатов не исчезают после сложения. Для реальной оценки аналитик должен учесть единицы назначения и принятую схему случайного выбора. Количество показов внутри окна не превращает каждый показ в независимую единицу эксперимента.

DoorDash отдельно описывает проверку статистического анализа switchback-тестов. Для собственной команды полезен похожий вопрос: сохраняется ли принятый уровень ложных срабатываний при имитации нулевого воздействия с теми зависимостями, которые есть в ваших данных? Чужой метод не следует переносить только по названию. DoorDash, experiment rigor

Что согласовать перед российским пилотом

Начните с карты общего ресурса. Владелец продукта показывает, как новый рекламный режим влияет на других покупателей и продавцов. Интегратор определяет границу региона, переключение и возврат. Аналитик формирует назначение, правила результата и оценку неопределённости. Владелец бюджета задаёт ограничения расходов и исполнения.

Для проверки достаточно пройти одно тестовое переключение без массового запуска. Вы должны увидеть новый режим, идентификатор единицы и запись аварийного возврата. Затем проверьте событие на границе окна и позднюю покупку. Если их нельзя однозначно связать с принятым правилом, основной эксперимент ещё не готов.

Решение о дизайне принимается по свойствам системы. Switchback полезен, когда временное и географическое разделение действительно уменьшает важную зависимость и оставляет достаточно наблюдений. При длительном обучении, общих национальных бюджетах или долгом последействии нужен дополнительный разбор, иногда с отказом от такого подхода.

Для постоянного разделения рынков есть разбор геоэксперимента, для проверки распределения материал о SRM. Работу с предысторией объясняет CUPED. Термины собраны в глоссарии, методы в разделе измерения.