В контрольной группе оказался покупатель с заказом на пять тысяч рублей. В тестовой таких заказов не было, и новый вариант проиграл по выручке на участника. При ограничении крупных сумм разница средних между тестовой и контрольной группами становится положительной. Прежде чем выбирать более приятный результат, нужно выяснить происхождение покупки и назвать показатель, который команда собирается оценивать.
По двум размещениям объявления стали получать клики чаще. В общем отчёте кликабельность при этом снизилась втрое. Прежде чем менять креатив или обвинять алгоритм, проверьте, как перераспределились показы. Общий результат зависит от качества каждой части и от её веса в закупке.
Канал с лучшим прошлым результатом просит ещё денег. Но следующие показы могут принести меньше, чем более скромный канал, а часть бюджета выгоднее пока не тратить. Рассчитываем распределение одной суммы между каналами: что считать результатом, какие ограничения задать и как проверить предлагаемый план.
Команда добавила модели новые сведения о товаре, обучила уменьшенную версию и получила худший результат. Этого хватает, чтобы остановить дорогой запуск? Разбираем, как проверить решение на нескольких масштабах обучения и не спутать прогноз качества модели с доказательством роста продаж.
База знаний
Меньше тумана. Больше понимания.
Понятия, стандарты и инструменты, на которых работает рекламный рынок.
В воскресенье одному идентификатору разрешили три показа, после полуночи ещё три. При календарной неделе с понедельника это может соответствовать лимиту. При скользящем окне семи суток та же последовательность будет ограничена иначе. Формулировки «три в неделю» недостаточно без определения границ окна.
В отчёте найден продавец с номером, но без названия компании. Это может быть предусмотренной конфиденциальной записью, ошибкой обязательного поля, отсутствующей записью либо недоступным реестром. Для решения о закупке сначала нужно различить эти случаи, сохранив точный источник и идентификатор.
Обычно рекламодатель покупает отдельное место под своё объявление. В исследовательской модели несколько брендов конкурируют за присутствие внутри общей генерируемой сцены. Возникает другой предмет сделки: не независимый прямоугольник, а вариант изображения, в котором требования всех рекламодателей могут выполняться одновременно. Разбираем, какие оценки здесь нужны и почему красивый результат ещё не подтверждает рекламную отдачу.
После запуска нового интерфейса люди чаще нажимают на рекламу. Через неделю разница уменьшается. Это может быть привыканием, изменением состава посетителей или обычным шумом. Первую удачную неделю нельзя автоматически переносить на весь будущий медиаплан: сначала нужно разобрать, как результат меняется со временем.
Алгоритм выбрал три карточки с максимальными оценками, но все они показывают почти один и тот же товар. Каждая карточка подходит запросу, а список не даёт полезного выбора. Для такой задачи нужно оценивать следующий элемент относительно уже выбранных, сохраняя требования к релевантности и коммерческие ограничения.
Креатив поместили в рамку и назвали изолированным. Но обычный iframe и iframe с конкретными sandbox-ограничениями дают разные полномочия. Принимать нужно файл вместе с контейнером: может ли он читать родительскую страницу, выполнять JavaScript и открывать другие страницы.
Плеер дошёл до конца десятисекундного файла, но между началом и концом прошло около пяти секунд. При двойной скорости это ожидаемо. Позиция в ролике и прошедшее время измеряют разные вещи, поэтому отметка «досмотрено» сама по себе не подтверждает десять секунд рекламного контакта.
Поставщик говорит, что фильтр ошибочно помечает лишь один процент нормальных показов. Это не означает, что 99% его флагов верны. Если нарушения редки, ложных флагов может оказаться больше, чем верных, даже при небольшой доле ложных тревог. Для решения об исключении трафика нужны оба знаменателя и проверенная разметка.
Kuaishou 19 ноября сообщил о росте средней месячной аудитории на 12% год к году, тогда как средняя дневная выросла на 0,3%. Это разные стороны масштаба платформы. Рост месячной базы нельзя автоматически назвать таким же ростом ежедневной доступной аудитории или частоты возвращения каждого пользователя.
Рекламная выгрузка открылась без ошибки, но сумма расходов стала другой. Причиной может быть не округление, а разбор строки по неподходящим правилам. Десятичная запятая, точка и разделитель тысяч меняют смысл записи. Формат источника нужно задать до преобразования и проверить по контрольным строкам.
Во время акции продажи выросли, через две недели упали. Это может быть не внезапным провалом рекламы, а переносом покупок между периодами. Чтобы оценить акцию, нужно сохранить группу покупателей без акции и посмотреть накопленный результат за заранее выбранный цикл, не ограничиваясь праздничным пиком.
Половину расходов обещают вернуть на продвижение. Это не означает, что первая кампания потребует вдвое меньше денег: начисление происходит отдельно, а бонус имеет срок и ограничения. Разбираем денежный план на примере актуальной акции Ozon. Результат самого пилота оценим отдельно от суммы бонусов.
В двух файлах один адрес выглядит почти одинаково. В одном есть заглавная буква и пробелы по краям, в другом только строчные символы. Если сразу посчитать SHA-256, результаты разойдутся. Командам нужно согласовать алгоритм и точный порядок подготовки исходной строки.
Человек читает статью или собирается нажать кнопку. Поздно загрузившаяся реклама сдвигает всё ниже, и нужный элемент оказывается в другом месте. Креатив может быть исправным: проблему создаёт страница, которая не оставила для него место. Принимать нужно поведение слота до ответа, после заполнения и при отсутствии рекламы.
В журнале рекламного блока появился флаг trusted, и команда решила считать такой клик человеческим. Но браузер сообщает другое: как создано событие. Чтобы не построить антифрод на неверном признаке, нужно отделить техническое происхождение события от личности, намерения и полезного результата.
Дизайнер передал правильную фотографию, а рекламная карточка отрезала крышку, название или край товара. Ошибка может находиться в способе, которым шаблон вписывает изображение в рамку. Для приёмки нужны исходник, фактический размер места и правило сохранения значимых частей, а не только просмотр файла отдельно.
Видео доходит до последнего кадра и сразу запускается сначала. В журнале при этом нет ожидаемого ended. Это не обязательно пропущенное событие из-за ошибки счётчика: у зацикленного браузерного плеера другое поведение. Нужно проверить настройки проигрывания и отдельно определить, какое событие считается досмотром рекламы.
Плеер одинакового размера может стоять на странице просмотра и внутри текстовой статьи. Это не делает два размещения одним форматом. Чтобы проверить предложение, нужно сопоставить заявленный код plcmt с содержимым страницы и сценарием, ради которого пользователь её открыл.
Серия «знакомство, объяснение, предложение» выглядит убедительно в презентации. Но если следующий шаг включается после заявки на показ, человек может получить финальное предложение, так и не увидев начало. Нужно определить, когда переходить к следующему креативу и что делать без истории показов.
На белой подложке экспорт выглядит нормально, на тёмной вокруг знака появляется прямоугольник или светлый ореол. Это может быть потерей прозрачности при обработке файла. Проверять нужно исходник и результат преобразования на нескольких подложках, а не только в окне редактора.
Вчера сделка включала сайты A и B, сегодня B и C. Идентификатор остался прежним. Для проверки исполнения недостаточно сравнить два списка: нужно установить, какая версия действовала в момент конкретного показа и был ли этот показ разрешён именно тогда.
В строке встречается разрешённое имя бренда, и помощник считает адрес безопасным для открытия. Но это имя может оказаться логином, частью пути или параметром. Перед обращением нужно разобрать адрес и проверить именно хост, сохраняя другие ограничения отдельно.
Покупатель уже авторизовался в магазине, но после рекламного перехода снова видит вход. Ссылка может быть правильной: приложение открыло её в другом браузерном контейнере с отдельным хранилищем. Это проверяют отдельно от UTM, карточки товара и открытия приложения.
Агентству удобно дать одному помощнику доступ к медиапланам, отчётам и прошлым решениям. Но сводка для одного бренда не должна опираться на закрытые сведения другого. Проверять нужно документы, историю диалога, поиск, кэш и сохранённые выводы.
В заказе написано «без конкурентов», но в следующем рекламном блоке появляется другой автомобильный бренд. Нарушение зависит от того, что именно стороны согласовали: одну паузу, весь сеанс, категорию или конкретный список компаний. Показываем, как сделать условие проверяемым.
В отчёте снова появился нежелательный запрос, хотя исключение добавлено. Или после чистки исчезли покупатели, которым нужен товар с доставкой. Разбираем проверку по одной строке: запрос, ключ, полный набор исключений и ожидаемое решение.
Недавний просмотр лампы не отменяет давнего интереса к рабочему столу. Новая работа Wayfair показывает отбор истории сразу по двум основаниям: что человек ищет сейчас и какой товар система оценивает. Полезный урок для retail media касается выбора сведений, а не бесконечного увеличения памяти.
Продажи выросли, но команда одновременно увеличила рекламу и снизила цену. Сравнение с обычной неделей не показывает, что помогло. Для следующей акции полезен тест с четырьмя сочетаниями условий, который позволяет оценить ещё и совместное действие.
В ответе DSP указан бренд, ссылка проходит через трекер и открывает маркетплейс. Само несовпадение не доказывает подмену. Но и заполненный adomain не подтверждает, что креатив действительно рекламирует заявленную компанию. Нужна связанная проверка метаданных и предложения.
Кнопка остановила CSS-анимацию товара, но сценарий JavaScript продолжает двигать второй слой. После возобновления он ещё и перескакивает вперёд. Разбираем общий режим паузы для независимых механизмов и проверку сохранённого состояния.
В файловом просмотрщике товар стоит правильно, а в готовом баннере лежит на боку. Причина может быть в метке ориентации: один обработчик её учитывает, другой удаляет. Исправлять нужно порядок обработки изображения, затем проверять кадрирование всех версий.
Товарный фид прошёл проверку длины кода и контрольной цифры, но объявление ведёт на другую упаковку. Арифметическая согласованность GTIN помогает найти ошибки записи. Она не доказывает, что номер присвоен именно этому товару, объёму и комплектации.
Платформа снизила ставку, средняя цена покупки упала, а подходящих показов стало меньше. По одним победам трудно понять, подешевел ли рынок или алгоритм просто перестал видеть дорогую часть предложения. Перед обучением модели нужно проверить, как политика закупки отбирает её собственные данные.
Две группы покупателей видят разные рекламные правила, но конкурируют за один запас товаров или общий бюджет продавца. Изменение для одной группы способно повлиять на другую. Если разделение людей не разделяет сам рынок, стоит рассмотреть случайное назначение режима по региону и времени.
План рекламы согласован, но товара не хватило на выросший спрос. Или запас закупили под оптимистичный прогноз, а часть осталась после сезона. Новое исследование рассматривает рекламное решение вместе с запасами и возвратами. Для команды полезен переход от одного прогноза к проверке нескольких сценариев исполнения.
На большом мониторе светло-серая подпись выглядит аккуратно. На телефоне она теряется, хотя файл загрузился и строка полностью поместилась. Для приёмки нужны две проверки: численный контраст фактической пары цветов и чтение самого макета в рабочих размерах.
Подрядчик показал, что ни один файл не превышает согласованный пик. При последовательном просмотре один ролик всё равно кажется заметно громче другого. Для приёмки нужны разные измерения: пиковый уровень, громкость за интервал и требования конкретного места размещения.
Рекламная карточка открывает большой слой с описанием товара. Мышью всё удобно, а кнопка закрытия недостижима и Escape не возвращает пользователя к статье. Для приёмки rich media нужно пройти весь путь: открыть, использовать, закрыть и продолжить чтение клавиатурой.
Тест показывает значимое различие, хотя обеим группам выдали один вариант. Это повод проверить процедуру, но один такой результат ещё не доказывает неисправность. A/A-тест помогает искать ошибки назначения, сбора данных и статистического анализа при отсутствии запланированного воздействия.
AI-агент скачал все страницы отчёта и уверенно сравнил кампании. Но сервис мог рассчитать сам отчёт только по части исходных наблюдений. Полнота скачивания и полнота статистической основы различаются. Вместе с итогами нужно сохранять фактические параметры выборки.
Один поставщик оценил воздействие кампании в 50 единиц, другой в 90. Сравнение кажется готовым, пока не выясняется, что второй включил использование устройства, а первый закончил расчёт доставкой файла. Начинать нужно с одинаковой границы учёта и понятного происхождения коэффициентов.
Объявление может точно отвечать запросу и вести в магазин, который не обслуживает адрес покупателя. В рекламе быстрой доставки доступность продавца нужно проверять до финального выбора. Новая работа об AI-подборе Taobao Shangou даёт повод пересмотреть этот этап и подготовить собственный тест.