Агент предлагает, специалист продолжает работать

В теневом режиме обычная кампания идёт своим ходом. Специалист принимает решения как прежде, а агент параллельно сохраняет рекомендации. Они не попадают в рекламный кабинет и не меняют ставки, бюджеты или объявления.

Для агентства это способ увидеть ошибки до того, как они повлияют на деньги. Помощник может неверно понять ограничение бренда, взять устаревшую цифру или предложить действие, для которого у команды нет разрешения. Всё это можно проверить на конкретных ответах.

Но есть граница: неисполненная рекомендация не покажет, сколько продаж принесла бы альтернативная закупка. Если фактически работал медиаплан специалиста, его результат нельзя приписать агенту или использовать как готовый результат сравнения двух стратегий.

Поэтому первая цель теста скромнее и полезнее: выяснить, выдаёт ли помощник допустимые советы и может ли команда проверить их без чрезмерных затрат времени.

Начать лучше с одной повторяющейся задачи

Запрос «улучши всю рекламу» оставляет слишком много свободы. Для первого теста подойдёт конкретная работа: раз в день предложить, стоит ли менять распределение бюджета между заранее выбранными группами размещений.

В задании нужны цель кампании, допустимый размер изменения и обязательные ограничения. Например, какие площадки менять нельзя и когда для решения нужно запросить дополнительные данные. Если информации недостаточно, агент должен иметь возможность остановиться и задать вопрос.

Такую задачу легче проверить. У рекомендации появляется измеримый предмет: разрешён ли перенос, на какие сведения он опирается и соблюдён ли предел. Команда не тратит встречу на спор о том, что помощник подразумевал под «более эффективным распределением».

Принцип предварительных испытаний и описания неопределённости есть в NIST AI RMF. Это общая рамка работы с риском. Описанный здесь порядок является редакционным предложением для медиакоманды, а не отраслевым сертификатом безопасности.

Фраза «ничего не меняй» не заменяет запрет

Если агенту выдали инструмент, который умеет менять бюджет, текстовое предупреждение оставляет техническую возможность ошибки. В теневом тесте запись в рекламный кабинет должна быть недоступна на уровне прав и подключений.

Помощнику дают чтение разрешённых отчётов и отдельное место для сохранения рекомендаций. Отправка брифа во внешний сервис тоже считается действием: список доступных соединений проверяется заранее.

OWASP описывает риск избыточных полномочий: проблема возникает, когда системе доступно больше функций и свободы, чем нужно для задачи. Проверка запрета проводится в изолированной среде. Попытка выполнить запрещённую операцию должна завершиться отказом независимо от того, что модель написала в ответе.

Отдельно команда решает, какие данные можно передавать помощнику. Теневой режим снижает риск расхода, но не делает любые клиентские документы пригодными для загрузки во внешнюю систему.

Агенту нужны данные, которые были известны в момент решения

Предположим, аналитик сохранил отчёт в девять утра. В девять пять агент предложил перераспределить деньги. В одиннадцать из CRM пришли вчерашние продажи. Для разбора исходной рекомендации важна копия отчёта на девять часов, без позднего дополнения.

Если заново выгрузить данные за тот же день, агент получит преимущество: будет знать то, чего специалист в момент решения ещё не знал. Такой тест создаёт впечатление точности задним числом.

В девять сохранён отчёт, в девять пять принято решение, в одиннадцать пришли дополнительные продажи
Учебная последовательность. Поздняя продажа помогает понять результат, но не должна незаметно улучшать исходные данные теста.

Для воспроизводимости достаточно сохранить сам отчёт, время получения, применённые фильтры и версию задания. Копию не перезаписывают после обновления. О том, почему результаты рекламы дополняются поздно, подробнее в материале о задержке конверсий.

В старых кампаниях принцип тот же. Если точную картину на момент решения восстановить нельзя, это ограничение тестового набора. Сегодняшняя выгрузка не превращается в исторический снимок только потому, что выбран прежний период.

Как должна выглядеть одна рекомендация

Команде не требуется длинное объяснение от модели. Нужна короткая запись, по которой другой человек поймёт действие и проверит его.

ПолеЧто должно быть в записи
ЗадачаЧто и в какое время решали
ДанныеКакая сохранённая копия использована
ПредложениеЧто изменить и на сколько, либо почему отложить
ПричинаКакая цифра или условие привели к предложению
ПроверкаКакие обязательные ограничения соблюдены

В учебном примере запись могла бы выглядеть так: «Предложено уменьшить долю группы A. В отчёте на девять часов показатель вышел за согласованный предел. Размер изменения находится внутри разрешённого диапазона». Настоящие значения и ограничения подставляет владелец кампании; универсальный безопасный процент здесь не задаётся.

Рядом сохраняются версия модели и доступных инструментов. После их обновления результаты рассматривают отдельно. Иначе улучшение одного сценария легко перепутать со сменой набора задач.

Согласие с человеком ещё нужно разобрать

Допустим, специалист и агент предложили один и тот же перенос. Это хороший повод проверить аргументы, но само совпадение не делает предложение верным. Оба могли опереться на одну ошибочную выгрузку.

Если предложения различаются, возможны несколько объяснений. Участники увидели разные данные, по-разному прочитали ограничение или выбрали два допустимых решения. Иногда одному из них действительно не хватило оснований.

Разбор начинает аналитик или медиапланер, который знает задачу. По возможности он сначала оценивает сам ответ, не видя, кто его подготовил. Так привычное решение специалиста и убедительная формулировка модели получают одинаковые условия проверки.

Спорный случай можно оставить спорным. Команда фиксирует, каких данных не хватило и что поможет принять решение. Насильно делить все ответы на победу человека и победу машины здесь не требуется.

Что покажет тест на ста задачах

Возьмём вымышленный набор из ста рекомендаций. В восьмидесяти действие допустимо и достаточно обосновано. В пяти нарушено обязательное условие, по пятнадцати пока нельзя дать уверенную оценку.

От всех задач доля допустимых рекомендаций составляет 80%. Если убрать неопределённые случаи, получится около 94,1% от оставшихся 85. Оба расчёта верны, но второй выглядит лучше за счёт другого знаменателя.

Сто учебных рекомендаций: восемьдесят допустимы, пять нарушают условия, пятнадцать остаются без оценки
Нарушения и неразобранные случаи сохраняются отдельными группами. Учебные числа не являются показателями какой-либо модели.

Поэтому итоговый отчёт показывает все три группы. Пять нарушений нельзя скрыть внутри среднего процента. Если затронут жёсткий финансовый запрет, владелец процесса может остановить испытание после одного подтверждённого случая.

Критерии принимают до старта. Они зависят от последствий ошибки и вида задачи. Порог для подсказки аналитику не обязан совпадать с порогом для системы, которая позже получит право менять реальные расходы.

Разобрать результаты теневого теста

Всего рекомендаций
100
Допустимых от всех
80 %
Допустимых от оценённых
94,12 %
Нарушений
5
Без оценки
15

Доли описывают проверку советов. Дополнительные продажи и эффект исполнения этим расчётом не измеряются.

Скачать шаблон проверки

Экономию времени считают вместе с проверкой ответов

Модель может подготовить рекомендацию за секунды, а аналитик потратит на её проверку полчаса. Поэтому длительность ответа сама по себе мало говорит о пользе для команды.

В учёт входят подготовка данных, чтение результата, уточнения и финальное решение. Если работа перешла от трейдера к другому сотруднику, её стоимость всё ещё существует.

Задачи для сравнения тоже должны быть похожи. Нельзя отдать помощнику только простые случаи, оставить человеку исключения и назвать разницу экономией. В журнале полезно отмечать сложность и причину дополнительной проверки.

Для качества измерения пригодны общие принципы MRC Outcomes and Data Quality Standards. При этом ни совпадение ответов, ни скорость подготовки не доказывают дополнительный эффект рекламы. Такой вопрос потребует отдельного теста с реально исполненными действиями.

С каким результатом можно двигаться дальше

У теневого этапа есть понятный итог: команда знает, на каких задачах помощник соблюдает правила, где ошибается и сколько стоит проверка его советов. Одновременно могут обнаружиться проблемы исходных данных или самого брифа.

Если результат устраивает, следующий пилот ограничивают конкретным действием, бюджетом и способом остановки. Доступ к изменениям выдаётся заново по правилам компании. Простое подключение инструмента записи к вчерашнему помощнику незаметно меняет весь уровень ответственности.

Российскому агентству для начала достаточно одной задачи, копии отчёта и сотрудника, который будет разбирать ответы. За запрет записи отвечает интегратор, за правила решения медиапланер, за данные аналитик. Руководитель принимает решение о следующем этапе по собранным результатам.

Риски, которые такой тест сам по себе не закрывает, разобраны отдельно: манипуляции источниками агента и повторное исполнение заказа. Их имеет смысл проверить до расширения доступа к рекламным системам.