A/B-тест на складе: как правильно оценить перемену

Новый способ внедрили: принятый груз теперь сверяет с документом по штрихкодам второй сотрудник. Через месяц все довольны: расхождений стало меньше. Но в тот же месяц могло прийти меньше товара, а двое самых неопытных сотрудников могли уволиться. Сравнение «до и после» сопоставляет не изменение, а два разных месяца. Надёжный ответ даёт A/B-тест: в одно и то же время в одной группе работает новый способ, в другой прежний, а разница оценивается числом.

Как построить тест

1. Один вопрос и один показатель. Например: в каком проценте принятых партий в течение двух недель обнаружилась недостача, излишек или брак?
2. Одно изменение. Если поменять сразу два, вы не узнаете, что именно сработало.
3. Две одинаковые группы. Например, 1-е и 2-е ворота приёмки или чётные и нечётные дни. Какая группа получит новый способ, решите жребием, а удобные ворота себе не выбирайте.
4. Объём рассчитайте заранее. Чтобы уверенно отличить 4 процента от 7, нужно примерно 900 приёмок на группу (расчёт ниже). Не останавливайте тест в тот момент, когда результат вам понравился.
5. Посередине поменяйте группы местами. Если первые две недели новый способ работает у 1-х ворот, а следующие две у 2-х, разница между воротами не исказит итог.

Как оценить результат

Допустим, в каждой группе было по 900 приёмок. При новом способе расхождение позже нашлось в 36 из них (4,0 процента), при прежнем в 63 (7,0 процента). Разница 3 пункта. Не случайна ли она?

Общая доля p = (36 + 63) ÷ 1 800 = 0,055. Стандартная ошибка = √(0,055 × 0,945 × (1 ÷ 900 + 1 ÷ 900)) ≈ 0,0107. z = 0,03 ÷ 0,0107 ≈ 2,79. Если z больше 1,96, вероятность случайной разницы меньше 5 процентов; здесь она около 0,5 процента. Разница убедительна.

Теперь те же проценты, но по 300 приёмок: 12 (4 процента) и 21 (7 процентов). p = 33 ÷ 600 = 0,055, стандартная ошибка ≈ 0,0186, z ≈ 1,61. Это меньше 1,96: такая разница возникает случайно примерно в одном тесте из десяти. Вывод: продолжайте тест. Проценты те же, а доверие зависит от объёма.

Формула объёма, которую считают заранее: n = 7,84 × (p₁ × (1 − p₁) + p₂ × (1 − p₂)) ÷ (p₁ − p₂)². Для 4 и 7 процентов: 7,84 × 0,1035 ÷ 0,0009 ≈ 902, то есть около 900 на группу. Число 7,84 отвечает доверию 95 процентов и требованию заметить настоящую разницу с вероятностью 80 процентов. Когда разница уменьшается, объём растёт быстро: для 4 и 5,5 процента нужно около 3 150.

Вероятность случайности в Excel: 2 × (1 − NORM.S.DIST(z; TRUE)). Разделитель (запятая или точка с запятой) зависит от настроек Excel.

Убедительная разница ещё не выгода

Пусть в год проходит 12 000 приёмок. Снижение на 3 пункта означает 12 000 × 0,03 = 360 расхождений меньше. Пусть разбор каждого (звонки, повторная проверка, исправление документа) стоит 180 000 сумов: 360 × 180 000 = 64,8 млн сумов. Если второй сотрудник тратит на каждую приёмку 4 минуты, то 12 000 × 4 = 48 000 минут, то есть 800 часов; по 18 000 сумов в час это 14,4 млн сумов. Чистый эффект около 50,4 млн сумов. Только после этого есть смысл распространять способ на все ворота. Если затраты превышают выгоду, даже убедительная разница бесполезна.

Типичные ошибки

• Отдать новому способу самую удобную площадку: разница получится от площадки, а не от способа.
• Смотреть на результат каждый день и останавливать тест, как только он понравился. Тогда случайный скачок выглядит «победой».
• В первые недели сотрудники знают, что за ними наблюдают, и работают осторожнее. Первую неделю оценивайте отдельно.
• Смотреть на один показатель и не замечать побочных эффектов: насколько выросло время приёмки, не встали ли машины в очередь?

Вывод

A/B-тест опирается на простую идею: две одинаковые группы, одно изменение, заранее заданные объём и мера. Только тогда можно говорить «помогло». Чтобы надёжно видеть расхождения, нужен точный пересчёт: CountLab раскладывает результаты инвентаризации по группам и представляет их с анализом расхождений и управленческим отчётом.