Не тестируй это

Не тестируй это

Мы показываем половине пользователей один вариант сайта, другой половине – другой. Где больше покупок, тот дизайн лучше, оставляем его для всех. Это называется А/Б-тест – великолепный инструмент проверки гипотез и развития любого проекта. Технология применима в самых разных областях деятельности, не только в IT-разработке. Полковник Щукин тоже в каком-то смысле А/Б-тест проводил. Если вы не знали об этой концепции – обязательно почитайте подробнее, дико полезная вещь. Рекомендую.

Однако, сейчас, кажется, о них знают все и проблема противоположная. Люди отказываются принимать решения самостоятельно, всё проверяют, всё перекладывают на А/Б-тесты. Вчера мне в комментариях два раза предложили тестировать заведомо плохую обложку. И в корпоративной культуре это, наверное, правильно. За плохой релиз уволить могут, а за лишний тест – нет.

Но!
– Великое не протестируешь. Я уверен, что iPhone или ChatGPT без тестов запускались.
– Каждый тест стоит денег и времени. Есть прямые расходы на разработку, есть усложнение проекта (и других тестов), есть потери от того, что полезную функцию позже внедряем. Есть альтернативные издержки – вы могли бы что-то важное делать, а не проверять, что добавление сахара в рецепт сделает пирожок слаще.
– Полно случаев, когда правильный дизайн теста – годы. Мы столько ждать не можем и принимаем решение через месяцы на заведомо неверных данных. Уж лучше бы вообще без них.

Понятно, что “все есть яд, и все есть лекарство”, но А/Б-тесты крайне переоценены последнее время, мне кажется.

#простомысли