О статистике

О статистике

Мы провели А/Б-тест, везде результаты неопределенные, только в Бразилии новый цвет кнопки статистически значимо победил старый.

Мы провели опрос репрезентативной выборки, все демографические группы игнорируют новый закон. Единственное исключение — женщины 40-44 лет, они его явно одобряют.

Регулярно подобное слышу в том числе от самых умных профессионалов. И всегда за них стыдно. Так не работает.

Когда мы смотрим на каждую страну отдельно, мы по сути проводим 200 разных независимых измерений. И статистическая значимость каждого грубо означает, в каком проценте случаев кости разлетятся так далеко просто из-за везения, а не каких-то реальных преимуществ. Но мы-то 200 раз их бросали, в каждой стране или социальной группе по отдельности. Неудивительно, что один раз новой кнопке повезло. Случайность это, обычная случайность. Удивительно, что только один раз.

Если страна для нас значима и результат в ней важен – надо запускать тест для неё заново. Если там мы ждем +5% конверсии и это 3% рынка, то просто забить, точно есть более важные дела, чем над надеждой на 0.15% общего результата работать. И в случае опросов то же самое.


#простомысли