Калькулятор значущості A/B-тесту
Введіть відвідувачів і конверсії для двох варіантів, щоб перевірити, чи є різниця статистично значущою.
Як розраховується значущість A/B-тесту
Цей калькулятор виконує z-тест двох пропорцій, порівнюючи коефіцієнт конверсії варіанта B з варіантом A. Він об'єднує дані обох варіантів для оцінки стандартної похибки, а потім вимірює, на скільки стандартних похибок відрізняються два спостережувані коефіцієнти (z-оцінка).
P-значення — це ймовірність побачити настільки велику (чи більшу) різницю суто випадково, якби між варіантами справді не було різниці. P-значення нижче 0,05 — поширений поріг для визнання результату «статистично значущим» на рівні довіри 95%.
Часті запитання
Що означає p-значення 0,05?
Це означає, що є 5% ймовірність спостерігати настільки велику різницю між двома варіантами суто через випадкову вибірку, навіть якщо вони насправді працюють однаково. Нижче p-значення дає більшу впевненість, що спостережувана різниця реальна.
Мій тест значущий — чи можу я зупинити його зараз?
Повторна перевірка значущості до досягнення запланованого розміру вибірки збільшує частоту хибнопозитивних результатів — поширена пастка, яку називають «підглядання» (peeking). Визначте розмір вибірки заздалегідь (див. Калькулятор розміру вибірки) і дайте тесту завершитися, перш ніж робити висновки.
Чи означає статистична значущість практичну важливість різниці?
Не обов'язково — при достатньо великій вибірці навіть крихітна, практично незначуща різниця може стати статистично значущою. Завжди враховуйте розмір ефекту (фактичний приріст коефіцієнта конверсії) поряд зі статистичною значущістю.