그로스6분 읽기2026-02-04
A/B 테스트 통계적 유의성 — 결과를 믿어도 될까?
95% 신뢰도, p-value, 최소 샘플 사이즈 — A/B 테스트 결과를 올바르게 해석하는 방법.
A/B 테스트 결과를 잘못 해석하면 잘못된 결정을 내릴 수 있습니다.
핵심 개념
1. 통계적 유의성: 결과가 우연이 아닌 확률 (보통 95% 이상 필요)
2. p-value: 0.05 이하면 유의미한 차이
3. 최소 샘플 사이즈: 변형당 최소 1,000명 이상 필요 (전환율에 따라 다름)
흔한 실수
- 결과를 너무 일찍 확인하고 중단하기
- 여러 변수를 동시에 바꾸기
- 외부 요인(시즌, 요일) 무시하기
- 승자를 정한 후 다시 테스트 안 하기
SmarComm의 A/B 테스트 기능에서 자동으로 신뢰도와 샘플 사이즈를 계산합니다.
A/B테스트 통계 CRO
EVENT
봄 시즌 특별 프로모션
Lite 플랜 첫 달 30% 할인 — 3월 한정