A/B 테스트를 통한 통계적 사고 과정 따라가기

1. 들어가며

추론 통계는 기술 통계에서 얻은 결과를 전체 모집단 차원으로 확대해서 그 결과를 일반화할 수 있는지 타진해보는 과정이다. 개인적으로 추론 통계의 핵심을 이해하는데는 두 집단의 비교 사례가 가장 좋다고 생각한다. 실제로 통계를 잘 모르는 디자인 전공 학생들에게 통계의 핵심을 어떻게 잘 전달할까 고민하다가 다음과 같은 과정으로 설명하면 좋겠다고 생각해서 나온 글이다. 

 

2. A/B 테스트에서 묻는 질문

어떤 디자인이 더 좋은 디자인인가?에 대한 질문에는 과학적으로 답할 수 없다. 왜냐하면 주관적인 영역이기 때문이다. 

하지만 어떤 디자인이 목표를 달성하는데 더 좋은가? 라는 질문으로 바뀌면 정답을 구할 수 있다. 여기서 목표란 쇼핑몰의 구매전환율, 특정 메뉴 클릭 비율, 사이트 재방문 비율 등이다. 예를 들어 웹 사이트 디자인 A, B가 있을 때 광고 클릭 비율로 어떤 디자인이 목표를 달성하는데 더 효과적인 디자인인지 비교할 수 있게 된다.   

 

그림 출처 https://artist-developer.tistory.com/25

 

3. A/B 테스트에서 얻은 결과로 고민하기 

테스트를 통해 다음과 같은 결과를 얻었다고 하자. 그럼 이제 A디자인이 B디자인보다 광고 클릭 비율면에서 더 좋은 디자인이라고 결론 내려도 될까?

 

A(25%) > B(5%)

 

하지만 조금만 깊이 생각해보면 여러 가지 질문을 던질 수 있다. 예를 들면,

1) 다른 시기에 테스트를 해도 동일한 결과를 얻을 것인가?

2) 광고 클릭 비율의 차이는 오로지 디자인 때문인가? 

 

2번 질문은 실험 디자인에 관한 근본적인 문제라, 이번 글에서는 다루지 않고 문제는 1번이다. 다른 시기에 테스트를 해도 동일한 결과를 얻을 수 있냐는 질문은 결국 일반화에 대한 문제 중 하나다. 

 

4. 가상의 시나리오

만약 본인이 디자이너이고, A/B 테스트를 진행했는데 두 가지 결과를 얻었다고 해보자. 그리고 이 결과를 토대로 상사에게 보고하고 본인의 결정을 말해야 한다고 생각해 보자. 각 케이스에서 마음에 불편함이 어느 정도 있을까?

 

A디자인이 B디자인보다 많이 앞설 경우

 

A디자인과 B디자인의 결과가 애매할 경우

 

 

위의 두 가지 사례는 사람들이 본능적으로 샘플 데이터를 이용한 일반화에 대해 느끼는 감정을 잘 말해준다. A디자인이 B디자인보다 훨씬 앞서면, 상사에게 자신있게 보고할 수 있을 것이다. 하지만 A와 B의 차이가 크지 않다면 본인 스스로도 약간 애매하다. A디자인이 B디자인보다 낫다고 말할 수 있을까? 회사의 앱 디자인을 A로 바꿔도 괜찮을까?

 

 5. 일반화를 위한 기준

문제는 A/B 디자인에서 어느정도 차이가 나면 테스트 결과를 확신(일반화)할 수 있을까?에 대한 질문이다. 두 디자인의 차이가 20% 이상이면 마음에 불편함이 없을까? 어떤 기준으로 정할 수 있을까?

 

 

 

6. 불확실성을 확률의 문제로 바꾸기

이 문제를 확률 문제로 바꿔서 생각해 보자. 현재로서는 알 수 없지만 어떤 가정을 해보자. 즉 A디자인과 B디자인은 광고 클릭면에서 애초에 차이가 없다. 즉 동일하다는 가정을 세워 보자. 

 

 

A와 B가 차이가 없다는 가정을 세운 후, 두 가지 시나리오가 발생할 확률에 대해 생각해보자. 특별한 수학없이 본능적으로 A(25%), B(5%) 결과를 얻을 확률은 낮고, A(25%), B(24%)의 결과를 얻을 확률은 상대적으로 높다는 것은 알 수 있다. 그런데 실제 세계에서 내가 테스트를 해 보았을 때 A(25%), B(5%) 라는 낮은 확률의 결과를 얻었다. 

 

 

7. 낮은 확률에 대해 어떻게 생각해야 할까?

낮은 확률에 대해 두가지 접근 방식이 있다. 하나는 나에게 아주 특별한 일이 발생했구나. 이렇게 낮은 확률이 발생했다니? 이렇게 그냥 예외적인 경우가 발생했다고 생각할 수 있다. 다른 방식은 이렇게 낮은 확률이 나에게는 발생하지 않아!. 마치 로또 복권같은 확률이 낮은 일이 나에게 절대 발생하지 않는 것 처럼. 그렇기 때문에 애초에 세웠던 가정을 포기하는 방법이 있다. 즉 A=B라는 가정을 포기하면 더 이상 A(25%), B(5%) 는 낮은 확률이 아닌 것이다. 일상적으로 발생할 수 있는 일이 된다. 

 

8. 추론 통계적 사고의 본질

이제 다 왔다. 발생한 사건의 확률을 계산해보고 확률이 높으면 A=B라는 가정을 계속 유지하고, 확률이 낮으면 A=B라는 가정을 파기하고 A>B라는 결론을 선택하자! 이것이 통계적 사고다. 그러면 이어지는 질문 그 확률을 어떻게 계산할건데? 이 확률을 배우는 것이 통계학 교과서다. 만약 여러분이 통계학을 배울 필요가 없는 사람이면 이것만 알면 된다. 

확률이 높다 낮다의 판단 기준은 5%! 이건 통계학을 잘 아는 동료가 아니면 소프트웨어가 계산해 줄거다...

 

처음으로 다시 돌아가자. 아래와 같은 테스트 결과가 발생할 확률이 5%보다 낮다? 그러면 A=B 일리가 없다. 데이터로 얻은 테스트 결과를 선택해보자. 만약 5%보다 높으면? 당분간은 A=B 라는 생각을 유지하자. 아직은 보수적으로....

 

A디자인이 B디자인보다 많이 앞설 경우