A/B 테스트 제대로 이해하기 ③, ④, ⑤

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT

---

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석

요약

• 계산기 세팅 및 해석 : AB Testguide
  1. Test Data : 각 그룹 표본 크기, 그룹별 최종 전환 숫자
  2. Setting-Hypthesis : 단측 검정 / 양측 검정 설정
  3. Setting-Confidence : 신뢰수준 설정
• 양측 검정 vs 단측 검정
  • 결과가 한 쪽으로 무조건 나온다는 보장, 기대 없는 상황→ 양측검정 : 단측검정에서 우연으로 나온 결과가 인정이 될 수 있음
  • → 단측검정 : 우연으로 계산되어 버릴 가능성 있음
  • 위와 같은 이유로 보통 보수적이고 안전한 접근인 양측 검정으로 진행
• 결과 해석
  • 신뢰수준 95%로 진행했을 때
    • P-value 0.05 이하 → 유의미함
    • P-value 0.05 보다 큼 → 크게 유의미하지 않다고 판별

주요 포인트

: AB Testguide 사용법과 양측/단측 검정 세팅, 차이가 없다고 그냥 넘어가지 말고 결과에 대해 고민

---

https://yozm.wishket.com/magazine/detail/1667/

A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계 | 요즘IT

---

A/B 테스트 제대로 이해하기: ④ A/B 테스트 표본 크기와 유의미한 결과의 관계

요약

• 표본(트래픽) 사이즈와 유의미한 결과의 상관 관계
  • 표본이 클수록 정확도가 높아짐 (가장 큰 표본은 모집단 전체)
  • 각 그룹 별 100,000명, 신뢰수준 95%의 양측검정기준 전환율 2% vs 2.2%
    • 우리 : 차이가 고작 0.2%p?
    • 통계 : 0.2%p 차이지만 표본이 100,000명이므로 충분 + 유의미함
  • : P-value 0.0018로 유의미

주요 포인트

: 단순히 비율을 비교하는 것이 아닌 비율의 차이가 우연인지 아닌지를 알고 싶은 것

---

https://yozm.wishket.com/magazine/detail/1680/

A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

---

A/B 테스트 제대로 이해하기: ⑤ A/B 테스트에 적정한 표본과 주의사항

요약

• 표본(트래픽) 크기
  • 두 방안의 결과가 몇 % 정도 차이나기를 기대하는지에 따라 다름
  • 어느 정도 되어야 충분한 차이인가?표본(트래픽) 크기

고객이 100,000명일 경우, 전환율 차이가 1%여도 1,000명 평균 객단가가 100만원이라면 → 매출액 차이 10억원

고객이 1,000명일 경우, 전환율 차이가 5%여도 50명 평균 객단가가 만원이라면 → 50만원 정도밖에 차이가 안 남

• 표본이 많을수록 두 방안 차이가 작더라고 결과가 통계적으로 유의미
• 표본이 작더라도 두 방안 결과 차이가 크면 통계적으로 유의미

• A/B 테스트 수행 시 주의사항
  1. 내가 미는 방안이 이길 때까지 기다림비즈니스 리소스를 효율적으로 활용 x  : 고객에게 안 좋은 방안이 계속 노출될 수 있음 → 원래 목표 뒷전
  2. 내가 미는 방안이 지기 전에 그만둠 : 의도적인 오류
  3. 두 방안을 다른 날짜에 시작 : 다른 날짜에 시작하게 되면 그 사이 어떤 외부요인이 작용하게 되었는지 알 수 없음,  늦게 시작한 방안은 표본도 충분히 모으지 못할 가능성이 있음

주요 포인트

: 적절한? 표본 크기 설정, A/B 테스트 시 주의사항