A/B 테스트 제대로 이해하기 ①, ②

https://yozm.wishket.com/magazine/detail/1633/

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

---

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은?

요약

• A/B 테스트 설계할 때 우리의 진짜 궁금증
  1. 실험 결과의 차이→ 실험 결과 차이가 크게 나길 바람
  2. : 두 그룹의 결과 차이가 매우 작으면 결과에 의문이 생김
  3. 실험 진행의 공정성→ 공정하길 바람
  4. : A/B 테스트가 공정하게 진행됐는지 확신이 없음
  5. 실험 결과→ 우연이 아니길 바람
  6. : 실험 결과가 우연인지 진짜 차이가 나는건지 확신이 없음
• A/B 테스트의 진짜 질문
  • 두 그룹 중 어디에 확실하게 효과가 좋은지
  • 두 그룹의 결과가 우연이 아니라 진짜 차이가 나는건지 (결과가 유의미한지)

주요 포인트

• A/B 테스트는 단순하게 비교하는 것이 아니라 실험 결과를 제대로 판단할 수 있는 과정이 필요

---

https://yozm.wishket.com/magazine/detail/1644/

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

---

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기

요약

모집단과 표본

• 실험을 아무리 꼼꼼하게 진행해도 전체에 대해서 알 수 없음
• → 일부를 통해 전체에 대해 추론 : 일부여도 숫자가 충분하면 가능

귀무가설, 대립가설

• 귀무가설 : 평소의 상태에 대한 가설
• 대립가설 : 평소와 다른 상황이 발생할 것이라는 가설

양측검정, 단측검정

• 양측 검정 : 어느 쪽이 더 높/낮을지 모르지만 차이는 있을 것이다
• 단측 검정 : 어느 한 쪽이 무조건 높/낮을 것이다

결과도 결국 추측

: A/B 테스트 결과도 결국 추측일 뿐

→ 그럼 어디까지 신뢰할 수 있는가 : 보통 95%를 기준

→ 나머지 5%는 순전히 우연에 의해 일어난 걸 수도 있다

P-value

: 우연인지 아닌지 판단할 수 있게 해주는 역할

• P-value < 0.05 → 유의미하다

우연을 신경쓰는 이유

: 일부를 통해 전체를 추측했기 때문

• 실험을 아무리 비슷하게 세팅해도 결국 각각 다른 사람
• 결과가 실험덕분인지, 우연인지 p-value와 유의수준 비교, 확인 하는 것이 매우 중요

주요 포인트

: 가설을 통한 실험은 우연이 발생할 수 밖에 없기 때문에 기초 통계에 대한 적절한 이해도가 필요함

---

강의부터 아티클까지 계속 같은 말만 맴도는 느낌. 좀 더 구체적으로 사례? 를 찾아봐야할 것 같음