통계학(A/B 검정)

1. 오늘 학습 키워드

• 통계학 기초

 

---

 

2. 오늘 학습 한 내용을 나만의 언어로 정리하기

 

1. A/B 검정

위키백과

☑️ A/B 검정

• A/B 검정은 두 버전(A와 B) 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법.
• 마케팅, 웹사이트 디자인 등에서 많이 사용됨.
• 사용자들을 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후, 반응을 비교.
• 일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교.

 

☑️ 목적

• 두 그룹 간의 변화가 우연이 아니라 통계적으로 유의미한지를 확인.

 

☑️ 실제 적용) 두 개를 비교하여 구매 전환율이 큰 것을 선택

• 온라인 쇼핑몰에서 두 가지 디자인(A와 B)에 대한 랜딩 페이지를 테스트하여 어떤 디자인이 더 높은 구매 전환율을 가져오는지 평가.

 

☑️ 파이썬 실습

import numpy as np
import scipy.stats as stats

# 가정된 전환율 데이터
group_a = np.random.binomial(1, 0.30, 100)  # 30% 전환율
group_b = np.random.binomial(1, 0.45, 100)  # 45% 전환율

# t-test를 이용한 비교
t_stat, p_val = stats.ttest_ind(group_a, group_b)
print(f"T-Statistic: {t_stat}, P-value: {p_val}")

 

❓ stats.ttest_ind가 뭔가요?

• scipy.stats.ttest_ind 함수는 독립표본 t-검정(Independent Samples t-test)을 수행하여 두 개의 독립된 집단 간 평균의 차이가 유의미한지 평가합니다.
• 이 함수는 두 집단의 데이터 배열을 입력으로 받아서 t-통계량과 p-값을 반환합니다.
  • t-통계량 (statistic)
    • t-검정 통계량입니다. 두 집단 간 평균 차이의 크기와 방향을 나타냅니다.
  • p-값 (pvalue)
    • p-값은 귀무 가설이 참일 때, 현재 데이터보다 극단적인 결과가 나올 확률입니다.
    • 이 값이 유의수준(α) 보다 작으면 귀무 가설을 기각하고 이 값이 유의수준(α) 보다 크면 귀무 가설을 기각하지 않습니다.

 

☑️ 실전 예시 !!!

• 딜라이트룸 A/B 테스트 사례
  • 알라미의 A/B 테스팅 일지
• 당근마켓 A/B 테스트 사례
  • 거래 후기 실험을 통해 따뜻한 거래 경험 만들기