[통계] 검정력(power)

 

통계에서  "검정력" 은 귀무가설이 실제로 거짓일 때 귀무가설을 올바르게 기각할 확률(즉, 올바른 결정을 내릴 확률)을 의미합니다. 

 

가설 검정에서 귀무 가설은 변수 사이에 효과나 관계가 없다는 진술이나 가정을 나타내고, 대립 가설은 효과나 관계가 있다는 반대 진술이나 가정을 나타냅니다.

검정력은 검정의 민감도를 결정하기 때문에 가설 검정에서 중요한 개념입니다. 검정력이 높은 검정은 실제로 존재하는 효과나 관계를 감지할 가능성이 더 높은 반면, 검정력이 낮은 검정은 존재하더라도 효과나 관계를 감지할 가능성이 적습니다.

가설 검정의 검정력은 표본 크기, 유의 수준(알파) 및 효과 크기(귀무 가설과 대립 가설에서 모집단 평균 간의 차이 크기)를 비롯한 여러 요인의 영향을 받습니다. 표본 크기를 늘리고 유의 수준을 낮추고 효과 크기를 늘리면 모두 테스트의 검정력을 높일 수 있습니다.

요약하면, 가설 검정의 검정력은 효과 또는 관계가 존재할 때 이를 정확하게 탐지하는 능력의 척도이며 통계 분석의 설계 및 해석에서 중요한 고려 사항입니다.

 

---

통계 검정의 검정력을 높이는 방법

• 표본 크기 늘리기: 표본 크기가 클수록 모집단에 대한 더 많은 정보를 제공하고 표본 추정치의 변동성이 줄어들기 때문에 검정력이 증가합니다.
• 유의 수준 감소(알파): 유의 수준을 낮추면 귀무 가설이 실제로 참일 때 더 엄격해지고 귀무 가설을 기각할 가능성이 적어지므로 검정력이 증가합니다.
• 효과 크기 증가: 효과 크기를 늘리면 두 그룹의 평균 차이를 감지하거나 두 변수 간의 상관 관계를 감지하기 쉬워져 테스트의 검정력이 높아집니다.
• 적절한 검정 통계량 사용: 특정 연구 질문에 적합한 검정 통계량을 선택하면 검정력을 높일 수 있습니다. 예를 들어 비모수 검정(예: Wilcoxon 순위합 검정)을 사용하면 정규성 가정이 충족되지 않을 때 검정력을 높일 수 있습니다.
• 고품질 데이터 수집: 측정 오류, 이상값 및 누락된 값이 없는 고품질 데이터는 테스트의 검정력을 높일 수 있습니다.
• 단측 테스트 사용: 효과의 방향을 알고 있는 경우 단측 테스트는 한 방향으로만 효과가 있는지 테스트하므로 테스트의 검정력을 높일 수 있습니다.

테스트의 검정력을 높이면 유형 II 오류(즉, 귀무 가설이 실제로 거짓인데 귀무 가설을 기각하지 못함)의 위험도 증가한다는 점에 유의하는 것이 중요합니다. 검정력과 제2종 오류 위험 사이의 적절한 균형은 특정 연구 질문과 전체 연구 설계에 따라 다릅니다.

 

---

검정력 0.8의 의미

통계에서 0.8의 검정력은 귀무가설이 실제로는 거짓일 때 귀무가설을 올바르게 기각할 확률이 0.8, 즉 80%라는 것을 의미합니다. 즉, 통계 테스트의 검정력이 0.8인 경우 귀무 가설이 거짓이고 비교되는 그룹 또는 변수 간에 실제 차이가 있는 경우 테스트에서 이 차이를 감지할 확률이 80%임을 의미하며, 귀무 가설을 기각합니다.

 

0.8의 검정력은 유형 I 및 유형 II 오류의 위험 사이에 적절한 균형을 제공하므로 일반적으로 통계 테스트에 바람직한 검정력 수준으로 간주됩니다. 제1종 오류는 귀무가설이 실제로 참인데 기각되는 오류이고, 제2종 오류는 귀무가설이 실제로 거짓인데도 기각되지 않는 오류입니다.

낮은 검정력 테스트는 유형 II 오류의 위험을 증가시키는 반면 높은 검정력 테스트는 유형 I 오류의 위험을 증가시키므로 통계 분석을 계획하고 수행할 때 테스트의 검정력을 고려하는 것이 중요합니다. 적절한 검정력 수준은 다른 요인 중에서 특정 연구 질문, 표본 크기 및 효과 크기에 따라 다릅니다.

---

A/B 테스트에서의 검정력

A/B 테스트에서 "검정력"은 실제 차이가 실제로 존재할 때 두 그룹(A와 B) 간에 유의한 차이를 감지할 확률을 의미합니다. 즉, 두 그룹 간의 응답 변수(예: 전환율, 클릭률 등)의 차이를 올바르게 식별하는 테스트의 능력입니다.

A/B 테스트에서 일반적으로 귀무 가설은 두 그룹 간에 차이가 없다는 것이고 대립 가설은 차이가 있다는 것입니다. 검정력은 대립가설이 참일 때 귀무가설을 올바르게 기각할 가능성을 결정합니다.

검정력 수준이 높은 실험은 두 그룹이 실제로 존재하는 경우 두 그룹 간에 유의한 차이를 감지할 가능성이 더 높은 반면, 검정력 수준이 낮은  실험은 차이가 존재하더라도 차이를 감지할 가능성이 적습니다. 이는 제1종 오류(귀무가설이 실제로 참인데 기각) 또는 제2종 오류(귀무가설이 실제로 거짓인데 기각하지 못함)를 초래할 수 있습니다.

A/B 테스트의 검정력을 높이려면 샘플 크기를 늘리거나 유의 수준(알파)을 줄이거나 효과 크기를 늘리거나 더 적절한 테스트 통계를 사용할 수 있습니다. A/B 테스트를 설계할 때 검정력과 유형 I 및 유형 II 오류의 위험 간의 균형을 신중하게 고려하는 것이 중요합니다.