통계 이론37 다중공선성(Multicollinearity)의 의미와 판별법 관련글 선형회귀분석 밑바닥부터 이해하기 관련글 상관관계와 상관계수 상관관계와 상관계수 1. 들어가며 연속형 변수 x, y의 관계는 상관관계(correlation) 분석을 통해 2가지 사실을 알 수 있다. 관계의 방향 관계의 강도 보통 관계의 방향은 diseny.tistory.com 1. 기본개념 다중회귀분석은 점검해야 할 가정들이 꽤 많다. 그 중 하나가 다중공선성이다. 처음 학습하는 사람들은 모형에 투입되는 설명 변수간에 큰 상관 관계가 존재하면 회귀 모형 추정이 불안정해지므로 설명 변수의 분산팽창지수(VIF) 값 >10 이면 문제가 될 수 있으니 해당 변수를 모형에서 배제하라고 배운다. 다중공선성의 의미에 대해 조금 쉽게 다가가 보자. 2. 개념 하나씩 짚어 보기 (1) 모형을 만든다는 것의 의미 반.. 2022. 2. 16. 효과 크기(Effect Size)의 의미와 필요성 1. 들어가며 기초 추론 통계 방법 중, 두 집단의 평균차이 검증(T-test)이 있다. 두 표본의 평균 차이가 모집단 차원에서도 있는 것인지 아니면 표본에서만 우연히 차이가 있는지 검증하는 방법이다. 많이 알려진 사실이지만 이 검증 방법은 원리상 표본이 충분히 크면 대부분 통계적으로 유의하다고 나온다. 그래서 통계적 유의성 뿐만 아니라 효과크기(Effect Size) 값도 함께 제시되는 것이 좋다. 관련글 t-test 밑바닥부터 이해하기 ※ 관련글 확률, 확률변수 그리고 확률분포 1. 들어가며 통계학은 기술통계와 추론통계로 구분되는데, 기술통계와 추론통계를 연결해주는 것이 확률분포이다. 그런데 확률분포를 이해하기 위해 diseny.tistory.com 2. 효과크기란? 효과 크기 값은 Cohen's D.. 2022. 2. 14. 자유도(Degree of Freedom)에서 자유로워 지기 1. 들어가며 자유도는 통계학을 공부하다 보면 아마 제일 처음 만나는 알쏭달쏭한 개념이다. 최초로 등장하는 시기는 표본분산을 구할 때다. 표본으로 모분산을 추정할 때는 표본의 개수(n)가 아니라 자유도(n-1)로 제곱합(SS)를 나눠야 한다는 법칙. 2. 이상한 나라의 자유도 자유도에 대한 의문을 해결하고자 여러 정보를 찾다보면 책이나, 강의 등에서 대부분 왜 이름이 자유도(degree of freedom)인가?에 대한 설명은 많다. 위의 식에서 표본평균이 들어가는데, 이 표본평균을 계산해내기 위해 자유롭게 선택할 수 있는 표본의 개수가 자유도라는 것이다. 아...그런 자유를 말하는구나.. 그런데 더 근본적인 의문, 즉 "왜 공식에 자유도가 들어가야만 하는가?"에 관한 설명은 별로 없다. 3. 해결책 어.. 2022. 2. 6. 제곱합(Sum of Squares : SS) 공식 1. 기본개념 X = { x1 , x2 , ………, xn } 일 때 , 데이터 X의 분산을 구하는 공식은 다음과 같다. 중학교(고등학교?)에서 배우는 식이다. 위의 식에서 분자 부분을 제곱합(Sum of Squares : SS)이라고 부르는데 통계학에서 배우는 공식이나 증명에 이 제곱합이 제법 많이 등장한다. 통계학은 데이터의 차이에서 인사이트를 도출하는 학문이므로 제곱합이 많이 사용되는 것은 당연하다. 그런데 위의 식에서는 제곱합 계산에 평균(μ)이 들어가 있다. 컴퓨터로 분산을 구할 것이므로 상관은 없지만, 평균이 정수가 아니면 소수점 이하 자리 때문에 계산이 복잡해진다. 또한 통계학의 많은 공식에서 제곱합을 다룰 때 다른 식을 이용한다. 갑자기 다른 식이 등장해 학생들이 당황할 때가 많다. 2. 제.. 2022. 2. 1. 다중회귀 분석에서 상호작용의 의미 1. 기본개념 아래의 식과 같이 둘 이상의 변수(x1, x2, ...., xn)를 투입한 선형회귀 분석을 다중회귀 분석이라고 한다. 일반적으로 하나의 설명변수(x1)는 다른 설명변수(x2)와 독립적으로 반응변수(y)에 영향을 미친다고 보지만 두 변수가 상호작용을 일으켜 반응변수(y)에 더 크게 영향을 미칠 수 있다. 예를 들어 어떤 공장에서 생산되는 제품의 수를 반응변수(y)라고 하면 반응변수(y)는 근로자의 수(x1)와 공장설비(x2)에 영향을 받을 것이다. 그런데 근로자의 수(x1)가 늘어나도 공장설비(x2)가 받쳐주지 않으면 작업 효율이 높지 않다. 즉, 공장설비(x2)가 늘어나면서 동시에 근로자 수(x1)가 늘어나면 이 두개의 변수가 시너지 효과를 일으켜 생산 제품 수에 더 크게 영향을 미치게 될.. 2022. 1. 31. QQ Plot 직관적으로 이해하기 1. 기본 개념 QQ 플롯(Quantile-Quantile Plot)의 Quantile은 분위수라는 의미인데, 분위수는 데이터를 오름차순(내림차순)정렬한 뒤, 전체 데이터를 특정 개수로 나눌 때 기준이 되는 수다. 예를 들어 4분위수라고 하면 전체 데이터를 25%, 50%, 75%, 100%로 4등분한다는 것이다. 그렇다면 QQ 플롯을 말 그대로 표현하면 X, Y 축 척도가 분위수라는 의미인데, 개인적으로는 분위수 보다는 누적 분포 개념으로 생각하는 편이 QQ 플롯을 더 이해하기 쉽다고 생각한다. 2. QQ 플롯 활용 QQ 플롯은 보통 3가지 목적으로 이용된다. 주어진 데이터가 정규분포하는지 판단 주어진 두 세트의 데이터가 같은 분포인지 판단 회귀분석 등에서 잔차의 정규성 판단 그런데 사실 위의 3가지 .. 2022. 1. 30. 이전 1 2 3 4 5 6 7 다음
