5. IRT 모델 진단

이전글

3. 이분형(dichotomous) 문항 1PL 모델 분석

4. 이분형(dichotomous) 문항 2PL, 3PL 모델 분석

1. 들어가며

모델을 만들었다면 모델의 적합도와 통계적 유의성에 대해 따져 보아야 한다. IRT도 통계 모델이므로 동일한 절차가 필요하다. 

 

2. 진단할 모수 리스트

• 문항 적합도(Item fit) : 개별 문항이 모델에서 적합한지 검증
• 수험자 적합도(Person fit) : 개별 응답자의 응답 패턴이 모델에서 적합한지 검증
• 모델 비교 : 1PL, 2PL, 3PL 모델 중 어떤 모델이 주어진 데이터에 가장 적합한지 선택

3. Item fit

검사(test)를 구성하는 개별 문항이 모델에 적합한지 문항별로 따져본다. 대표적인 검증 통계량으로 S_X^2(Orlando & Tissen, 2000) 값이 있다. 수리적인 개념은 논문을 통해 각자 살펴보고 본 포스팅에서는 R을 이용한 분석 방법만 간단하게 소개한다. 

개별 Item fit을 살펴보기 위한 R코드는 다음과 같다

 

itemfit(one_m) #one_m은 미리 만들어 둔 모델(이전글 참고)

 

세 문항만의 결과만 표시했다. S_X^2검증의 귀무가설은 모델이 데이터에 적합하다이므로 p.s_x2 <0.05인 Item은 모델 적합도가 낮다고 볼 수 있다. 위 결과에서는 3번 문항이 부적합하다.

 

4. Person fit

개별 Person fit을 살펴보기 위한 R코드는 다음과 같다

 

personfit(one_m)

 

편의상 7명의 수험자 결과만 표시했다. zh값으로 판단하면 되는데 Zh <-2 or Zh >2인 값은 misft하다고 판단한다. 위의 결과에서는 misfit 한 person은 없는 것으로 나타났다. 

 

5. 모델비교

1PL, 2PL 모델 중 어떤 모델이 표본 데이터에 적합한지 상대적인 비교를 할 수 있다. 코드는 다음과 같다

 

anova(one_m, two_m)

 

 

AIC, BIC 값은 적은 값이 더 나은 적합도를 의미한다. 2PL 모델이 1PL모델보다 미소하게나마 수치가 적다. 또한 두 모델은 동일하다는 카이제곱 검증에서 X^2값의 유의확률 p < 0.003이므로 기준치인 0.05보다 작아 2PL 모델의 적합도가 통계적으로 유의하다고 판단한다.