신뢰도와 타당도, 객관도

오늘은 신뢰도와 타당도, 객관도에 대해 알아보겠습니다.

 

신뢰도

1. 의미
학생에게 동일한 검사를 반복 실시했을 때 얻어진 측정치의 일관성

 규준지향검사(상대평가)에서는 신뢰도가 높다고 할 때, 검사점수의 ‘동일서열’이 유지됨을, 준거지향검사(절대평가)에서는 ‘판정의 일관성’이 주된 관심사입니다.

2. 추정방법

1) 검사-재검사 신뢰도 추정법
: 동일한 검사를 동일한 집단에 일정한 간격을 두고 2회 시행한 후 주 점수 간 상관계수로써 신뢰도를 추정합니다.

2) 동형검사 신뢰도
: 동일한 집단에게 두 번 검사를 시행하지만, 동일한 검사가 아닌 동형검사를 두 개 만들어서 시행합니다.

3) 내적일관성 계수
: 단일 검사를 1회 실행한 후 신뢰도를 추정합니다. 한 번 시행된 검사를 하위 문항세트로 나누고 하위 문항 세트를 하나의 검사로 간주하여 하위 문항 세트 간 상관계수를 산출합니다.

내적일관성 계수에 속하는 방법으로 반분신뢰도, 쿠더/리차드슨 신뢰도/쿠로바흐a 등이 있습니다.

 

* 내적 일관성 계수의 하위방법

- 반분신뢰도: 단일의 검사의 한 집단에 시행한 후 반분된 두 문항 세트의 총점 간 상관계수

- 쿠더/리차드슨 신뢰도: 반분검사가 단일의 신뢰도 추정치를 산출하지 못한 문제를 해결하기 위해 각 문항을 하나의 검사로 간주하여 신뢰도를 추정

- 크로바흐a: 검사를 나누지 않고, 문항점수의 분산을 고려한 추정방법

 

3. 적용

• 신뢰도 계수의 관점에서 볼 때, 일반적으로 검사-재검사 신뢰도 계수가 가장 높고, 동형검사신뢰도, 반분검사신뢰도, 내적일관성계수의 순으로 높습니다.
• 검사-재검사 신뢰도는 신뢰도의 과대추정과 과학성을 결여하기 때문에 최근에는 사용을 권하지 않습니다.
• 내적일관성계수는 검사에 대한 가장 확실한 정보를 제공하므로, 최근에 많이 사용하고 있습니다.

 

4. 영향을 주는 요인

• 문항 수
  : 적은 수의 문항보다 많은 수의 문항으로 검사를 실시할 때 측정의 오차를 줄일 수 있습니다.

• 문항의 난이도
  : 문항의 난이도가 적절할 때 검사 신뢰도 증가
• 문항변별도
  : 문항변별도가 높을 때 검사의 신뢰도 증가
• 검사도구의 측정내용
  : 좁은 범위의 내용일 때 검사의 신뢰도 증가
• 검사시간
  : 시간이 충분할 때 검사의 신뢰도 증가

 

5. 준거지향 검사의 신뢰도

• 앞서 논의한 신뢰도 추정방법은 규준지향평가의 신뢰도 추정에 적절합니다.
• 이에 준거지향검사의 신뢰도를 추정하기 위한 방법들이 개발되기 시작하였습니다.
  : 리빙스턴 K2 계수, 일관성지수와 코헨카파 계수

 

 

타당도

1. 의미

• 검사도구가 측정하고자 하는 것을 얼마나 충실히 측정하였는가를 의미합니다.
• 검사점수가 검사의 사용목적에 얼마나 부합하는가의 문제입니다.
  (검사도구 목적의 적합성 정도를 의미합니다.)
• 검사점수의 타당도가 높기 위해서 신뢰도는 필수 조건입니다.
• 종류: 내용타당도, 준거타당도, 구인타당도

 

2. 종류

내용타당도

• 검사문항이 측정하고자 하는 영역을 잘 대표하는 정도입니다.
• 논리적 사고에 입각하여 분석하는 주관적 타당도입니다.
• 이를 잘 측정하기 위해서는 측정영역에 대한 분명한 정의가 필요하고, 내용전문가로 하여금 검사문항의 적절성을 판단하게 하는 절차가 필요합니다.

 

준거타당도

• 검사점수와 외적 준거의 관계 분석을 통해 점수해석 및 추론의 적절성을 평가하는 것입니다.
• 이 때 외적준거란 검사로 예측하고자 했던 어떤 준거(예: 대학수학능력)에 대한 측정치(예:대학 학점)입니다.

 

구인타당도

• 구인이란 개인이 가지고 있는 관찰할 수 없는 특성을 말합니다. 예컨대 자아개념, 정직성, 태도, 불안 등입니다.
• 그리하여 구인타당도는 검사가 측정하고자하는 구인이 적절히 측정되었는지를 평가할 수 있는 모든 증거를 수집하는 과정입니다.
• 증거를 수집하기 위해 여러 통계적 방법이 활용됩니다.
  (요인분석법/중다특성-중다방법/상관관계법/집단 간 차이 검증법/실험처치효과)

 

3. 타당도롸 신뢰도의 관계

전체점수는 대개 오차점수를 포함합니다.

 전체점수에서 오차점수를 뺀 진점수는 측정하고자 하는 내용을 측정한 타당한 점수(타당도)와 측정범위가 아닌 내용까지 측정한 타당하지 않은 점수(신뢰도)까지 포함합니다.

신뢰도는 타당도를 위한 필요조건이지 충분조건은 아닙니다.

타당도와 신뢰도의 관계

 

 

객관도

1. 의미

• 자격을 갖춘 여러 채점자가 동일한 채점 결과를 산출하는 정도입니다.
• 객관도는 결과적으로 채점자의 문제로, 채점자의 주관을 얼마나 배제하느냐에 따라 달라집니다.
• 선택형 문항의 경우 객관도가 매우 높지만, 수행평가의 경우 채점자의 주관으로 인해 객관도가 낮아질 수 있습니다.

 

2. 객관도 지수

객관도를 지수로 나타내는 방법으로 채점자 간 상관과 채점자 간 일치도가 많이 사용됩니다.

채점자 간 상관은 동일한 응시생의 답안을 각기 다른 채점자가 채점한 후, 채점자 간 상관계수를 구하는 방법입니다.

채점자 간 일치도는 동일한 응시생의 답안을 각기 다른 채점자가 채점한 후 동일한 점수를 부여한 비율을 말합니다.