테스트를 통해 실제로 측정한 내용과 측정하려는 내용이 일치하는 정도, 즉 테스트가 측정하려는 행동 영역의 대표 표본인지 여부를 말한다. 측정할 내용이나 행동 영역은 측정 목적에 따라 결정되며, 일반적으로 측정할 지식의 범위와 범위 내 각 지식 포인트에 필요한 숙달 정도가 포함됩니다.

논리적 분석/전문가 판단

통계 분석

경험적 추측

콘텐츠 유효성의 장점과 단점

구성타당도, 구성타당성이라고도 알려져 있으며, 테스트가 측정하려는 이론적 구조와 특성을 실제로 측정하는 정도 또는 테스트 결과가 특정 이론의 가정, 용어 또는 구성을 확인하거나 설명할 수 있는지 여부를 나타냅니다.

①구인타당도의 크기는 사전에 가정된 심리구조이론에 따라 달라진다. 서로 다른 이론적 구성을 사용한 테스트의 구성 타당성은 비교할 수 없습니다. ②구성타당도를 얻기 어려운 경우가 있다. 확인할 수 없는 경우 이론에 문제가 있거나 실험 설계가 가설을 제대로 테스트할 수 없는 경우일 수 있습니다. ③ 구성타당도에 대한 단일한 정량적 지표는 없으며, 모든 측면에서 축적된 증거를 바탕으로 평가한다. ④ 일부 검사의 측정된 내용이나 행동범위에 대한 정의나 설명은 이론적 구성의 설명과 유사하므로 내용타당도가 높다는 것은 본질적으로 구조타당도가 높다는 것을 의미한다.

1. 테스트 내 증거 검색 2. 테스트 간 증거 검색 3. 시험의 실증적 타당성 방법 4. 다중 특성 - 다중 방법 매트릭스 방법 5. 실험적 운용방법

1. 내용 타당성 2. 질문에 대한 피험자의 응답 특성 3. 균질성 신뢰성

호환 타당도: 새로 컴파일된 테스트와 타당도가 높고 동일한 특성을 효과적으로 측정할 수 있는 기존 테스트 간의 상관 관계를 조사합니다.

판별 타당성(Discriminant Validity): 이종 타당성(Heterogeneous Validity)이라고도 하며, 두 검사가 서로 다른 특성을 측정하는 경우 동일한 방법으로 측정하더라도 두 검사 간의 상관 관계가 매우 낮아야 합니다.

수렴타당도(Convergent Validity) : 동일타당도, 수렴타당성이라고도 하며, 두 검사가 동일한 특성을 측정하는 경우에는 서로 다른 측정방법을 사용하더라도 두 검사 사이의 상관관계가 높아야 합니다.

요인 분석 방법: 테스트 그룹에 대한 요인 분석을 수행하여 테스트에 영향을 미치는 공통 요인을 찾아냅니다. 공통 요인에 대한 각 테스트의 로딩(즉, 테스트와 각 요인 간의 상관 관계)이 요인입니다. 테스트의 타당성은 우리가 측정하려는 심리적 특성/구조일 수 있습니다. 관련 요인으로 인한 시험 점수의 전체 변동 비율은 시험의 구성 타당성을 나타내는 지표입니다.

테스트를 통해 예측된 기준의 성격과 유형은 테스트 분석을 위한 구조적 타당성 지표로 사용됩니다.

두 가지 이상의 심리적 특성을 동시에 측정하며, 각 심리적 특성은 두 가지 이상의 방법을 사용하여 측정됩니다. 여러 특성(예: A, B, C)이 여러 방법(예: 1, 2, 3, 4)으로 측정된다고 가정합니다.

불안과 같은 특정 조건에 민감한 테스트에 적합합니다. 측정할 특성에 대한 이론적 개념을 바탕으로 특정 상황이나 특정 치료 후에 피험자의 점수가 바뀔 것이라고 예측할 수 있습니다.

장점: 연구자가 가설을 제안하고 검증하는 테스트 목적에 집중할 수 있게 하며, 단순히 보조적인 의사결정 기능이 아닌 이론적 연구 도구로서의 역할에 주목하여 테스트에 대한 보다 폭넓은 개발 전망을 제공합니다.

단점: 일부 구성의 개념은 모호하고 일관된 정의가 없습니다. 타당성을 판단하기 위한 운영 단계와 고유하고 객관적인 지표를 명확히 하는 것은 불가능합니다. (조작 난이도)

준거 관련 타당성(준거 타당성이라고도 함)이라고도 하며 특정 상황에서 개인의 행동을 추정하는 테스트의 타당성, 즉 실제 효과를 테스트 표준으로 사용하는 테스트의 타당성을 말합니다. 타당성 기준: 추정되는 행동은 테스트의 타당성을 테스트하기 위한 표준입니다.

의미

특징

좋은 효능 표준

교정 표준물질 오염 방지

관련 법률: 시험 점수와 타당성 기준 측정값 간의 상관 계수를 계산합니다. 이 상관 계수를 타당성 계수라고 합니다. 테스트 점수와 기준 측정값은 일반적으로 연속 변수이기 때문에 가장 일반적으로 사용되는 제품 차이 상관 방법입니다.

구별방법; 차별은 시험 점수가 기준에 의해 정의된 그룹을 효과적으로 구별할 수 있는지 여부를 테스트하는 방법입니다. 구체적인 방법은 대상자를 상위그룹과 하위그룹으로 나누어 두 그룹 간의 시험성적 차이가 유의미한지 분석하는 것이다.

적중률 방법: 적중률법이란 테스트를 선택의 기준으로 삼을 때 올바른 결정을 내린 비율을 타당성 지표로 활용하는 방법이다. ①적중률 테스트를 통해 선발된 사람 중 실제로 올바르게 선발된 사람의 비율을 말합니다. ②네거티브 적중률 실제로 탈락했어야 했던 사람 수 대비, 테스트를 통해 탈락한 사람의 비율을 말합니다. ③총 적중률 전체 인원에서 테스트를 통과한 인원과 탈락된 인원을 합한 비율을 말합니다.

합격률

극단적인 그룹화

차별 지수 계산: D=PH-PL D: 프로젝트 식별 지수 PH: 높은 단체 합격률 PL: 낮은 단체 합격률

극단집단의 구분

1. 점대2 열 상관관계: 적용 범위: 항목은 0 또는 1(또는 이분형 변수)로 점수가 매겨지며, 기준 점수 또는 총 시험 점수는 연속형 변수입니다.

2. 이중 열 상관관계: 적용 범위: 둘 다 연속형 변수이지만 변수 중 하나를 인위적으로 두 가지 범주로 나눕니다. 항목 점수는 연속적인 반면, 기준 점수 또는 총 시험 점수는 높음, 낮음, 합격 또는 불합격의 두 가지 범주로 나뉩니다. 기준 점수 또는 총 시험 점수는 연속적인 반면, 항목 점수는 참, 거짓, 합격 또는 불합격의 두 가지 범주로 나뉩니다.

3.Φ 상관관계: 적용 범위: 두 변수 모두 이분형 변수입니다. 4각형 표: 표준 점수 또는 총 시험 점수의 높고 낮은 그룹, 프로젝트 점수의 통과 및 실패.

4. 제품-차이 상관관계: 적용 범위: 두 변수 모두 연속형 변수입니다. 총점을 활용하면 문항점수가 높을수록 차별성이 커진다.

총점이 높은 피험자와 총점이 낮은 피험자 사이에 각 항목의 점수에 유의미한 차이가 있는지 검정해 보면, 차이가 크다면 문항 변별력이 좋은 것으로 판단됩니다.