Психометрические показатели теста (надежность, валидность)

Психометрика – область ПД, связанная с теорией, практикой и измерениями ПД.

Знание психометрики необходимо для критичности…:

- в понимании ограниченности методик;

- в понимании допущений, которые были сделаны при разработке;

- в понимании валидности и надежности и т.д.

Основные психометрические характеристики:

- надежность;

- валидность.

Надежность теста и ее виды

НАДЕЖНОСТЬ (устойчивость) – это такая характеристика методики, которая позволяет оценить постоянство тестовых показателей (т.е. устойчивость результатов теста к действию посторонних, случайных факторов).

«Надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

На надежность методики влияет (посторонние факторы):

- нестабильность диагностируемого свойства;

- несовершенство диагностических методик:

 – небрежно составленная инструкция;

 – разнородные по своему характеру задания;

 – нечетко определенная область измерения;

 – нечетко прописанная процедура обследования.

- меняющаяся ситуация обследования:

 – разное время дня;

 – разная                 освещенность помещения;

 – посторонние шумы;

 – погода и т.д.

- манера поведения психолога:

 – разная стимуляция клиента на выполнение задания и т.д.

- состояние клиента (колебание в этих состояниях):

 – настроение;

 – усталость и т.д.

- элемент субъективизма в способах оценки/ интерпретации результатов (особенно при открытых ответах и т.п.).

Для того, чтобы надежность методики была высокой, методика должна быть стандартизирована (все д.б. прописано: процедура проведения, область исследования и т.д.).

Виды надежности:

РЕТЕСТОВАЯ НАДЕЖНОСТЬ – вид надежности, который определяется путем повторного обследования одних и тех же лиц при помощи одной и той же методики.

(Чем выше коэффициент корреляции, тем выше надежность, т.е. мы получаем примерно то же самое распределение).

Определение временного интервала:

С увеличением временного интервала – показатели корреляции имеют тенденцию к снижению (т.к. имеет место влияние посторонних факторов).

Пр: могут произойти естественные временные изменения.

Обычно выбираются непродолжительные временные интервалы: от 2 недель до 2–4 месяцев (это зависит от возраста обследуемых. Чем старше, тем больше можно делать интервал, и наоборот).

Слишком маленький интервал:

→ проблема запоминания;

→ проблема интереса.

НАДЕЖНОСТЬ ПАРАЛЛЕЛЬНЫХ ФОРМ – проверяется с помощью взаимозаменяемых форм теста (т.е. одни и те же обследуемые сначала обследуются с помощью одного теста, затем (через определенный интервал) с помощью другого теста).

Требования к созданию параллельных форм теста:

1. Количество заданий д.б. одинаково.

2. Типы заданий в обеих формах д.б. унифицированы (приведены в соответствие) в плане психологического содержания, уровня и пределов трудности, охвата тех или иных операций.

3. Задания в тесте д.б. распределены по трудности одинаковым образом.

4. обе формы должны иметь примерно одинаковое среднее значение и среднее отклонение.

5. Процедура применения отдельных форм, техника оценивания результатов д.б. унифицированы.

НАДЕЖНОСТЬ ЧАСТЕЙ ТЕСТА (одномоментная надежность/ надежность-согласованность) – характеристика надежности осуществляется путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных заданий теста.

Надежность проверяют на результатах…:

1) Результаты теста расщепляются на части (чаще всего путем деления на четные и нечетны пункты).

2) По каждой половине рассчитываются суммарные баллы.

3) Между двумя рядами баллов по испытуемым рассчитываются допустимые коэффициенты корреляции.

Разделение теста на части → уменьшение величины этого теста → уменьшение/ снижение достоверности результатов.

Преимущества данного вида надежности:

1) Отсутствие влияния факторов, порождаемых повторным тестированием: эффект упражнения, снижение мотивации и т.д.

2) Менее трудоемок (пр: не надо разрабатывать параллельную форму теста, проводить повторное обследование и т.д.).

Валидность теста и ее виды

ВАЛИДНОСТЬ – это характеристика, которая включает в себя сведения об области измеряемых свойств и репрезентативности диагностической процедуры по отношению к ним.

Валидность – это такая характеристика, которая показывает то, что измеряет данная методика и насколько хорошо она это делает.

Валидность — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Виды валидности:

СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ – характеризует степень соответствия заданий теста измеряемой области психических свойств.

Закладывается уже на стадии разработки теста.

Устанавливается экспертами.

Этапы валидизации теста:

1. Определяется круг измеряемых свойств и (или) видов деятельности. Происходит расчленение свойства/ деятельности на элементы.

2. Разрабатывается модель тестовой деятельности или модель свойства, содержание которой подбирается путем выделения наиболее важных элементов реальной деятельности.

3. Проводится анализ степени соответствия разработанной модели реальной деятельности/ свойству (степень соответствия результатов 1 и 2 этапов).

КРИТЕРИАЛЬНАЯ/ эмпирическая ВАЛИДНОСТЬ – включает в себя текущую и прогностическую валидность.

- отражает степень соответствия прогноза и диагноза определенному кругу критериев измеряемого свойства.

Текущая валидность – степень соответствия диагноза.

Прогностическая валидность – степень соответствия прогноза.

В качестве критерия может выступать уровень достижений в какой-либо другой деятельности (производственная, научная, учебные успехи; степень развития какой-либо способности; степень выраженности какого-либо свойства личности; социально-демографические и географические данные и т.п.).

Подсчитывается корреляция двух рядов значений: баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

КОНСТРУКТНАЯ ВАЛИДНОСТЬ – отражает степень представленности измеряемого психологического конструкта в результатах теста.

Для того, чтобы доказать валидность представленности измеряемого свойства, необходимо найти уже проверенную конструкцию, направленную на измерение того же самого.

Если такой конструкции нет, то привлекаются эксперты. При этом они работают не с тестом (как это было в случае с содержательной валидностью), а с испытуемыми из выборки стандартизации (наблюдают).

Если и это не удается, тогда прибегают к оценкам особого типа – субъективным, которые выносят испытуемому люди из его круга, имеющие опыт реального общения с ним.

Виды конструктной валидности:

- конвергентная валидность (схождение) – для доказательства надо выбрать какое-то психологическое свойство, которое связано (прямо или обратно) с измеряемым свойством.

- дискриминативная валидность – доказывается отсутствием связи между измеряемым свойством и каким-либо другим свойством.

Различия:

Содержательная – соответствие заданий теста измеряемому свойству.

Критериальная – соответствие диагноза и/или прогноза какому-либо критерию.

Конструктная – соответствие результата теста психологическому конструкту.

КОНКУРЕНТНАЯ ВАЛИДНОСТЬ – оценивается по корреляции разработанного теста с другими, валдность которых относительно данного параметра установлена.

ОЧЕВИДНАЯ ВАЛИДНОСТЬ – описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься испытуемым как серьезный инструмент познания его личности.