Проблема  надежности психодиагностических методик. Типы надежности и способы определения.

Надежность теста – это устойчивость тех результатов, которые вы получаете при помощи теста. В большинстве случаев, устойчивость связана с числом случайных ошибок в процессе. Систематическая ошибка, например, разница между более либеральным экзаменатором и еще одним, менее либеральным, также может быть изучена и устранена, но при помощи более сложного анализа. Для наших целей, мы считаем ошибку в тесте случайной и не воспроизводящейся. Следует учитывать, что подобные ошибки встречаются во всех видах измерений и цель состоит в том, чтобы минимизировать их. Таким образом, значение тестового балла состоит из действительного балла плюс ошибка измерения. Задача оценки надежности – определение того, насколько изменчивость тестового балла определяется ошибкой измерения, и насколько - изменчивостью действительного балла.

Надежность оказывает существенное влияние на тестовые баллы. Если тест совершенно случаен, то есть надежность равна нулю, то нет никакой устойчивости в получении студентами определенных баллов. Если надежность равна единице, то результаты каждый раз будут повторяться. Для промежуточных случаев, необходимо быть осторожным в присвоении оценок студентам, получившим тестовый балл, близкий к пороговому между двумя оценками, так как при повторном прохождении теста из-за случайной ошибки балл может быть ближе к другой оценке.

2.Типы надежности

1. Ретестовая надежность: Ретестовый метод заключается в повторном тестировании выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях. Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), а также событий, происходящих с испытуемым в жизни. Обычно предполагают, что тест «надежен» в течение двухнедельного интервала, но нет никаких логических обоснований в пользу этого факта, за исключением старого наблюдения, что знание отдельных фактов теряется через этот промежуток времени.  За индекс надежности принимается коэффициент корреляции между результатами двух тестирований. Значения коэффициента варьируются от 0 (низкая надежность) до 1 (высокая надежность) и, в редких случаях, может быть отрицательной, о чем будет рассказано ниже. Полученная высокая корреляция может быть результатом тренированности испытуемого на заданиях подобного типа; низкая корреляция может быть результатом происшедших изменений с испытуемым, а также может свидетельствовать о ненадежности теста. В частности можно использовать коэффициент корреляции Пирсона:

2. Альтернативные формы Надежность альтернативных форм, проверяется повторным тестированием одной выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях.

За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствуют о том, что разные формы теста близки между собой. С другой стороны, низкий коэффициент надежности параллельных форм предполагает, что разные формы не сопоставимы, вероятно, они измеряют различные вещи и, соответственно, не могут заменять друг друга.

Возможный обман со стороны испытуемого, его искушенность, события, происшедшие в интервале между тестированиями, не оказывают особого влияния (как в ретестовом методе) на степень надежности теста. Если фактор тренировки снижен при тестировании параллельными формами, то эффект переноса принципа заданий часто имеет место и его следует учитывать при построении параллельных форм.

 Требования к построению параллельных форм: параллельные формы должны быть независимо построенными тестами, но отвечать одним и тем же требованиям; должны содержать одинаковое количество заданий со сходной степенью трудности; эквивалентность параллельных форм необходимо проверять ретестовым методом.

 3. Метод расщепления состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов. За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста.

4. Внутренняя надежность показывает, насколько вопросы теста измеряют одну и ту же величину. Внутренняя надежность обычно измеряется при помощи коэффициента Альфа Кронбаха. Чем больше похожих заданий, тем больше внутренняя надежность. Поэтому часто встречаются очень длинные тесты, задающие один и тот же вопрос множеством разных способов – чем больше похожих вопросов вы добавляете, тем большее значение коэффициента Кронбаха вы получаете.

3.Валидность и надежность. Важно понимать разницу между надежностью и валидностью. Валидность говорит о том, насколько хорош тест для данной конкретной ситуации; надежность показывает насколько можно доверять тестовому баллу. Чтобы быть валидным, тест должен быть надежен, но надежность не гарантирует валидность. Это означает, что он измеряет какое-то свойство очень точно, но какое именно – остается под вопросом, его содержание может быть бессмысленным.  В такой ситуации необходима более точная валидизация теста, как содержательная, так и практическая.

Валидность теста всегда ограничена его надежностью. Часть тестового балла, приходящаяся на случайную ошибку, не коррелирует с критерием. Поэтому, если надежность теста меньше 1, то есть истинный балл не совпадает с тестовым, то корреляция между двумя тестом и критерием будет занижена. Если нам известна их надежность, то мы можем откорректировать занижение корреляции:

rxy,corrected = rxy /(rxx*ryy)½

где  rxy,corrected – откорректированный коэффициент корреляции между тестом x и критерием y (валидность), rxy – не откорректированный коэффициент корреляции, rxx и ryy – надежность теста x и критерия y, соответственно.