Требования к качеству психодиагностического обследования. Психометрические критерии

Психометрия – область психодиагностики, которая обосновывает требования к процедуре диагностического обследования, методам диагностики и требования к способам обработки полученных данных.

   Психометрия складывается из двух аспектов: качество методики и качество диагностической процедуры.

   Качество методики включает:

 - надежность

 - валидность

 - достоверность

 - дискриминативность

   Качество диагностической процедуры:

 - репрезентативность выборки

 - стандартизация результатов

 - использование нормативных шкал

Психометрические критерии научности психодиагностических методик

  Каждый метод предназначен для измерения какого-либо свойства, что и определяет содержание этого метода. Сведения о степени, в которой тест действительно измеряет то, для чего он предназначен, входят в понятие валидности.

  Валидность (от англ. valid. – «действительный, пригодный») – способность методики измерять те характеристики, которые нужно измерить (А. Анастази).

   Валидность – это такая характеристика методики, которая включает сведения об области исследуемых явлений. Валидность (или обоснованность) всякой процедуры измерения состоит в однозначности (устойчивости) получаемых результатов относительно измеряемых свойств объектов, т, е. относительно предмета измерения.

  Виды валидности:

I.                                          Содержательная валидность – степень соответствия содержания методики к измеряемой области. Оценка теста производится за счет экспертов, устанавливающих соответствие заданий теста содержанию предмета измерения.

II.                                          Конструктная валидность. Психологическую валидизацию порой, оказывается, провести гораздо труднее в силу отсутствия какого-либо более объективного внутрипсихологического критерия. Наиболее благополучная ситуация имеется тогда, когда для измерения данного свойства в психологии уже имеется процедура с известной валидностью. В этом случае корреляция между баллами двух тестов  указывает на то, обладает ли новый тест конструктной валидностью по отношению к старому. Если новый тест обнаруживает высокое соответствие результатов со старым и одновременно оказывается более компактным и экономичным в проведении и подсчете, то психодиагносты получают возможность использовать новый тест вместо старого. Представления о конструктной валидности тестов постоянно развиваются с пополнением репертуара методик. Эмпирические исследования взаимосвязей результатов, получаемых с помощью разных методик, обогащают теоретические представления об измеряемых свойствах.                                    

       С другой стороны, понятие конструктной валидности указывает на высокую 

    зависимость эмпирических связей теста от теоретических представлений его автора об 

    измеряемом  свойстве.

       III. Прогностическая валидность – степень точности и обоснованности суждений о

             диагностическом качестве  спустя определенное время. Для оценки прогностической

             валидности необходимо использовать объективные показатели (результаты обучения,

            деятельности, оценки экспертов).

Рассматривая общие проблемы валидности целесообразно выделить вопрос об обеспечении валидности процедур стандартизованного самоотчета. Сюда относятся различные техники шкалирования, классифицирования, сравнения и тест - опросники. Вербальная форма тестового материала порождает у испытуемого определенные встречные гипотезы о цели тестирования. Если ситуация диктует испытуемому необходимость фальсификации ответов, то он редко отказывается от этой возможности.

Психологические факторы, от которых зависит достоверность самоотчета, условно можно сгруппировать в следующие классы:

1.  Факторы знания. У испытуемого может быть более или менее четкое представление о следующем: а) свойственно ли ему в действительности или нет тестируемое поведенческое проявление. С некоторыми ситуациями, подразумеваемыми в вопросе тест - опросника, испытуемый мог на практике никогда не встречаться; б) какое личностное свойство скрывается у психолога за тем или иным конкретным поведением, описанным в суждении; в) как это свойство соотносится с общепринятыми моральными нормами и признаками социального успеха.

2.  Фактор социальной желательности. Обозначает тенденцию испытуемого давать о себе социально одобряемую информацию. Сила этой тенденции зависит как от общей внеситуативной установки испытуемого на морализацию «Я - образа» и социальную успешность, так и от того, насколько эту установку актуализирует сама ситуация тестирования. Однако эта тенденция не будет давать систематического искажения, если испытуемые не смогут разгадать направленность теста-опросника и связать диагностируемое свойство с тем или иным полюсом социальной желательности. Таким образом, действие этого фактора до некоторой степени опосредовано действием факторов знания. Однако при диагностике личностных свойств, тесно связанных с психической «нормальностью» или «социальной успешностью», фактор социальной желательности ответа обусловливает очень серьезные искажения.

3.  Факторы индивидуальной тактики. Здесь подразумевается действие «Я-концепции» («Я» для себя) и «Я - образа» («Я» для других) на ситуативную тактику испытуемого в момент тестирования. Выполняя тест, испытуемый всегда находится в невольном диалоге с самим собой и в своих ответах на вопросы раскрывает себя не только для других, но и для себя самого. Испытуемый стремится подтвердить «Я-концепцию» или фальсифицировать определенный «Я -образ» с заданными свойствами. В менее регламентированных ситуациях может доминировать мотивация самопознания: в этом случае испытуемый невольно стремится подтвердить с помощью теста свои гипотезы о самом себе.

Заслуживают внимания и особые формы отказа испытуемого от тестирования: позиционный стиль ответа (соглашательство или, наоборот, отрицание), случайные ответы. Для выявления подобных отказов обычно достаточно довольно простых мер: 1) для исключения влияния соглашательства (отрицания) применяются перечни с «прямыми» (ответ «верно» в пользу измеряемого свойства) и «обратными» (ответ «неверно» в пользу измеряемого свойства) пунктами; 2) для выявления случайных ответов в большие перечни вводят вопросы-дубли (синонимические перефразы) или прямые повторы: если испытуемый слишком часто по-разному отвечает на одинаковые вопросы, значит, он применяет случайную тактику. Вводят также и крайне редкие утверждения, с которыми испытуемые, как правило, соглашаются только по ошибке.

Более изощренные методы требуются для борьбы с социальной желательностью. Ниже рассмотрены три наиболее часто используемых варианта.

1.  Введение особых «шкал лжи» в диагностический вариант методики. Они составляются из вопросов-ловушек: тот или иной ответ на эти вопросы явно предопределен социальной желательностью. Если испытуемый набирает слишком высокий балл по этой шкале, его протокол бракуется. Более тонкий вариант — введение «шкал коррекции» (например, в MMPI): получение определенного балла по этим шкалам вызывает внесение поправок к баллу по другим шкалам, скоррелированным со шкалой коррекции.

2. Устранение или сбалансирование социальной желательности с помощью использования инструкции на преднамеренную фальсификацию результатов. Участникам пилотажных замеров кроме обычной инструкции дается дополнительная.

3. С распространением факторного анализа чаще стала применяться стратегия «балансирования социальной желательности». Это достигается с помощью факторного анализа корреляций между пунктами. Факторный анализ в применении к одномерному тесту-опроснику, как правило, выделяет два фактора: относящийся к самому измеряемому свойству и относящийся к социальной желательности.

Надёжность методики – такая характеристика методики, которая отражает точность психодиагностических измерений и устойчивость результатов методики к действию посторонних случайных факторов. К ним относятся:

• разнообразные внешние условия проведения психодиагностического обследования (время суток, освещенность, температура, шум);
• внутренние факторы (индивидуальные особенности испытуемого) – особенности темперамента, свойства НС, функциональные состояния;
• особенности взаимоотношений с диагностом.

О высокой надежности метода говорят в том случае, когда метод точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие:

1. При повторном применении метода к тем же самым испытуемым в одних и тех же условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой.

2. Действие случайных посторонних факторов не оказывает существенного влияния на результаты тестирования. В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещенность. Эти посторонние случайные факторы называют факторами нестабильности измерительной процедуры.

3. При повторном применении метода к тем же самым испытуемым через определенный интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой. Под измененными имеются в виду следующие условия: другой экспериментатор, состояние респондента.

Надёжность методики можно оценить  с помощью нескольких приемов:

1) тест – ретестовая надежность – приём, который позволяет сравнить полученные результаты одной методики на одной группе с временным интервалом 3 – 4 мес. (не более 6 мес.). Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течении месяца), а также событий, происходящих с испытуемым в течении жизни. По коэффициенту Пирсона результаты должны быть не ниже 0,7.

2) Эквивалентная надежность – предполагает использование двух форм методики (форма А и форма В). Необходимо взять две группы испытуемых: одна работает с формой А, другая – с формой В. Через временной интервал (1 нед. – 1 мес.) группы меняются местами по формам методики.

Результаты обеих групп по обоим формам сравниваются с помощью линейной корреляции Пирсона.

3)  Расщепление теста (оценивает внутреннюю согласованность вопросов теста) – методика расщепляется по принципу четные и нечетные вопросы. Результаты обеих частей методики сравниваются.

Последовательность действий при проверке надежности:

1.  Узнать, существуют ли данные о надежности теста, предполагаемого к использованию, на какой популяции и в какой диагностической ситуации проводилась проверка. Если проверки не было или признаки новых популяции и ситуации явно специфичны, провести заново проверку надежности с учетом указанных ниже возможностей.

2.  Произвести повторное тестирование на всей выборке стандартизации и подсчитать все коэффициенты, как для целого теста, так и для его отдельных пунктов. Анализ полученных коэффициентов позволит понять, насколько устойчиво измеряемое свойство во времени (возможен ли статистический прогноз - проекция тестового балла на будущее), в каких своих пунктах тест менее надежен (анализ этих пунктов позволяет психологически осмыслить содержательный механизм взаимодействия пунктов с испытуемыми).

3. Если возможности обследования испытуемых ограниченны, произвести повторное тестирование только на части выборки (не менее 30 испытуемых).

Для повышения надежности методики необходимо обратить внимание на:

§          правильность инструкции к тесту (учет возраста испытуемых, ясность и четкость методики),

§          величину методики (чем методика больше, тем она более надежна),

§          понятность задания для испытуемых, соответствие их уровню знаний,

§          возможность угадывания правильного ответа.

Достоверность теста – способность методики защищать информацию от мотивационных искажений. Прием повышения достоверности результатов – использование шкалы лжи.

Дискриминативность – способность методики дифференцировать испытуемых относительно максимальных и минимальных результатов (градация методики и её точность).

Требования к психодиагностической процедуре складываются из:

 - стандартизации

 - репрезентативности

 - нормативности

Необходимо различать стандартизацию диагностической процедуры и диагностических данных.

Под стандартизацией диагностической процедуры понимают однообразие процедуры для всех испытуемых (одинаковая инструкция для каждого, унификация бланков, одинаковые условия проведения).

Под стандартизацией полученных результатов понимают перевод сырых баллов в некоторую шкалу.

Этапы стандартизации

Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

1. условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти (тест Векслера) лучше измерять, когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.

2. Содержание инструкции и особенности её предъявления (тон голоса, паузы, скорость речи).

3. Наличие стандартного стимульного материала.

4. Временные ограничения выполнения данного теста.

5. Стандартный бланк для выполнения данного теста, что облегчает процедуру обработки.

6. Учет влияния ситуационных переменных на процесс и результат тестирования (состояние испытуемого, внешние факторы, прерывание процедуры тестирования).

7. Учет влияния поведения диагноста на процесс и результата тестирования. Например, одобрительно – поощряющее поведение экспериментатора во время тестирования может восприниматься как подсказка правильного ответа.

8. Учет влияния опыта респондента в тестировании.

Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста, пола.

Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.

Репрезентативность – понимается как характеристика качества психодиагностической процедуры.

Репрезентативная выборка – выборка, которая по основным параметрам соответствует генеральной совокупности.

Репрезентативность выборки можно проверить, сравнив между собой два распределения, полученных для двух случайных половин выборки стандартизации (та выборка, на которой определяются статистические нормы).

Генеральная совокупность – всякая большая (конечная или бесконечная) совокупность предметов (признаков), которые мы хотим обследовать, или относительно которых мы собираемся сделать выводы.

Выборка – часть генеральной совокупности, которая может быть обследована на практике и которая отвечает характеристикам генеральной совокупности.

Классификация выборок:

 - репрезентативная – выборка, которая отражает адекватно всю генеральную совокупность в качественном и количественном отношении / нерепрезентативная;

 - большая (более 200), средняя (менее 200) и малая (менее 19);

 - случайная и неслучайная выборка.