Репрезентативность, надежность, валидность в психодиагностике.

Репрезентативность тестовых норм - соответствие граничных точек на РАСПРЕДЕЛЕНИИ ТЕСТОВЫХ БАЛЛОВ, полученных на ВЫБОРКЕ СТАНДАРТИЗАЦИИ, аналогичным граничным точкам, которые могли бы быть получены на популяции проведения - на множестве испытуемых, для которых предназначен ТЕСТ. Обычно при получении кривой НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ делается вывод о том, что ТЕСТОВЫЕ НОРМЫ обладают репрезентативностью. Но нормальность не является необходимым условием репрезентативности. РТН может достигаться и в отсутствие нормального распределения.

Репрезентативность - представленность свойств более широкого множества объектов в свойствах подмножества. В психодиагностике говорят о "РЕПРЕЗЕНТАТИВНОСТИ ТЕСТОВЫХ НОРМ" или о "ТЕМАТИЧЕСКОЙ РЕПРЕЗЕНТАТИВНОСТИ" тестовых заданий по отношению к ОБЛАСТИ ВАЛИДНОСТИ теста.

Тематическая репрезентативность - мера представленности в наборе ТЕСТОВЫХ ЗАДАНИЙ той предметной области, на которую направлен данный тест, то есть области поведения в случае ПСИХОЛОГИЧЕСКОГО ТЕСТА или области знания в случае ПЕДАГОГИЧЕСКОГО ТЕСТА.

Валидность

Все методы психодиагностики начиная со стандартизованных и заканчивая не стандартизованными направлены на измерение свойств личности и особенности интеллекта. Каждый метод предназначен для измерения какого либо свойства что и опр. содержание этого метода. Сведения о степени в которой тест действительно измеряет то для чего он предназначен входить понятие валидности. (напр. методика Кольца Ландольта предназначена для измерения таких свойств внимания как концентрация и переключаемость. В психологии сущ. определения понятий концентрации внимания и его переключаемости. Считается что выводы сформулированные на основании результатов тестирования с помощью колец Ландольта вполне отражают содержание определений этих свойств внимания. Значит эта методика действительно измеряет то для чего она предназначена т.е. она валидна.

Типы валидности:

1. практическая валидность - характеризует тест не столько со стороны его психологического содержания сколько с точки зрения его ценности в отношении достижения определенной практич цели напр. прогнозирования диагностики.

Выделяют подтипы практич валидности. -

- прогностическая

- совпадающая

Тест с высокой прогностической валидностью позволяет сделать прогноз на сколько успешно испытуемый будет выполнять определенную деятельность в последствии (на перспективу).

Тест с высокой совпадающей валидностью позволяет ответить на вопрос какова вероятность того что индивид Х обладает свойством У в настоящий момент времени.

2. Валидность по объему

отражает степень в какой объем теста выборочно репрезентирует (представляет) тот класс в ситуаций или учебного материала , относительно которого должны быть сделаны выводы.

Валидность по объему показывает в каком объеме , в какой мере психич свойство отражено в методике.

3. оценочная валидность

выражает степень корреляции (соответствия) между показателями полученными испытуемыми по данному методу и оценками измерительного свойства со стороны экспертов. напр. при вадидации в проверке теста на валидность тестов оценки умственных способностей школьников в качестве экспертов обычно выступают учителя.

4. Внешняя валидность

Означает что впечатление которое создается у не специалистов при знакомстве со стимульным материалом и сугубо внешней стороной тестирования соотв. заявленному содержанию метода т.е. если это проективный тест ...

Эффективная методика может быть создана если она прошла все этапы валидации т.е. когда приняты меры для придания ей как содержательной валидности так и практической.

Надежность

О высокой надежности метода говорят в том случае когда метод точно измеряет то свойство для измерения которого он предназначен. (напр. на свойство внимания он изм внимание).

В кач критериев точности можно отметить следующее:

1) при повторном прим метода к тем же самым испытуемым , в одних и тех же условиях через опр. интервал времени, результаты обоих тестирований существенно не различаются между собой

2) действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования. В качестве посторонних факторов можно назвать следующее это эмоционально состояние и утомление , если они не входят в круг исследуемых характеристик.

- температура

- освещенность

такие посторонние случ факторы еще называют факторами нестабильности измерительной процедуры.

3) при повторном применении метода к тем же самым испытуемым через опр. интервал времени в измененных условиях результаты обоих тестирований существенно не различаются между собой.

Под измененными имеются в виду след. условия :

Это другой экспериментатор или состояние респондента.

Методы оценки надежности.

1. ретестовый метод - это повторное тестирование выборки испытуемых одни и тем же тестом через опр. интервал времени при одних и тех условиях. Временной интервал за висит от возраста (напр. у маленьких детей изменения могут произойти в теч одного месяца). а так же от событий происх с испытуемым в жизни.

тест ->интервал -> ретест.

За индекс надежности принимается коэффициент корреляции между результатами 2х тестирований. Полученная высокая корреляция может быть результатом тренированности испытуемого на заданиях подобного типа.

Низкая корреляция может быть результатом произошедших изм с испытуемым, а так же может свидетельствовать о ненадежности теста.

2. Надежность взаимозаменяемых формул.

это повторное тестирование в выборке испытуемых параллельной формы теста через минимальный интервал времени при одних и тех же условиях.

тест А -> интервал - >тест А1.

за индекс надежности принимается коэф корреляции между результатами тестирования 2 мя параллельными формами теста.

Высокий коэф корреляции и большой интервал между 2 мя испытаниями свидетельствует о высокой надежности теста.

Возможный обман со стороны испытуемого, его искушенность события происшедшие в интервале между тестированиями, не оказывают особого влияния как при тестовом методе на степень надежности теста.

Если фактор тренировки снижен при тестировании параллельными формами, то эффект переноса принципа заданий часто имеет место.

Эффект переноса сл учитывать при построении параллельных форм или взаимозаменяемых форм.

Требования к построению параллельных форм:

1) параллельные формы должны быть независимо построенными тестами , но отвечать одним и тем же требованиям.

2) должны они содержать одинаковое содержание заданий со сходной степенью трудности.

3) эквивалентность параллельных форм необх проверять ретестовым методом. т.е. сначала мы проводим тест затем проходит время , затем проводим А1 - прох интервал времени и опять проводим А.

3. Метод расщепления

он состоит в том что тест разбивают на 2 сопоставимые части. Респондент выполнят задания этих 2 частей в течении одного сеанса с получением 2х результатов. (напр. тест Равенна содержит 2 части это четные и нечетные.)

За индекс надежности принимается коэф корреляции между результатами тестирования двумя этими частями. Он наз коэф внутренней согласованности теста.

Тест может быть надежен, но не валиден, это означает что он измеряет какое-то свойство очень точно, но какое именно остается под вопросом. В такой ситуации необх более точная валидизация теста как содержательная , так и практическая.

Надежность теста

НАДЕЖНОСТЬ — одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста). Надежность — это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

—      разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т. п.),

—      динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тести рования (время так называемой врабатываемости — выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т. п.),

— информационно-социальные обстоятельства
(различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование;
возможное наличие других людей в помещении;
наличие предыдущего опыта знакомства с данным
тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Разнообразие и изменчивость всех этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как стандартная ошибка измерения ( Se ). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы (специально подчеркнем, что в психометрической теории надежность и точность оказываются синонимами).

ОШИБКА ИЗМЕРЕНИЯ ( Se ) и надежность измерения ( R ), согласно общепринятой психометрической теории, связаны следующей формулой:

(1) R -1 — Se 2 / Sx 2 ,

где S — дисперсия тестовых показателей X .

Формула (1) является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы- Самый известный из них — метод перетестирования (тест-ретест) или метод измерения РЕТЕСТОВОЙ НАДЕЖНОСТИ. На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование X , а затем повторное тестирование Y . Интервал, как правило, — две недели, что гарантирует забывание вопросов теста.

Затем для двух рядов значений X и Y подсчиты-вается, например, линейный коэффициент корреляции (возможный и нередко более корректный вариант — подсчитывать ранговый коэффициент корреляции):

(2) R -* ВД •

где Sx , S — стандартные отклонения X и Y ,

Cov ( X , Y ) — ковариация двух переменных X и Y .

Что важно для сути теории надежности тестов, так это возможность определить ошибку измерения после того, как подсчитана корреляция тест-ретест по формуле (3), полученной путем простого преобразования формулы (1):

(3) Se = Sx - Vl — R

Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция тест-ретест оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:

Se = 10* V 1 - 0,5 ~ 7.1.

То есть оказывается, что ошибка измерения перекрывает большую часть разброса тестовых показателей, так как истинный балл по тесту может отклоняться от измеренного балла на целых 7 очков! И

если испытуемый набрал на 6 очков больше, чем средний испытуемый, мы не можем с достаточной уверенностью (статистической достоверностью) говорить о том, что он значимо превзошел среднего испытуемого, так как это отклонение оказывается в пределах стандартной ошибки измерения.

Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью, и его нельзя использовать как измерительный инструмент.

Показатель надежности R , который принято считать достаточно высоким, равен или превышает 0,95. Хотя в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8 — 0,9.

Метод измерения ретестовой надежности пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы расщепления теста на отдельные пункты, освещение которых выходит за пределы настоящего пособия.

Валидность теста

Соответствие теста измеряемому психическому свойству называется ВАЛНДНОСТЫО теста. Это, без преувеличения, важнейшее психометрическое свойство теста. Если высокая надежность теста говорит нам о том, что тест действительно что-то измеряет, то высокая валидность указывает.на то, что тест измеряет именно то, что мы хотим. Конечно, на валидность теста также негативно влияют случай-

ные факторы. Поэтому в психометрике принято следующее основное психометрическое неравенство:

ВАЛИДНОСТЬ < НАДЕЖНОСТЬ,

что означает, что валидность не может превышать надежность теста.

Но в отличие от надежности помимо случайных факторов на валидность теста влияют систематические факторы. Они привносят систематические искажения в результаты. Эти факторы есть другие психические свойства, которые мешают проявиться в результатах теста тому свойству, на которое тест направлен. Например, мы хотим измерять потенциал обучаемости (важнейший компонент общих интеллектуальных способностей человека). Но даем испытуемому тест с жестким ограничением времени исполнения и отсутствием возможности вернуться и исправить допущенную ошибку. Совершенно очевидно, что искомое психическое свойство оказывается смешанным в тесте с ложным психическим свойством — стрессоустойчивостью: испытуемые с высокими показателями стрессоустойчивости будут лучше выполнять тест. В этом проявится эффект систематического искажения.

В современной психометрике разработаны буквально десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом практически всех этих методов является так называемый критерий. КРИТЕРИЙ ВАЛИДНОСТИ — это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо более валидной) информации об измеряемом свойстве — с критерием.

В научных исследованиях преобладают специальные лабораторные критерии. Например, конструируется компактный тест-опросник на тревожность. А в качестве критерия валидности для него используется специальный трудоемкий объективный лабораторный эксперимент, в котором воспроизводится реальная ситуация тревожности (испытуемым-добровольцам уг рожают за ошибочные действия ударами тока и т. п.).

На практике очень часто в качестве критерия валидности используются прагматические критерии — показатели эффективности той деятельности, ради прогнозирования которой предпринимается тестирование В школе самый типичный критериальный показатель — это успеваемость. Но для социально-психологической адаптации ребенка внешним критериальным показателем может быть уровень популярности в классе.

Очень часто в качестве критерия валидности используется экспертная оценка. Например, мы хотим убедиться, что короткий тест на измерение уровня дисциплинированности валиден. Для этого опрашиваем учителей об уровне дисциплинированности хорошо известных им учеников. И после этого сравниваем (коррелируем) результаты теста и экспертный рейтинг учеников по дисциплинированности.

Остановимся здесь чуть подробнее на этом последнем примере. Здесь мы имеем один из самих простых и популярных методов эмпирического (статистического) измерения валидности. Это метод известных групп. К участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе пс критерию они относятся. В случае с тестом дисциплинированности подбираются ученики, заведомо дисциплинированные, по данным экспертной оценки учителей (высокая группа по критерию), и заведомо недисциплинированные (низкая группа по критерию). Ученики со средними показателями по критерию в тестировании не участвуют. После проведения теста мы рассчитываем, например, простейшую четырехклеточную корреляцию между тестом и критерием. Для этого заполняется следующая четырехклеточная таблица:

Элемент а в этой табличке — это число испытуемых, попавших в высокую группу по тесту и по критерию, элемент Ь — число испытуемых, попавших в высокую группу по тесту, но в низкую группу по критерию и т. д.

Очевидно, что при полной валидности теста элементы ft и с таблички должны быть равны нулю. То есть тест не должен давать ошибок — говорить о том, что ученик низкодисциплинированный, когда учителя говорят о том, что ученик высоко дисциплинированный (случай с).

Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:

При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать, когда Phi >—0,36. Хотя это, конечно, очень невысокая валидность, но все же тест в этом случае дает значимо лучшие результаты, чем случайное гадание. То есть если в вашем учебном заведении есть конкурс и вы хотите отобрать не только одаренных, но и дисциплинированных учащихся, вы можете использовать тест, валидность которого вы проверили, и она оказалась значимой.

Но-.. Метод известных групп обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Дело в том, что при формировании известных групп оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест дня прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они прошли в лучшем случае проверку по методике известных групп и не обладают так называемой ПРОГНОСТИЧЕСКОЙ ВАЛЙДНОСТЬЮ (или по крайней мере эта валидность строго экспериментально не доказана). Конечно, на местном уровне задачу обеспечения прогностической валидности не решить. Это под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать примерно на порядок больше испытуемых — не 30, а минимум 300. Ведь мы просто не знаем, кто из этих 300 попадет в будущем в крайние группы.

Например, мы хотим использовать тест для прогноза готовности школьников к обучению в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то должен взяться за нелегкую многолетнюю программу проверки прогностического потенциала этого теста. Нужно протестировать 300— 500 школьников, а затем подождать, кто из них поступит в вуз и будет успешно там учиться. После двух-трехлетнего интервала можно сформировать критериальные группы и подсчитать корреляцию с прежними тестовыми показателями этих бывших школьников. Только после реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую валидность. Без этого мы исходим просто из доверия к научной интуиции разработчика теста и не имеем независимых доказательств того, что тест можно использовать для прогноза.

Различение обычной дешевой схемы валидизации теста (по известным группам) и дорогой прогностической схемы валидизации теста — важнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.

Когда заказчик твердо знает, каких доказательств эффективности предлагаемого теста можно потребовать от тестолога, он будет надежно застрахован от профанации.

Стандартизация тестов

Что, несомненно, должен знать и уметь делать каждый грамотный пользователь теста — это понимать, что такое тестовые нормы и как ими пользоваться.

Первоначальный суммарный балл, подсчитанный с помощью ключа, не является показателем, который можно диагностически интерпретировать. Его называют в тестологии сырым тестовым баллом. Применение тестовых норм в профессионально организованной психодиагностике основывается на переводе тестовых баллов из сырой шкалы в стандартную. Эта процедура называется стандартизация тестового балла.

Пусть мы провели тест из 20 заданий и испытуемый дал 12 правильных ответов. Можно ли при этом сказать, что способность у испытуемого выражена лучше или хуже, чем в среднем? Нет. Для такого вывода нужно сравнить балл 12 со средним баллом по представительной выборке испытуемых.

Выборка, на которой определяются статистические тестовые нормы, называется ВЫБОРКОЙ СТАНДАРТИЗАЦИИ. Ее численность, как правило, не меньше 200 человек. Столько должны принять участие в психометрическом эксперименте по определению тестовых норм — в эксперименте по стандартизации теста.

Если после стандартизации теста выясняется, к примеру, что среднее арифметическое по сырой шкале теста равно 14, то оказывается балл 12 — это не лучше, а хуже среднего (хотя испытуемый и справился больше, чем с половиной заданий). Просто в данном случае тест содержит слишком простые задания, несколько отклоняется по этому параметру от оптимальной трудности.

Простейшая ЛИНЕЙНАЯ СТАНДАРТИЗАЦИЯ тестового балла производится по формуле

где Z — стандартный балл на так называемой
стандартной шкале Z (с центром 0 и отклонением 1),
X — сырой балл по тесту, X — средний балл по
выборке стандартизации, S — стандартное отклонение по выборке стандартизации. -

После получения стандартного балла Z можно перевести тестовый балл в любую стандартную тестовую шкалу, принятую в психодиагностике. Например, перевод в шкалу IQ производится по формуле

IQ = Z ..15 + 100.

Напомним, что в шкале IQ центр равен 100, а отклонение равно 15.

Если перевод требуется в так называемую шкалу стенов (от английского standard ten — стандартная десятка), то формула пересчета из шкалы Z выглядит так:

Sten = Z ..2+ 5.5,

так как в шкале стенов центр равен 5.5, а отклонение равно 2.

Обобщенная формула перевода сырого балла в заданную стандартную шкалу имеет вид:

(6) У = Ss • Z + М,

где Y — стандартный балл по произвольной шкале с центром М и отклонением Ss .

Для серьезных профессиональных тестов вместо описйнной здесь простейшей линейной'стандартизации используется более сложная процедура нелинейной нормализации (форсированный переход к нормальному распределению). В результате этой, более точной, процедуры разработчики снабжают пользователей теста так называемой КОНВЕРСИОННОЙ ТАБЛИЦЕЙ для перевода сырых баллов в стандартные баллы по заданной шкале. В ней приводится полный перечень соответствий между интервалами сырой шкалы и интервалами стандартной.

Ниже приведен пример того, как может выглядеть конверсионная таблица для некоторого теста арифметических вычислений из 30 заданий. Простейшая процедура подсчета баллов (за правильный ответ — 1 очко, за ошибку — 0) дает нам сырую шкалу от 0 до 30:

Как пользоваться таблицей? Если испытуемый показал 5 сырых очков (решил только 5 заданий), то ему ставится минимальный стандартный балл 1. Если испытуемый решил 25 заданий, то — балл 9.

После того, как балл по тесту стандартизирован, можно выносить диагностическое заключение. Общее правило здесь таково: если стандартный балл У превышает единицу верхней (или высокой) группы M + Ss , то данному испытуемому приписывается повышенное значение измеренного психического свойства. Например, про ученика говорят, что он является определенно более дисциплинированным, чем средний ученик в российской школе (или московской, или иркутской — в зависимости от того, на какой выборке стандартизации получены нормы). Если же стандартный балл Y ниже границы нижней (низкой) группы MSSj то о данном испытуемом формулируется заключение, соответствующее низкому полюсу измеряемого свойства. Если стандартный тестовый балл Y заключен в пределах центрального интервала ( M - Ss , M + Ss ), то про испытуемого говорят, что у него измеренное свойство выражено в средней степени — как у большинства людей.

На шкале стенов граница верхней группы равна 7.5, а нижней — 3.5, то есть при получении 8 стенов и больше испытуемый зачисляется в верхнюю группу; а при получении 3 стенов и меньше — в нижнюю.

Бели мы имеем дело с биполярным (двухполюсным) психическим свойством, например, гибкость — ригидность, то для высокой группы формулируется заключение как для гибких людей, а для низкой группы — как для ригидных людей. Соответственно средняя группа из центрального интервала признается нейтральной, неполяризованной по данному тестовому параметру.

Любые тестовые заключения при использовании статистических тестовых норм являются относительными. Они зависят от той выборки, на которой производилась стандартизация теста. То, насколько выборка стандартизации позволяет применять тест на широкой популяции, называется РЕПРЕЗЕНТАТИВНОСТЬЮ тестовых норм. . Репрезентативность — третье важнейшее психометрическое свойство теста. Понимание смысла этого требования к тесту помогает правильно учитывать ограничения в сфере применения теста.