Прогностичность психологических методик. Связь с надежностью и валидностью.ых тестов.

Причины ограниченной прогностичности результатов диагностических методик. Особенности самой ситуации определяют наше поведение. Но особенности нашей ситуации каждым человеком определяются по-своему.

Не сама ситуация, а оценка ситуации определяет наше поведение, а оценка всегда индивидуальна.

Необходимо учитывать субъективные интерпретации.

Причина в малой прогностичности.

Повысить прогностичность можно путем идиографического подхода, где учитываются прототипы человека.

Прототипы личностных черт – это представления человека об этой самой черте, его оценка черты и ситуации, где эта черта может проявиться.

О прогностичности результатов можно говорить применительно к личностным методикам, т.к. они оценивают выраженность отдельных черт Личности, которые являются непрогностичными. Мы не можем определить как данная ситуация отражается на человеке. Одни и те же люди могут по-разному реагировать на одни и те же события, т.е. субъективные интерпретации людей могут постоянно меняться. Идиографический подход позволяет не только установить черты Личности, но и субъективное представление человека об этих чертах. Каждый человек считает для себя важной определенную черту.

Главная проблема – это проблема предсказания того, как будет вести себя человек в определенной ситуации. Личностные методики – проективные, опросники. Эти методики оценивают выраженность отдельных личностных черт. Насколько знание этих личностных черт помогает прогнозу. Существует мнение, что это знание прогностично. На самом деле оно обладает малой прогностичностью если мы хотим предсказать поведение человека в конкретной ситуации. Поведение определяют не личностные характеристики, а конкретность ситуации.

Диспозиционисты считают, что знание личностных характеристик даст прогноз. Но это неверно.

Следует учесть влияние самой ситуации.

Следует учесть как ситуация интерпретируется самим человеком.

Только психолог знает, что ситуация воспринимается разными по-разному. Психология отошла уже от бихевиористских заблуждений, где считалось, что внешний стимул определяет реакцию. На самом деле между стимулом и реакцией стоит образ ситуации, образ стимула, который возникает в голове человека. Не сам стимул, а его восприятие.

Психологи знают, как складывается образ, знают, что не только разные люди, но и один человек в разное время по-разному реагирует на одну и ту же ситуацию. Наши образы меняются.

Известно, что любая ситуация, любая группа людей и сам индивид представляет сложную систему, которые находится в хрупком равновесии. И любое вмешательство в эту систему может привести к необратимым последствиям. Это напряженная система.

Итак, разные люди по-разному воспринимают одну и ту же ситуацию, и это восприятие может меняться с течением времени, все это зависит от разных ситуаций. Причины ограниченности результатов диагностики связаны прежде всего с неучетом ситуационных факторов, специфической трактовки этих ситуационных факторов каждым человеком, с неучетом изменчивости этой трактовки.

Для того чтобы повысить прогностичность личностных методик следует применять идиографический подход в диагностике Личности.

2.В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства: Воспроизводимость рез-тов исследования. Точность измерения. Устойчивость результатов.

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие: нестабильность диагностируемого свойства;  несовершенство диагностических методик;  меняющаяся ситуация обследования;  различия в манере поведения экспериментатора; колебания в функциональном состоянии испытуемого; элементы субъективности в способах оценки и интерпретации результатов.

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции (по Пирсону или Спирмену).

Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

К.М. Гуревич предложил толковать надёжность как: надёжность самого измерительного инструмента (коэффициент надежности); стабильность изучаемого признака (коэффициент стабильности); константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионая).

3.Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.

Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.

Прагматическая валидизация

Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.

Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).

Оценка валидности методики может носить количественный и качественный характер.

Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:

1.      Валидность «по содержанию» (используется в тестах достижения): 3 – 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя.

2.      Валидность «по одновременности» или текущая валидность – собираются данные, относящиеся к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту.

3.      «Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.

4.      «Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

4.Объединение данных различных тестов позволяет одновременно оценить наличный уровень личностных свойств, интеллекта, эффективности функционирования когнитивной сферы, получить «самооценку отношений» с окружающим миром и т.п. Дает возможность оценивать динамику позитивных изменений личности в процессе интенсивного коучинга и при следовании рекомендациям в дальнейшем.

Используя психодиагностические процедуры в своей работе, психодиагност получает возможность:

• на начальном этапе инструментально оценивать характер проблем клиента, как личностно-мотивационных, так и на уровне познавательных процессов;

• детально отслеживать динамику происходящих изменений в дальнейшем, что является важнейшим преимуществом перед работой «вслепую»;

• давать клиенту формально «запротоколированную» обратную связь в виде объективно зафиксированных результатов тестов.

Использование компьютерной диагностической системы, позволяющей проводить комплексное психологическое обследование дает следующие преимущества:
• система планирования и проведения психологической диагностики личности и группы, позволяющая вести учёт, психологический отбор, оценку и сопровождение персонала организации, а также различных групп людей (сопровождение клиентов, пациентов, учащихся, осужденных...);

• библиотека психодиагностических методик с возможностью печати стимульного материала, бланков, накладных ключей и т.д.;
• электронный учебник по экспериментальной психологии, психодиагностике и математической статистике;

• среда разработки баз данных (таблиц, запросов, форм, отчётов, любых документов), направленных на учёт различных сведений о респондентах;
• среда разработки и совершенствования экспериментальных методов исследования личности и группы, в частности психодиагностических тестов;

• среда управления компетенциями, разработки интерпретаторов, моделей, профессиограмм, критериев оценки данных;

• система статистического анализа данных;

• среда разработки справочных систем;

• система контроля исполнения обязательств.

Такие системы позволяют интегрировать и интерпретировать разнородную информацию.