Метод экспертного опроса и его разновидности. Границы применимости метода экспертного опроса.

Экспе́ртный опро́с — разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности. Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.

В практике социологических исследований используется:

для прогноза развития того или иного явления

для оценки степени достоверности массового опроса

для сбора предварительной информации о проблеме исследования (зондаж)

в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Сама процедура предполагает: анализ исследуемой ситуации, выбор группы экспертов, выбор способа замера экспертных оценок, процедуру непосредственной оценки работы экспертов, анализ полученных данных

Может оказаться необходимой также:

проверка входных данных, используемых для экспертных оценок

изменение состава экспертных групп

повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

Эксперт может участвовать в опросе как:

генератор, источник идей, гипотез и предложений

арбитр по оценке имеющихся данных, характеристик и показателей объекта

аудитор по оценке условий постановки эксперимента

источник неизвестной исследователю информации, которая служит основой для дальнейшего анализа.

Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако соответствующим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной. Количество членов экспертной группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных в решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов.

Формирование группы потенциальных экспертов начинается методом «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.

Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.

Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие выяснение следующих параметров:

компетентность потенциального эксперта в исследуемой области

эрудированность в смежных областях

учёная степень

звание

стаж научной или практической работы в определённой сфере

должностное положение

принципиальность

объективность

способность творчески мыслить

интуиция.

Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен

эвристичность, то есть способность видеть или создавать неочевидные проблемы

интуиция — способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению

предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта

независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения

всесторонность, то есть способность видеть проблему с различных точек зрения.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию.

Так, подбор экспертов может быть:

экспериментальным (с использованем тестирования, проверки эффективности их прежней экспертной деятельности)

документальным (на основе социально-демографических данных)

при помощи голосования (на основе аттестации потенциальных экспертов их коллегами)

при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.

Работа социолога, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу социолога входит:

составление специальных опросных листов для экспертов (по сравнению с массовым опросами, специфика опросных листов состоит в том, что не применяются вопросы-ловушки, ибо эксперт является осведомленным лицом, а кроме того, преобладают вопросы открытого типа)

разработка способа и процедуры опроса экспертов

проведение опроса

анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным). Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп не оперативной. Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп не оперативной.

Очный опрос

Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное — чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.

Анкетный опрос экспертов.

«Мозговой штурм», «Мозговая атака» — прямой обмен мнениями, стимулирование наблюдения. Основная цель — нахождение решения или путей решения какой-либо научной или практической проблемы.

Заочный опрос

Почтовый анкетный опрос экспертов

Дельфийская техника — многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов — сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода — в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится «эффект интерактивных циклов», то есть пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.