Главная | Обратная связь

Особенности качественных методов принятия решений. Возможные пути и способы получения информации от экспертов. Методы и процедуры экспертного оценивания.

Иногда специфика объектов экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

В этих случаях нередко существенно более оправданным является использование методов качественной оценки объектов экспертизы.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классов, категориям, уровням, сортам и т.д.

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации. Если эксперту необходимо отнести каждый из альтернативных вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъявления экспертов альтернативных вариантов.

В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит. После завершения процедуры последовательного предъявления оцениваемых альтернативных вариантов эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам.

На этом этапе эксперту, как правило, предоставляется возможность, исходя из общего результата классификации, внести коррективы в данные им оценки. Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.

В зависимости от целей экспертизы могут возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.

Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному классу или к разным. После этого эксперту последовательно предлагаются оцениваемые альтернативные варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного альтернативного варианта образовать новый класс.

Процедура завершается после того, как эксперту будут предъявлены все альтернативные варианты.

2. Метод парных сравнений (см. вопрос 30)

3. Ранжирование альтернативных вариантов

В этом методе эксперту предъявляются отобранные для сравнительной оценки альтернативные варианты, но желательно не более 20 - 30 для их упорядочения по предпочтительности. Если альтернативных вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования. Например, ранжированию альтернативных вариантов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Приведем два из них.

1. В соответствии с первым эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный альтернативный вариант среди оставшихся и т.д., пока все оцениваемые альтернативные варианты не будут им проранжированы.
2. При втором способе эксперту первоначально предъявляются два альтернативных варианта или больше, которые ему предлагается упорядочить по предпочтениям.

Если эксперту первоначально предлагается несколько альтернативных вариантов для упорядочения по предпочтениям, то он на этом этапе может воспользоваться первым способом ранжирования.

После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им альтернативные варианты. Эксперт должен определить место вновь предъявленного альтернативного варианта среди проранжированных ранее. Процедура завершается после предъявления и оценки последнего альтернативного варианта. (Балдин. Управленческие решения)

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК - специфич. метод получения информации об объекте с помощью специалистов - экспертов в определенной области. Экспертные оценки широко используются в прогнозировании, при определении целей развития или принятии плановых решений, помогают оценить значимость показателей и проверить качество методик, применяемых для сбора данных, повысить обоснованность практич. рекомендаций и т. д. Повышение объективности рез-тов оценок экспертов достигается целым рядом логич. и статистич. процедур подбора специалистов, организации их опроса, обработки рез-тов экспертизы. Совокупность этих процедур и наз. М.э.о. Для подготовки экспертизы обычно формируется группа специалистов. В ее задачи входят: а) постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов; б) разработка процедуры экспертизы; в) отбор экспертов, проверка их компетентности и формирование групп экспертов; г) проведение опроса и согласование оценок; д) формализация полученной информации, ее обработка, анализ и интерпретация. В состав группы входят специальной области знания, а также специалисты по экспертным методам (социологи, психологи, математики), всего может быть 5-7 чел. В основе экспертизы обычно лежит вопросник, с помощью к-рого и осуществляется сбор требуемой информации.

Экспертной оценкой называется средняя, или модальная, характеристика из высказанных группой компетентных специалистов мнений о каком-либо явлении и процессе, при условии, что удалось достичь согласованности или близости взглядов.

Всегда необходима проверка согласованности мнений экспертов и классификация экспертных мнений.

Процедура экспертного оценивания включает в себя несколько этапов:

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

· Выбор лучшего варианта решения среди имеющихся.

· Прогнозирование развития процесса.

· Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

· Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

· Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

· Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта. Существующие виды экспертных оценок можно классифицировать по признакам:

· По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

· По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.

· По решаемым задачам: генерирующие решения и оценивающие варианты.

· По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

· По способу обработки мнений экспертов: непосредственные и аналитические.

· По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры. Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы.Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

· Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

· Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов. После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).
2. Оценить ошибку исследования.
3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.