Главная | Обратная связь

Методы организации сложных экспертиз.

Методы организации сложных экспертиз - методы и модели, повышающие объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше поддающиеся осмыслению. В качестве простейшего из этих методов может быть использован метод усложненной экспертной процедуры, предложенный в методике ПАТТЕРН [6] (см.), в которой выделяются группы критериев оценки и рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцированно, а весовые коэффициенты повышают объективность результирующих оценок. Развитием этого метода является введение коэффициентов компетентности экспертов и различные методы совершенствования обработки оценок, даваемых разными экспертами по различным критериям. В качестве второго метода организации сложных экспертиз можно использовать метод решающих матриц (см.). Идея метода была предложена Г.С. Поспеловым [6, 7] как средство стратифицированного расчленения проблемы с большой неопределенностью на подпроблемы и пошагового получения оценок. В последующем были разработаны модификации метода решающих матриц [1-4]. Третью группу составляют модели (методы) организации сложных экспертиз, основанные на использовании информационного подхода (см.). В числе этих моделей - модели оценки нововведений, методы анализа ситуаций в статике и динамике, в том числе рыночных, методы сравнительного анализа проектов и др. [1-4].

ПАТТЕРН (PATTERN[1] - первая методика системного анализа, в которой были определены порядок, методы формирования и оценки приоритетов элементов структур целей (названных в методике «деревьями целей»). Считается, что инициатором создания методики является Ч. Дэвис, вице-президент фирмы «Хониуэлл» корпорации РЭНД (RAND), одной из так называемых «думающих», бесприбыльных корпораций, занимающихся разработкой военных доктрин, рекомендаций для выбора проектов новых систем оружия, исследованием военного и научного потенциала «противника», рынков сбыта оружия и т.п. проблемами анализа и прогнозирования развития военного потенциала США. Назначением, конечной целью создания системы ПАТТЕРН была подготовка и реализация планов обеспечения военного превосходства США над всем миром. Перед разработчиками методики ПАТТЕРН была поставлена задача - связать воедино военные и научные планы правительства США. Первые сообщения о методике ПАТТЕРН появились в 1963 г. Однако последующие публикации, в основном, копируют первые. Это связано с тем, что инициативой фирмы «Хониуэлл» заинтересовалось министерство обороны США и соответственно публикации в открытой печати были ограничены, а в дальнейшем, после того, как сенатор Г. Хемфри выступил в 1964 г. в Конгрессе США с предложением создать на базе идеи ПАТТЕРН Бюро помощи президенту в подготовке решений научно-информационными методами (PASSIM 3), открытые публикации о развитии методики практически прекратились. Принципиальная структура методики ПАТТЕРН приведена на рис. 1.

В качестве основы для формирования и оценки «дерева целей» разрабатывались «сценарий» (нормативный прогноз) и прогноз развития науки и техники (изыскательский прогноз). Из первых публикаций (см. обзор этих публикаций в [3]) известно следующее: руководителем первой разработки ПАТТЕРН был С. Зигфорд, в группу разработчиков входило 15 высококвалифицированных специалистов, обладающих правом консультироваться с работником фирмы и имеющих доступ к любым документам; разработчикам системы предоставлялась возможность консультироваться с сотнями тысяч специалистов и десятками фирм (в частности, при практической реализации первого варианта методики разработчики имели право консультироваться с 17000 специалистами); первая модель ПАТТЕРН потребовала обработки более 160 промежуточных решений; в числе основных исполнителей проекта - НАСА, Министерство обороны США и десятки других организаций, оказывающих существенное влияние на управление страной [1]. Пример одного из вариантов «дерева целей», построенных при выполнении одного из проектов ПАТТЕРН, приведен на рис. 2.

Практика использования системы ПАТТЕРН показала, что она позволяет проводить анализ сложных проблемных ситуаций, распределять по важности огромное количество данных в любой области деятельности, исследовать взаимное соотношение постоянных и переменных факторов, на которых основываются и на которые влияют принимаемые ими решения. Система ПАТТЕРН явилась важным средством анализа труднорешаемых проблем с большой начальной неопределенностью, прогнозирования и планирования их реализации. Основные идеи методики применялись в различных областях - научные исследования, проектирование и создание систем различной сложности в научно-исследовательских организациях и на предприятиях, расширение рынков сбыта военно-космической продукции и т.д.

Глубина прогнозирования (см.) в системе ПАТТЕРН составляла 10-15 лет, что соответствовало жизненному циклу становления и старения техники. Главное достоинство методики ПАТТЕРН состоит в том, что в ней предложена идея структуризации целей и определены классы критериев [3]): оценки (коэффициенты) относительной важности, взаимной полезности, состояния и сроков разработки («состояние - срок»). Эти классы критериев в различных модификациях используются в ряде других методик и до сих пор являются основой при определении системы оценок составляющих структур целей. Что касается собственно формирования структуры целей, то из опубликованных материалов известно, что в различных модификациях методики разным уровням иерархии предлагается присваивать разные названия (см., например, один из вариантов «дерева-целей» ПАТТЕРН на рис. 2); между уровнями иерархии были не только «древовидные», но и «слабые» связи (например, на рис. 2 - между уровнями «Задания» и «Программы»). Логика же формирования структуры, как отмечали сами авторы, не отрабатывалась. Не уделялось внимания разработке принципов и приемов структуризации ни в последующих вариантах методики - ПАТТЕРН-МО, НАСА-ПАТТЕРН, ни в других зарубежных методиках - ПРОФИЛЕ, ППБ и т.п. [3, 5]. Поэтому отечественные ученые с самого начала применения системного анализа основное внимание уделяли разработке принципов и приемов формирования первоначального варианта структуры целей («дерева целей»), составляющие которого подлежат затем оценке и анализу (см. «Дерево целей»). Опыт работы с методикой выявил и ряд других проблем: во-первых, недостаточна одноразовая разработка сценария, необходим динамический постоянно изменяющийся сценарий; во-вторых, по мере перехода от политических задач верхнего уровня структуры целей к научным, а затем к техническим проблемам профиль специалистов должен изменяться; в-третьих, крайне сложной оказалась проблема оценки по критерию «взаимной полезности» элементов «дерева целей» и достаточно сложной и трудоемкой оказалась оценка относительной важности, требующая постоянного пересмотра оценок по мере корректировки «дерева», что в дальнейшем потребовало поиска новых способов оценки.

Например, метод попарных сравнений Т.Саати [4], информационные оценки А.А. Денисова [2] и другие методы организации сложных экспертиз (см.). В то же время следует понимать, что методика ПАТТЕРН была первым инструментом анализа трудноформализуемых проблем с большой неопределенностью, их прогнозирования и планирования.