Здавалка
Главная | Обратная связь

Методика оцінювання результатів експертних опитувань

Завдання 1.

Експерти оцінили важливість заходів щодо вирішення конкретної макроекономічної проблеми. Оцінка заходів експертами наведена в таблиці. Визначити групові оцінки заходів (яке ранжування відповідає медіані, яке середньому значенню). Розрахувати коефіцієнти компетенції експертів.

 

  Захід Експерт
Е1 Е2 Е3
З1 0,6 0,3 0,2
З2 0,4 0,7 0,8

 

 

Завдання 2.

Експертам потрібно визначити рейтинг чотирьох об’єктів інвестування. Кожен експерт оцінює міру привабливості інвестицій за балами від одного до чотирьох. Оцінки експертів наведено в таблиці.

Потрібно встановити, чи є в наведених результатах певний порядок стосовно відносної привабливості сукупності запропонованих до оцінювання об’єктів інвестування і якщо є, тоді визначити їхні реальні рейтинги.

 

 

  Експерти Об’єкти
О1 О2 О3 О4
Е1
Е2
Е3
Е4

 

Завдання 3.

Здійснити оцінювання важливості розвитку макроекономічних об’єктів на основі оцінок експертів(табл.).

Оцінки важливості охарактеризувати через показники:

а) узагальненої думку групи експертів стосовно відносної важливості розвитку різних об’єктів;

б) рівня узгодженості думок експертів;

в) «активності» експертів (міра їхньої участі в оцінюванні різних об’єктів);

г) компетентність експертів з кожного із запропонованих питань.

 

ОЦІНКИ ЕКСПЕРТІВ

Об’єкт Кількість балів
А
Б
В
Г
Д

 

 

Розв’язок. Підрахуємо суму квадратів відхилень та коефіцієнт конкордації

Напрям інвестування Сума рангів оцінок Квадрати суми рангів оцінок
А
Б
В
Г
Д
Разом

;

.

Оскільки значенню відповідає рівень значущості , що пере­буває у межах (0,0053; 0,015), гіпотезу про неузгодженість думок експертів відхиляють з імовірністю похибки, яка не перевищує 0,015. Остаточно розташувати об’єкти за їхньою інвестиційною привабливістю можна, наприклад, за сумами номерів .

Так, напрямок А має посісти друге місце, напрямок Б слід поставити на третє, напрямок В — на перше місце, потім йдуть напрямки Г та Д. 8

 

Методика оцінювання результатів експертних опитувань

Оцінки відносної важливості характеризують:

а) узагальнену думку групи експертів стосовно відносної важливості розвитку різних об’єктів;

б) рівень узгодженості думок експертів;

в) «активність» експертів (міра їхньої участі в оцінюванні різних об’єктів);

г) компетентність експертів з кожного із запропонованих питань.

Дані експертизи являють собою сукупність оцінок, наданих кожним експертом кожному з оцінюваних ним об’єктів прогнозування. Ці оцінки виражають у балах (наприклад, від 0 до 100).

¨ Показниками узагальненої думки експертів можуть бути: середнє статистичне значення Мі, величини оцінки певного i-го об’єкта (в балах). Його обчислюють за формулою

, (6.2.1)

де xij — оцінка і-го об’єкта j-м експертом;

п — кількість експертів у групі.

Мі визначають для кожного із m об’єктів експертизи. При цьому воно може коливатися у межах від 0 до 100 балів. Чим біль­ше значення Mi, тим вагомішим є об’єкт i.

Частоту k100і максимально можливих оцінок (100 балів), отриманих за i-м напрямом досліджень, обчислюють за формулою:

, (6.2.2)

де п100і — кількість 100-бальних оцінок, наданих і-му об’єкту.

Цю величину розраховують для кожного з п напрямів дослід­жень, вона може коливатися у межах від 0 до 1. Нижня межа відповідає випадку, коли серед оцінок, одержаних i-м напрямом досліджень, немає максимально можливих (100 балів)
оцінок, а верхня — випадку, коли всі оцінки, одержані i-м напрямом досліджень, є максимально можливими. Важливість розвитку i-го напряму досліджень зростає в разі змінення k100і від 0 до 1. Цей показник слід розглядати як додатковий до основного показника важливості Mi. Він характеризує значущість об’єкта i з точки зору кількості присуджених йому «перших місць».

Поряд із середнім статистичним (Mi) і частотою максимально можливих оцінок (k100і), судження про важливість того чи іншого напряму досліджень дає сума рангів оцінок, одержаних i-м напрямом досліджень (Sі), яку використовують також у визначенні рівня узгодженості думок експертів. Суму рангів Si, наданих n експертами об’єкту i, визначають за формулою:

, (6.2.3)

де Rij — ранг наданий j-м експертом об’єкту i.

Очевидно, що під час порівняння значущості різних об’єктів найважливішим слід вважати той, що характеризується найбільшим значенням Si.

¨ Поряд із показниками відносної важливості суттєвим є визначення рівня узгодженості думок експертів.

Шляхом обчислення дисперсії оцінок i-го напряму дослід­жень і середньоквадратичного відхилення цих оцінок визначають коефіцієнт варіації Vi:

, (6.2.4)

, (6.2.5)

. (6.2.6)

Коефіцієнт варіації Vi визначають для кожного напряму дослід­жень, він характеризує рівень узгодженості думок експертів стосовно відносної важливості i-го об’єкта. Чим менше значення Vi, тим вищий рівень узгодженості думок стосовно відносної важливості i-го об’єкта.

Показником рівня узгодженості думок експертів стосовно відносної важливості сукупності всіх запропонованих до оцінювання об’єктів слугує коефіцієнт конкордації w. Його визначають для кожного питання на кшталт «оцінка важливості» шляхом обчислення таких показників:

— середньої арифметичної сум рангів оцінок, одержаних усіма об’єктами:

; (6.2.7)

де — кількість об’єктів експертизи, ;

— відхилень di суми рангів оцінок, одержаних об’єктом i від середньої арифметичної сум рангів оцінок, одержаних усіма об’єктами:

; (6.2.8)

— показників Тj однакових рангів оцінок, наданих j-м експертом. Якщо всі m рангів оцінок, наданих j-м експертом, різні, то Tj = 0; якщо серед рангів оцінок трапляються однакові, тоді:

, (6.2.9)

де Lj — кількість груп однакових рангів;

тljкількість об’єктів, які утворюють l-у групу однакових рангів.

Потім обчислюють коефіцієнт конкордації w за формулою:

. (6.2.10)

Коефіцієнт конкордації коливається в межах від 0 до 1. За цілковитої узгодженості поглядів експертів w = 1. Зміна w від 0 до 1 відповідає зростанню рівня узгодженості поглядів експертів.

Якщо значення коефіцієнта конкордації w невелике, спостерігається незначна узгодженість поглядів експертів. Причини тут можуть бути різні: або в досліджуваній сукупності експертів справді немає спільності поглядів, або серед сукупності експертів існують групи з великою узгодженістю поглядів, однак їхні узагальнені думки протилежні.

Рівень узгодженості поглядів кожного експерта з рештою експертів унаочнює багатокутник, кожна вершина якого відповідає пев­ному експерту, а лінії, що з’єднують певну вершину з іншими, — коефіцієнтам парної рангової кореляції. Коефіцієнт парної рангової кореляціїміж оцінками двох будь-яких експертів α і b визначають за формулою:

, (6.2.11)

де jiрізниця (за модулем) величин рангів оцінок i-го напряму досліджень, заданою експертами а і b, ;

— показники однакових рангів оцінок експертів а і b.

Коефіцієнт парної рангової кореляціїможе набувати значення – 1 £ r ≤ l. Значення r = + 1 відповідає цілковитій узгодженості поглядів двох експертів. Значення r = – 1 показує, що думка одного експерта є протилежною погляду іншого.

Багатокутник також дає змогу визначити групи експертів, усередині яких узгодженість поглядів велика, тоді як між групами існує неузгодженість.

Чим нижчий рівень статистичної значущості показника узгод­женості поглядів експертів, тим більшою є імовірність існування невипадкової узгодженості поглядів експертів.

Для визначення довірчої імовірності коефіцієнтів wта rвикористовують критерій з (т – 1) ступенями свободи:

(6.2.12)

¨ Показник активності експертів kаеi визначають таким чином:

, (6.2.13)

де пі — кількість експертів, котрі оцінювали об’єкт і;

— загальна кількість експертів.

Чим більше kаеi, тим більша кількість експертів вважають себе компетентними в оцінюванні i-го напряму досліджень.

¨ Аналіз компетентності,як правило, здійснюють за допомогою спеціальних анкет. У відповідях на них кандидати в експерти мають продемонструвати свої ділові і фахові якості, а також аналітичні здібності.

Для визначення відповідності потенційного експерта названим вимогам використовують анкетне опитування. Додатково ще вдаються до самооцінювання компетентності експерта. Коли експерт визначає міру своєї обізнаності з досліджуваного питання. Оброблення даних дає можливість одержати кількісну оцінку компетентності потенційного експерта за такою формулою:

, (6.2.14)

де vi — вага показника, закресленого експертом стосовно i-ї харак­теристики в анкеті у балах;

vimax — максимальна вага (межа шкали) i-ої характеристики в балах;

т — загальна кількість характеристик компетентності в анкеті;

lвага клітинки, закресленої експертом у шкалі самооцінки в балах;

р — межа шкали самооцінки експерта в балах.

Показником компетентності експерта може слугувати такий коефіцієнт:

, (6.2.15)

де kk —коефіцієнт компетентності експерта;

kз —коефіцієнт міри ознайомлення експерта з обговорюваною проблемою. Він визначається шляхом самооцінки експерта за десятибальною шкалою. Значення балів для самооцінки:

0 — експерт не розуміється на питанні;

1, 2, 3 — експерт мало розуміється на питанні, але воно належить до кола його інтересів;

4, 5, 6 — експерт задовільно розуміється на питанні, але не бере безпосередньої участі в практичному розв’язанні його;

7, 8, 9 — експерт добре розуміється на питанні, бере участь у практичному розв’язанні його;

10 — питання належить до кола вузької спеціалізації експерта. Експерту пропонують самому оцінити міру обізнаності з питанням і підкреслити відповідний бал, який потім помножують на 0,1 і отримують коефіцієнт kз;

ka — коефіцієнт аргументації, який розраховують як су-
му балів еталонної таблиці [7]. У цій таблиці експерт оцінює джерело інформації за градаціями: В (висока), С (середня), Н (низька).





©2015 arhivinfo.ru Все права принадлежат авторам размещенных материалов.