- Вступ
- Основні визначення 2.1 "Експерт" та "оцінювання" 2.2 Методи експертного оцінювання 2.3 Анкета 2.4 Результати роботи експертної системи 2.5 Терміни, що пов'язані з обробкою результатів опитування
- Підходи та способи вирішення завдання
- Порівняльна характеристика існуючих засобів вирішення завдання
- Висновки
- Посилання
У цьому документі будуть наведені основні визначення, підходи та способи вирішення завдань і порівняльня характеристика існуючих засобів вирішення завдання, що відносяться до систем управління експертними опитуваннями.
Експерт - це особа (спеціаліст), якому довірено висловити думку про якийсь суперечливий чи складний випадок, оскільки людство у складних ситуаціях завжди намагалося врахувати думку висококваліфікованих спеціалістів у різних сферах життєдіяльності [1]
Основні показники екпертного потенціалу [2]:
- Високий рівень інтелекту
- Значний досвід роботи
- Визнання колег
- Активна наукова діяльність
- Існування публікацій у престижних виданнях
- Престижна освіта
- Високий особистий статус
Оцінювання (англ. assessment) - це процес, який може бути несистемним, зі збору інформації, її аналізу та формування суджень на його основі. [3]
Експертне (лат. expertus - досвідчений) оцінювання (експертиза) - метод отримання узагальненої інформації шляхом оцінювання ситуації, події чи явища групою незалежних експертів. Таку узагальнену інформацію отримують за допомогою експертного опитування, у якому беруть участь фахівці в галузі, яка цікавить дослідника. При масових опитуваннях чим більшою є вибіркова сукупність, тим краще, оскільки підвищується їх репрезентативність, а в експертному опитуванні збільшення кількості експертів не поліпшує якості інформації. Оптимальна їх кількість - 25-30, а іноді й 10 осіб. Експертне опитування можна застосовувати при вивченні всіх галузей діяльності, та особливо воно ефективне при діагностуванні, прогнозуванні, оцінюванні станів соціальних об'єктів, прийнятті рішень. [4]
Методи експертного оцінювання поділяються на індивідуальні та групові.
Індивідуальні експертні методи — методи оцінювання, які полягають в тому, що кожний експерт дає свою оцінку незалежно від інших, ці оцінки за допомогою статистичних методів об’єднують у загальну. [1]
Основні індивідуальні експертні методи:
-
Метод інтерв’ю — метод збору соціальної інформації, що ґрунтується на вербальній соціально-психологічній взаємодії між інтерв'юером і респондентом з метою одержання даних, які цікавлять дослідника. Під час інтерв'ю контакт між дослідником і респондентом здійснюється за допомогою інтерв'юера, котрий ставить запитання, передбачені дослідженням, організовує та спрямовує бесіду з кожною людиною, фіксує одержані відповіді згідно з інструкцією. [5]
-
Метод анкетування — метод отримання інформації шляхом письмових відповідей респондентів на систему стандартизованих запитань попередньо підготовлених бланків — анкет. [6]
Групові експертні методи — методи оцінювання, які полягають у спільній роботі експертів та поданні узагальненої оцінки від цілої робочої групи. [1]
Основні групові експертні методи:
-
Метод Дельфі базований на тому, що на основі індивідуальних опитувань і спеціальної методології дозволяється уникнути групового впливу, який доволі часто виникає при роботі груп експертів. Техніка проведення цієї експертної оцінки полягає в тому, що спочатку всім експертам шляхом анонімного опитування ставиться певне запитання, відповідь на яке необхідно дати письмово в балах. Вважається, що завдяки письмовому опитуванню зменшується вплив таких факторів, як навіювання та схиляння до думки більшості. Опитування проводиться декількома етапами, при цьому встановлюється зворотний зв’язок у вигляді повідомлення обробленої інформації про збіг точок зору на попередніх етапах опитування. Наприклад, після чергового етапу проводиться обробка інформації, отриманої від експертів. При цьому показником групової думки вважається медіана, а показником узгодженості думок — діапазони квартилів (процентилей). Тобто визначається частка (це може бути 10 чи 15%) експертів, які дали найвищий та найнижчий бал. Після цього цим експертам повідомляють про те, що їх відповідь знаходиться не в серединній зоні, та пропонують обґрунтувати причини розбіжності в поглядах, надається змога ще раз поставити бал на поставлене запитання (при цьому не деталізується, хто з експертів потрапив чи не потрапив в серединну зону — цим самим виключається можливість впливу «авторитетних експертів» на загальну думку). Ця процедура дає змогу спеціалістам у разі необхідності змінити свою думку, враховуючи обставини, які вони могли упустити в першому етапі. Після повторного збору даних від експертів, які потрапили у крайні процентильні зони, проводиться повторний підрахунок аналогічних статистичних показників і процедура повторюється ще раз. В ідеалі процес за методом Дельфі має бути повторений як мінімум в 4 етапи, після чого медіана 4-го етапу приймається як кінцева узагальнена оцінка на поставлене запитання. [1]
-
Метод «мозкової атаки» полягає в тому, що формулюється певна проблема, яка в подальшому обговорюється групою експертів. При цьому жодна із запропонованих ідей не критикується, а навпаки — схвалюється. Використання цього методу дозволяє підвищувати продуктивність експертів: вважається, що «хороших» ідей виникає більше в тих випадках, коли намагаються аналізувати лише «хороші». [1]
В деяких методах експертного оцінювання використовують анкети. Анкета — структурно організований набір запитань, кожне з яких логічно пов'язане з основною метою дослідження, отримання інформації відбувається шляхом опитування респондентів. [3] Наукова якість, отриманої методом анкетування, інформації залежить, значною мірою, від того, яким чином скомпонована або структурована анкета, чи містить вона в собі всі невід’ємні складові, чи має певну логічну схему і послідовність її запитань.[3]
Структура
Побудова анкети повинна складатися з чотирьох частин:
- Вступна: У першій частині анкети пояснюється мета дослідження, гарантується анонімність відповідей, дається інструкція щодо заповнення, підкреслюються важливість та цінність відповідей респондента. [7]
- Демографічна: В цій частині фіксуються вікові, статеві, етнічні, соціально-статусні, професійні, освітні, сімейно-шлюбні, соціально-поселенські та інші ознаки респондента. [7]
- Основна: Складається з набору запитань, відповіді на які передбачають виконання завдань дослідження. Головна мета запитань анкети полягає в тому, щоб зацікавити респондента, включити його поступово в процес співпраці з анкетою. Запитання складають блоками, у чіткій логічній послідовності. Далі пропонуються запитання складніші, які виявляють соціальні установки та орієнтації респондента, оцінки та судження. У заключній частині тексту анкети пропонуються різного характеру контрольні запитання, мета яких — поглибити та уточнити інформацію, яка була отримана у відповідях на попередні запитання. [7]
- Завершальна: Остання частина анкети передбачає подяку респондентам та, можливим є, побажання на майбутнє. [7]
Оформлення
Анкета сприятливо впливає на респондента в тому випадку, коли в поліграфічному відношенні вона виконана якісно. В анкеті мають бути абзаци, курсиви, тобто підкреслення особливо важливих її моментів, інтервали і відступи між запитаннями і варіантами відповідей. Тексти запитань і тексти варіантів відповідей повинні мати різний шрифт. Значну роль у графічному оформленні відіграють ілюстративні матеріали, вказівні стрілки. Вони знімають втому, пояснюють зміст запитання, вказують на перехід до нової теми тощо. [7]
Важливим також є наявність (в дужках після тих чи інших запитань) різного роду інструктивних вказівок та орієнтирів. Наприклад, «Можете підкреслити кілька варіантів відповіді», «Підкресліть один варіант відповіді». Нумерація запитань і варіантів відповідей повинна бути в єдиній цифровій системі. [7]
Види запитань в анкетах
- За формою відповідей:
- закриті (містять повний набір можливих варіантів відповіді):
- дихотомічні (відповіді так/ні)
- полі варіативні (є декілька варіантів відповіді)
- шкальні (наприклад, повністю згоден/згоден частково/не згоден)
- табличні
- напівзакриті (містять певні варіанти відповіді, але можна також вказати власну);
- відкриті (передбачають самостійну та розгорнуту відповідь респондентів):
- про факти свідомості (думки, враження, судження, мотиви і тд);
- про факти поведінки (результати діяльності, вчинки, дії і тд).
- За сформованістю запитання:
- прямі (спрямовані на безпосереднє та відкрите отримання інформації від респондентів);
- непрямі (пов'язані з використанням якоїсь уявної ситуації, яка дозволить приховано дізнатись певну інформацію)
- За функціями:
- інформаційні (основні);
- фільтри (використовують у випадку, якщо потрібно зібрати інформацію не від усіх респондентів, а від певної категорії);
- контрольні (дають можливість уточнити правильність відповіді респондента) [7]
Результатом опитування експертів є статистичні дані, на основі яких формується [8]:
- колективне представлення рішення проблеми та окреслення єдино-правильної позиції чи прийняття кваліфікованого рішення на основі оцінок експертів і їх аргументації;
- таблиці ранжування для перевірки узгодженності критеріїв компетентності групи експертів і визначення "ваги" думки кожно з них.
У ході оцінювання досліджуваного об'єкта, експерти у більшості випадків мають різні точки зору з проблеми, яку вони вирішують. Тому виникає необхідність кількісної оцінки ступеня узгодженості думок експертів. Саме це у більшості випадків допомагає інтерпретувати причини розбіжності думок.
Методи експертних оцінок – це спосіб прогнозування та оцінки майбутніх результатів дій на основі прогнозів фахівців.[9]
Всі експертні методи поділяються на дві групи – індивідуальні і колективні – та підгрупи.[9]
Індивідуальні експертні методи – це використання думок експертів, які сформульовані особисто кожним із них самостійно без врахування думок інших експертів. До індивідуальних експертних методів належать: інтерв'юта анкетування.[9]
Сутність методу інтерв'ю полягає в організації співбесіди аналітика з експертом, в ході якої експерт дає відповіді на запитання аналітика щодо факторів впливу на досліджуваний об'єкт, очікуваних результатів господарювання, невикористаних резервів, шляхів виходу з кризи, напрямів підвищення ефективності виробництва тощо.[9]
Метод анкетування (аналітичного експертного оцінювання) полягає в наданні експертом письмових відповідей на запитання анкети. [9]
Колективні експертні методи – це методи, які забезпечують формування єдиної спільної думки в результаті взаємодії залучених фахівців-експертів.[9]
Серед колективних методів експертної оцінки виділяють:
- метод комісії
- відстороненого оцінювання
- методи Дельфі
- конференція ідей[9]
Метод комісії полягає у вироблені експертами кращого варіанта досягнення поставленої мети з урахуванням усіх висловлених на нараді пропозицій, ідей. Позитивною ознакою цього методу є можливість залучення для експертизи фахівців з широким діапазоном знань із суміжних областей науки та практики. Негативним є можливий суб'єктивізм, наявні стереотипи мислення, що склалися в експертів, їх схильність до компромісу.[5]
Метод відстороненого оцінювання полягає у виборі оптимального незалежного рішення із числа висловлених експертами на нараді. Робота наради поділена на дві частини: висунення ідей та їх критичний аналіз.[9]
Одним з методів оцінювання якості освітніх сайтів пропонують метод Дельф - метод експертного прогнозування шляхом організації системи збору експертних оцінок, а також з використанням методу факторного аналізу - математичної та статистичної обробки та послідовної коригування на основі результатів кожного циклу обробки.[10]
Метою застосування методу Дельфі є удосконалення групового підходу до вирішення завдання розробки прогнозу, оцінки за рахунок взаємної критики поглядів окремих спеціалістів, висловлюваних без безпосередніх контактів між ними та при збереженні анонімності думок чи аргументів на їх захист. В одному з варіантів цього методу пряме обговорення замінюється обміном інформацією з використанням спеціально розроблених запитальників. Можливе також застосування особливих прийомів опитування через ЕОМ. Згідно з методом Дельфі учасників просять висловити свої думки, обґрунтувати їх, а в кожному наступному турі опитування їм видається нова, уточнена, інформація щодо висловлених думок, яку одержують в результаті розрахунку збігу думок за раніше виконаними етапами роботи. Цей процес продовжується до практично повного збігу думок. Після цього фіксуються думки, які не збігаються. Цей метод успішно застосовується у маркетингу. Його використовують для того, щоб зробити експертне прогнозування шляхом організації системи збирання та математичної обробки експертних оцінок.[9]
Конференція ідей подібна до мозкового штурму, але відрізняється від нього темпом проведення нарад та дозволеною короткою доброзичливою критикою ідей у формі реплік і коментарів. При цьому стимулюється поєднання кількох пропозицій, фантазування, що сприяє підвищенню якості ідей.[5]
Наступним етапом розвитку методу експертних оцінок є метод «прогнозованого графу». Суть його полягає в побудові на основі експертних оцінок і наступного аналізу моделі, складної мережі взаємозв'язків, які виникають під час розв'язування перспективних науково-технічних проблем. При цьому забезпечується можливість формування багатьох різних варіантів науково-технічного розвитку, кожний з яких у перспективі веде до досягнення мети розвитку прогнозованого об'єкта (галузі, сфери тощо). Наступний аналіз моделі дає змогу визначити оптимальні (за певними критеріями) шляхи досягнення мети.[11]
Коефіцієнт конкордації Кендалла або по-іншому Коефіцієнт множинної рангової кореляції потрібен для того, щоб виявити узгодженість думок експертів по декільком факторам.[12]
Наприклад, провели ви дослідження, в якому попросили 5 осіб проранжувати за важливістю 4 різних фактора. Вони вам розставили ранги від 1 до 4 і вам тепер треба це аналізувати.[12]
Отже, методи експертних оцінок відіграють важливу роль в економічних дослідженнях, особливо у проведенні стратегічного і функціонально-вартісного аналізу. Застосування цих методів дає змогу визначити, наприклад, обсяг і структуру споживання продуктів харчування, товарів чи послуг населенням за значним колом показників, тоді як застосування інших методів аналізу ускладнене через відсутність необхідної інформації.
Задля коректної роботи системи організацій та проведення опитувань експертів необхідні наступні ресурси:
- веб-застосунок або/та мобільний додаток із максимально простим й інтуїтивно зрозумілим інтерфейсом;
- база даних для зберігання результатів опитуваннь експертів;
- система для обробки результатів опитувань та для оцінки роботи експертів на основі створенної бази даних.
Критерії/сервіси | Foxpoll | Google Forms | Testograf | Survey Monkey | Survio | Simpoll | Typeform |
---|---|---|---|---|---|---|---|
Інтуїтивно зрозумілий інтерфейс | 🟢 | 🟢 | 🟢 | 🟢 | 🟢 | 🟢 | 🟢 |
Готові шаблони | 🟢 | 🟢 | 🟢 | 🔴 | 🔴 | 🔴 | 🔴 |
Інтегрування медіафайлів в опитуванні | 🟢 | 🟢 | 🟢 | 🔴 | 🟢 | 🟢 | 🟢 |
Обробка даних | Різні фільтри. Можливість завантажувати файли. Графічний та статистичний аналіз статистика. | Короткий і повний аналіз. Різні фільтри. Можливість завантажувати файли. | Графічний та статистичний аналіз статистика. Фільтри. Імпорт / експорт форм. | Аналіз тексту, робота з тектом; перехресні таблиці. Результати можна фільтрувати і групувати. На їх основі будуються графіки, і створюються звіти. Розширений функціонал для професійного використання | Шкали. Ранжування. Фільтри. Вибір зображення. Зірки. Експорт даних в PDF. Онлайн-опитування Звіти та аналітика. | Експорт результатів. Підсумки опитування можна вивантажити в таблицю Excel для подальшої обробки. Різноманітні фільтри для відображення результатів. Існує можливість подивитися відповіді респондентів різних категорій. | Онлайн-опитування Звіти та аналітика. Дозволяє відображати результати опитування у вигляді діаграм або таблиць; інтерактивна фільтрація. |
Інтеграція зі сторонніми сервісами | 🟢 | 🟢 | 🔴 | 🟢 | 🟢 | 🔴 | 🟢 |
Відкритий доступ до API | 🔴 | 🟢 | 🔴 | 🔴 | 🔴 | 🟢 | 🟢 |
Взаємодія з респондентом | Підтримка користувачів по електронній пошті. Персональний менеджер для роботи з клієнтами. | Можна залишити фідбек, отримати свої відповіді на пошту. | Цілодобова підтримка. Можуть зробити всі звіти за користувача. Так само можуть зібрати данні і інші корисні функції респонденту, которий аблегчіт роботу з данними, але за додаткову плату. | Цілодобова підтримка користувачів по електронній пошті, телефону; персональний менеджер для роботи з клієнтами. | Респондент може лише розповсюджити анкету через почту чи соц мережі. | Слабка технічна підтримка. Можливість лише розповсюджувати зібрані данні. | Цілодобова підтримка користувачів. |
Безкоштовний план | 🔴 | 🟢 | 🔴 | 🟢 | 🟢 (обмежений функціонал) | 🟢 | 🟢 |
Таріфнфй план | Індивід. плани 50$ на місяць. | 0$/5.40$/10.20$/25$ на місяць, в залежності від потреб інтеграції екосистеми Google | Річна ліцензія PRO+ : 69 990 ₽ співробітника. Річна ліцензія: 34 990 ₽, 1го співробітника | Індивід. плани 39 €, ADVANTAGE 30 €, PREMIER 75 €. | 0$/16$/33$/66$ на місяць. | На місяць: 0 ₽/390 ₽/ 690 ₽/ 1490 ₽. Коробкова версія: 99990₽. | Basic 21 USD/mo. Plus 40 USD/mo. Business 62 USD/mo. |
Місцезнаходження серверів | Україна | США | Росія | США | Чехія | Німеччина | США |
Суттєві недоліки | Немає безкоштовної версії | Відсутня якісна зв'язок з Google таблицями. | Немає безкоштовної версії | Кілька перевантажений інтерфейс | Досить обмежений функціонал на безкоштовній версії | Слабка технічна підтримка. | Висока ціна. Важкий в освоєнні. |
Суттєві недоліки | Відсутня якісна зв'язок з Google таблицями. | Немає безкоштовної версії | Кілька перевантажений інтерфейс | Досить обмежений функціонал на безкоштовній версії | Слабка технічна підтримка. | Висока ціна. Важкий в освоєнні. |
Отже, методи експертних оцінок відіграють важливу роль в економічних дослідженнях, особливо у проведенні стратегічного і функціонально-вартісного аналізу. Застосування цих методів дає змогу визначити, наприклад, обсяг і структуру споживання продуктів харчування, товарів чи послуг населенням за значним колом показників, тоді як застосування інших методів аналізу ускладнене через відсутність необхідної інформації.
[1] https://www.umj.com.ua/article/9571/metodika-provedennya-ta-ocinki-rezultativ-ekspertnix-ocinok-na-prikladi-vprovadzhennya-sistemi-monitoringu-zdorov-ya-naselennya-na-rivni-pervinnoi-mediko-sanitarnoi-dopomogi
[2] https://uk.wikipedia.org/wiki/%D0%95%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D1%82
[3] https://uk.wikipedia.org/wiki/%D0%9E%D1%86%D1%96%D0%BD%D1%8E%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F
[4] https://pidru4niki.com/13731120/psihologiya/ekspertne_otsinyuvannya_psihologichnomu_doslidzhenni
[5] https://textbooks.net.ua/content/view/104/11/
[6] https://uk.wikipedia.org/wiki/%D0%90%D0%BD%D0%BA%D0%B5%D1%82%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F
[7] https://uk.wikipedia.org/wiki/%D0%90%D0%BD%D0%BA%D0%B5%D1%82%D0%B0
[8] https://ela.kpi.ua/bitstream/123456789/19300/1/%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B8%20%D0%B5%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D1%82%D0%BD%D0%BE%D0%B3%D0%BE%20%D0%BE%D1%86%D1%96%D0%BD%D1%8E%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F.pdf
[9] https://pidru4niki.com/19650323/ekonomika/metodi_ekspertnih_otsinok
[10] https://web.archive.org/web/20160304234102/http://maglicey.u-education.ru/?q=node%2F51
[11] https://uk.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4*%D0%B5%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D1%82%D0%BD%D0%B8%D1%85*%D0%BE%D1%86%D1%96%D0%BD%D0%BE%D0%BA