У даному документі буде коротка інформація про аналіз предметної області, пов’язаної з системами організації та управління опитуваннями експертів. Ми розглянемо різні підходи та варіанти вирішення завдання, порівняємо між собою вже існуючі засоби, які використовуються для вирішення подібних проблем, та прийдемо до висновку, чи варто створювати нову інформаційну систему, або ж модифікувати вже існуючу.
Експерт (від лат. expertus — досвідчений) — висококваліфікований спеціаліст, який має вищу освіту, відповідну кваліфікацію і професійні знання з питань, що досліджуються, виконує службові обов'язки, пов'язані з провадженням діяльності у відповідній галузі, безпосередньо проводить експертизу та несе персональну відповідальність за достовірність і повноту аналізу, обґрунтованість висновків відповідно до завдання на проведення експертизи.
Основні показники екпертного потенціалу:
- Високий рівень інтелекту
- Значний досвід роботи
- Визнання колег
- Активна наукова діяльність
- Існування публікацій у престижних виданнях
- Престижна освіта
- Високий особистий статус
Експертне оцінювання - особливий різновид методу опитування, де вимоги, які застосовуються в масових опитуваннях, неприйнятні. В процесі масового опитування джерелом соціологічної інформації, яка дає оцінку тим чи іншим сторонам об'єкта дослідження, виступають і представники цього ж об'єкта. При експертному опитуванні ситуація інша. Експерти майже ніколи не виступають представниками об'єкта дослідження.
Практика застосування експертних методик (як для вирішення проблем прогнозування, управління, так і в традиційних сферах соціологічного дослідження) показала, що вони такою ж мірою і важливі і надійні, як і метод масових опитувань з його розширеною методикою забезпечення репрезентативності. Експертні методики містять ряд експліційованих (спільних, схожих) понять: експертні системи, діагностика, експертне опитування та оцінювання, думки, сценарії. Але в соціології традиційно в експертизі акцентується на ролі опитування. Таким чином, експертне опитування посідає тут центральне місце.
В деяких методах експертного оцінювання використовують анкети. Анкета - структурно організований набір запитань, кожне з яких логічно пов'язане з основною метою дослідження.
Мінімальна конструкція анкети складається з назви, одного питання, та в залежності від типу питання може потребувати хоча б дві відповіді.
Якість, отриманої інформації залежить, значною мірою, від того, яким чином скомпонована або структурована анкета. Побудова анкети повинна складатися з трьох частин:
-
Вступна: У першій частині анкети пояснюється мета дослідження, гарантується анонімність відповідей, дається інструкція щодо заповнення, підкреслюються важливість та цінність відповідей респондента.
-
Основна: Складається з набору запитань, відповіді на які передбачають виконання завдань дослідження. Ця частина анкети за змістом найбільш вагома та складна. Запитання повинні враховувати психологічні особливості респондентів. Запитання складають блоками, у чіткій логічній послідовності. Головна мета запитань анкети полягає в тому, щоб зацікавити респондента, включити його поступово в процес співпраці з анкетою. Далі пропонуються запитання складніші, які виявляють соціальні установки та орієнтації респондента, оцінки та судження, які мають прямий стосунок до основної теми дослідження. У заключній частині тексту анкети пропонуються найбільш інтимні та різного характеру контрольні запитання, мета яких — поглибити та уточнити інформацію, яка була отримана у відповідях на попередні запитання.
-
Завершальна: Остання частина анкети передбачає подяку респондентам та, можливим є, побажання на майбутнє.
Види запитань в анкетах
- За формою відповідей:
- закриті (містять повний набір можливих варіантів відповіді):
- дихотомічні (відповіді так/ні)
- полі варіативні (є декілька варіантів відповіді)
- шкальні (наприклад, повністю згоден/згоден частково/не згоден)
- табличні
- напівзакриті (містять певні варіанти відповіді, але можна також вказати власну);
- відкриті (передбачають самостійну та розгорнуту відповідь респондентів):
- про факти свідомості (думки, враження, судження, мотиви і тд);
- про факти поведінки (результати діяльності, вчинки, дії і тд).
- За сформованістю запитання:
- прямі (спрямовані на безпосереднє та відкрите отримання інформації від респондентів);
- непрямі (пов'язані з використанням якоїсь уявної ситуації, яка дозволить приховано дізнатись певну інформацію)
- За функціями:
- інформаційні (основні);
- фільтри (використовують у випадку, якщо потрібно зібрати інформацію не від усіх респондентів, а від певної категорії);
- контрольні (дають можливість уточнити правильність відповіді респондента).
Опитування - метод збору інформації про досліджуваний об'єкт під час безпосереднього чи опосередкованого спілкування інтерв'ювера з респондентом шляхом реєстрації відповіді респондентів на сформульовані питання, які випливають з цілей і завдань дослідження.
Методи опитування поділяються на інтерв'ю (безпосереднє) і анкетне (опосередковане) опитування:
- Інтерв'ю—це бесіда, що проводиться за певним планом і передбачає безпосередній контакт інтерв'юера з респондентом.
- Під час анкетного опитування є використовують анкети, що заповнюються респондентом. Анкетне опитування може бути очним, при якому інтерв'юер роздає анкети і присутній при їх заповненні, та заочним (поштове, пресове, телефонне).
Експертне опитування - різновид соціологічного опитування, в ході якого респондентами виступає особливий тип людей - експерти. Особливістю експертного опитування полягає в тому, що воно передбачає участь компетентних осіб в аналізі і рішенні проблем дослідження, експерти виступає активним учасником дослідження.
Від інших форм соціологічного опитування експертний метод відрізняють кілька дуже важливих рис:
- кількість опитуваних (їх завжди менше, ніж при анкетуванні і навіть інтерв'ю);
- якості опитуваних (рівень кваліфікації і знання спеціальної області експертів набагато вище, ніж у звичайних респондентів);
- тип і обсяг інформації (експертне опитування проводиться для отримання знань, яких немає в дослідника; на відміну від повсякденних знань, які відомі соціологу зі свого досвіду, одержувані від експертів знання відносяться до спеціальних наукових знань);
- типовість даних (в масовому опитуванні соціолога цікавить типовість, повторюваність відомостей, а в експертному опитуванні - унікальність технічних чи гуманітарних знань експерта, їх глибина);
- програмна функція (первинну інформацію, що отримується в анкетуванні або інтерв'ю, соціолог використовує для перевірки наукових гіпотез).
Виділяють такі методи експертного опитування:
- письмове опитування (збір думок);
- анкетування (формалізований опитування);
- метод незалежних характеристик
- метод Дельфі.
- інтерв'ю;
- дослідницька бесіда;
- "мозкова атака" (нарада і нарада за коловою системою).
- Метод колективного блокнота («банку» ідей)
Письмове опитування (збір думок) - найбільш простий вид заочного опитування експертів. Він полягає в тому, що експертам розсилаються спеціально підготовлені опитувальні листи, в яких вони повинні викласти свою думку по суті поставлених питань. При складанні експертного запитальника використовується від 50 до 90% відкритих питань. Збір думок подібний вільному інтерв'ю і відрізняється від нього лише письмовою формою опитування, яка дає можливість залучити велику кількість експерті, але пов'язане з організаційними труднощами, зумовленими низьким рівнем повернення анкет.
Формалізований опитування експертів являє собою звичайне анкетування з питаннями, сформульованими як у відкритій, так і в закритій формі. Якщо письмове опитування проводиться для виявлення евристичних, принципово нових ідей, поглядів на проблему, несподіваних підходів до старої проблеми, то анкетування спрямоване на з'ясування оцінок тих чи інших аспектів готового рішення. Звичайний метод аналізу даних у такому випадку - статистичний.
Метод незалежних характеристик дозволяє дати узагальнену оцінку одного явища, інформація про яке надходить з декількох незалежних джерел (від різних людей). Проводиться у декілька етапів. На першому відбувається порівняння і зіставлення різних думок, на другому - вони обробляються за допомогою математико-статичних процедур, на третьому - формулюються достовірні висновки.
Метод Дельфі - один із найрозповсюдженіших методів проведення експертних опитувань, передбачає опитування експертів у кілька турів, обробку результатів кожного туру, інформування їх про ці результати і знову повторення такої ж процедури. У першому турі відповіді даються без аргументації. Після обробки виділяються крайні й середні судження й повідомляються експертам. У другому турі опитувані знову звертаються до своїх оцінок. Так як вони мали достатньо часу на роздуми і дізналися про існування інших позицій на цей рахунок, їм надається можливість переглянути свої погляди або, навпаки, аргументувати. Після другого туру обробляються нові оцінки: крайні і середні думки узагальнюються, підсумки знову доповідають експертам. Так повторюється 3-4 рази. Практика показує, що після третього або четвертого туру думки експертів не міняються. У ході подібної процедури виробляється узгоджена оцінка, при цьому дослідник не повинен ігнорувати думку тих, хто після неодноразових опитувань залишився на своїй позиції. Подібна процедура дозволяє зменшити вплив недостатньо компетентних експертів на групову оцінку, як це спостерігається при простому анкетуванні.
Бесіда - один з основних методів проведення опитувань (зокрема у психології та педагогіці), який передбачає отримання інформації про досліджуваному явище в логічній формі як від досліджуваної особистості, членів досліджуваної групи. Наукова цінність методу полягає у встановленні особистого контакту з респондентим, можливості отримати дані оперативно, уточнити їх у вигляді співбесіди. Бесіда може бути формалізованою і неформалізованій. Формалізована бесіда передбачає стандартизовану постановку питань і реєстрацію відповідей на них, що дозволяє швидко групувати і аналізувати отриману інформацію. Неформализованная бесіда проводиться за нежорстко стандартизованим питань, що дає можливість послідовно ставити додаткового питання, виходячи з ситуації, що склалася. У ході бесіди цього виду, як правило, досягається більш тісний контакт між дослідником і респондентом, що сприяє отриманню найбільш повної та глибокої інформації.
Метод «мозкової атаки» («мозкового штурму») - найбільш відомий метод колективного прийняття творчих рішень. Він являє собою вільний, неструктурований процес генерування власних ідей навколо заданої теми, спонтанно пропонованих учасниками. Філософія цього методу виходить з припущення, що при звичайних прийомах обговорення виникненню новаторських ідей перешкоджають контрольні механізми свідомості, які пригнічують потік цих ідей під тиском звичних, стереотипних форм ухвалення рішення, гальмівний вплив надають боязнь невдачі, страх виявитися смішним і т.д. Поширеними вважаються дві форми мозкової атаки: просте нараду і нарада за коловою системою.
- Під час проведення простої наради керівник по черзі опитує кожного учасника і просить висловити пропозицію щодо вирішення що стоїть перед ними проблеми. Кожне рішення заноситься в список і нумерується, потім цей список оголоошується всім учасникам. Критика або оцінка ідей не допускається. Велике значення має кількість представлених пропозицій. У їх висунення повинні брати участь всі. Особливо цінується експромт, тобто пропозиції, що виникли тут же і під впливом тієї інформації, яку експерт почув від інших. Вони цінуються вище домашніх заготовок, оскільки акумулюють колективну думку, знання предмету і творчу уяву автора ідеї. Нараду мождуть перенести на іншу дату, якщо експерти неактивні.
- При нараді за коловою системою експерти розбиваються на невеликі групи, що складаються з 3 або 4 чоловік, де продукують нові ідеї і записують їх на аркуші паперу або на картках (по 2-3 ідеї на кожній). Потім члени малої групи обмінюються своїми картками, в результаті чого до старих ідей додаються нові. Після триразового обміну кожна підгрупа складає зведений перелік висунутих ідей. Потім збирається весь колектив, на розгляд якого представляються групові звіти.
Метод колективного блокнота («банку» ідей) - спосіб, заснований на поєднанні незалежного висування ідей кожним експертом з подальшою їх колективної оцінкою.
Анкета в експертних методах — це певним чином організований набір питань, відповіді на які розглядаються як інформація про ступінь впевненості експерта у ймовірності щодо розвитку певної події чи відносної важливості аналізованої події.
Використовують наступні типи запитань:
- Питання, відповідь на яке полягає у виборі одного із декількох точно сформульованих позицій. Спеціаліст робить вибір шляхом вибору одного із декількох варіантів думок, що позначені в запитанні.
- Питання, в якому експертові пропонується погодитися, або не погодитися з певним судженням.
- Питання, що потребує від експерта висловити ймовірність якої-небудь ситуації в числовому вимірі (як правило, використовується бальна шкала).
- Питання, відповіді на які «замасковані» відносними змінними величинами. Трактування результатів полягає в аналізі системи величин, які в подальшому проводять аналітики.
- Можна також у разі потреби використовувати питання, відповіді на які потрібно проставити в певному порядку згідно з їхньою значимістю, тобто прорангувати.
Набір питань в анкеті повинен мати логічний зв’язок, при цьому експерт може змінювати деякі з них, якщо вони не враховують всі необхідні, на його погляд, критерії.
Проведення експертного опитування завершується аналізом отриманих даних і складанням детального звіту. Дослідники систематизують оцінки експертів і подають в зручному для сприйняття вигляді. Отримані дані використовують з метою:
- впровадження отриманих результатів у практику (наприклад, опитування експертів у цілях бізнесу).
- в розвідувальних та пробних дослідженнях для отримання попередніх даних про об'єкт, предмет аналізу, для уточнення гіпотез та завдань основного дослідження, для розробки прогнозу і доповнення та з'ясування певних процесів та явищ.
- виявлення найбільш істотних, важливих аспектів досліджуваної проблеми, підвищення надійності, достовірності, обгрунтованості інформації, висновків і практичних рекомендацій завдяки використанню знань і досвіду експертів.
Заключний етап дослідження передбачає обробку первинної інформації, аналіз і інтерпретацію даних, отримання обґрунтованих узагальнень, висновків і рекомендацій.
Обробка первинної інформації проходить в кілька етапів:
- Перший етап включає в себе наступні роботи: визначення масиву документів для обробки, вибір методів кодування, контролю даних на репрезентативність і усунення помилок, визначення порядку і методів обробки даних, а також розробку основних напрямків аналізу отриманих в ході обробки даних.
- Другий етап передбачає вибір пакетів програм статистичної обробки матеріалів дослідження, а при необхідності розробку нового програмного забезпечення.
- Одним з найбільш трудомістких етапів є третій. При обробці даних анкетування відкриті питання анкет "закривають" - класифікують за певними ознаками, систематизують і кодують відповідно до класифікації. Якщо опитування письмове, анкети перевіряють на відповідність трьом критеріям: повнота заповнення (відповідь може бути відсутнім через небажання респондента відповідати, нерозуміння ним питання, недбалості в заповненні анкет, при неможливості усунути помилки окремі питання або вся анкета вилучаються з обробк); надійність (визначається відхилення від репрезентативної вибірки, за допомогою контрольних і фільтруючих питань перевіряється якість інформації, усуваються суперечливі відповіді, навмисне недостовірні, фільтруються відповіді або анкети осіб, некомпетентних у досліджуваних питаннях і т.д.); технологічність (зручність обробки).
- На четвертому етапі проводиться обробка інформації зазвичай статистичними методами, які дозволяють визначити ступінь впливу різних чинників на розвиток соціальних процесів. Однак це можливо тільки при кількісному вимірі соціальних фактів, які досить часто не мають кількісних характеристик і еталонів вимірювання (думки, судження, мотивація). Їх доводиться конструювати на основі гіпотез дослідження, використовуючи процедуру квантификации , тобто додання якісними ознаками кількісної визначеності. =======
Для організації коректної роботи системи організацій та проведення опитувань експертів насамперед необхідно розробити та налаштувати спеціалізовану базу даних, яка буде викиростивуватися для завантаження результатів опитування та швидкого доступу до них, мають бути наявні інструменти для швидкої та зручної обробки даних.
| Критерії/сервіси | Google Forms | SurveyMonkey | Survio | SurveyJS | Система “ОСА” | Наш проект |
|---|---|---|---|---|---|---|
| Мова інтерфейсу | UKR/ENG/RUS | ENG/RUS | ENG/RUS | ENG | UKR/RUS | UKR/ENG |
| "Наявність шаблонів опитування" | ✓ | 2 безкоштовні шаблони, інші платні | ✓ | - | - | ✓ |
| Ліміт на відповіді в опитуваннях (безкоштовна версія) | - | 40 на місяць | 100 на місяць | - | - | - |
| Можливість поділитись опитуванням через соц. мережі | ✓ | ✓ | ✓ | - | - | ✓ |
| Види опитувань | Варіанти відповідей, прапорці, власна відповідь, можливість вставити фото, діаграму, відео, текст, імпортувати запитання | Опитування багатьма мовами, таблиці, можливість вставити текст, відео, фото, підсказку | Можливість додати логотип, декілька варіантів відповідей, прапроці, вибір зображення, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, можливість вставити текст, відео, фото, підказку | Декілька варіантів відповідей, прапорці, власна відповідь, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, вставка коду, можливість вставити текст, відео, фото, підказку | Варіанти відповідей, прапорці, власна відповідь, вибір зображення, оцінювання у вигляді рейтингу | Декілька варіантів відповідей, прапроці, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, можливість вставити текст, відео, фото |
| Результати опитувань | Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів | Загальні результати, відповіді окремих респондентів, аналітика відповідей | Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів, історія відвідувань опитування | Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів, можливість експортувати відповіді | Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів | Загальні результати, відповіді окремих респондентів, аналітика відповідей, відповіді окремих респондентів |
| Вартість користування | Безкоштовно | Безкоштовно, є платна версія (від 30€) | Безкоштовно, є платна версія (від 17$) | Безкоштовно, є платна версія (від 199€) | Безкоштовно | Безкоштовно |
Google Forms є найбільш зручним сервісом з переліку, проте порівняно з іншими системами з вибірки, йому не вистачає функціональності. Сервіси SurveyJS та ОСА мають ширшу функціональність, проте мають більш складний та незрозумілий інтерфейс, що може злякати нового користувача. Survio та SurveyMonkey, в свою чергу, потребують передплату на їхні сервіси, що виливается у значні фінансові витрати. З огляду на це, можна зробити висновок, що розробка нової системи буде доцільнішою, ніж використання/модифікація існуючих.
- Google Forms
- SurveyMonkey
- Survio
- SurveyJS
- Система “ОСА”
- Експерт
- Експертне оцінювання
- Анкета
- Роль, види та методи соціологічного опитування
- Методологія експертного опитування
- Види експертного опитування
- ПРОВЕДЕННЯ ЕКСПЕРТНИХ ОПИТУВАНЬ
- Методика проведення та оцінки результатів експертних оцінок (на прикладі впровадження системи моніторингу здоров’я населення на рівні первинної медико-санітарної допомоги)