Тест на профнепригодность. 21 вопрос социологов к опросу в ОРДЛО

Що сталося?

9 листопада видання Дзеркало тижня опублікувало результати соціологічного дослідження, яке, за даними журналістів, провела харківська агенція New Image Marketing Group на замовлення Українського інституту майбутнього (УІМ). "Вирішення питання Донбасу має будуватися на фактах і відповідальних розрахунках" - такою підводкою журналісти ДТ представили читачам свої інтерпретації результатів. Через два дні, 11 листопада, УІМ оприлюднив увесь звіт. За цей час з’явилися інтерв’ю з авторами дослідження, в яких вони пояснювали деталі щодо організації опитування та аналізу даних.

LIGA.net звернулась до соціолога, викладача Київської школи економіки, Тимофія Бріка з пропозицією написати колонку-рецензію на це дослідження. Брік, у співавторстві з соціологом Вікторією Алієвою і істориком Євгеном Монастирським, розібрали дослідження "по кістках". В них виникло 21 питання-зауваження. Матеріал вийшов за межі формату колонки. Ми вирішили його не скорочувати, і публікуємо повну версію у зручній для читача формі.

Що не так з оприлюдненими даними та звітом? Які саме нестикування є в інтерв’ю і публікаціях замовників та виконавців дослідження? І що можна врятувати? 

Важливі деталі

"Сміття на вході - сміття на виході" - один з принципів роботи з аналізом даних, який дуже добре відомий професійним соціологам. Жоден графік, діаграма чи таблиця не мають сенсу, якщо отримані дані не відповідають критеріям якості. Це непорушний консенсус, якого дотримуються всі професійні дослідники. 

Зазвичай, соціологи оцінюють якість даних через технічну інформацію, яка публікується в додатках чи повних звітах. У випадку з УІМ, звіт, у якому все одно відсутня дійсно важлива інформація, був опублікований через два дні. Чим глибше аналізувати текст в Дзеркалі тижня, блоги та інтерв’ю, а також сам звіт, тим більше питань та підозр до якості даних  виникає.

Ми виділили 21 суттєве зауваження до методології проведеного опитування. Сім з них стосуються вибірки, три - контролю відповідей, ще два - аналізу даних. А точніше - його відсутності. 

У своїх зауваження ми звернули увагу на:

- Систематичну неузгодженість між звітом, публікацією в Дзеркалі тижня, а також між інтерв’ю чи блогами дослідників (неузгодженості про доступність респондентів просто вражають).
- Прогалини та відсутню інформацію зі звітності.
- Професійну мову та поведінку (питання професійної етики та доброчесності є дуже важливі).

Спіраль мовчання

Автори дослідження систематично в блогах та інтерв’ю говорять, що вони використовували логічний контроль, щоб переконатись в достовірності отриманих даних. Таким чином вони відкидають критику соціологів щодо спіралі мовчання - коли респондент уникає відповіді на питання.

Проблема: Логічний контроль принципово не здатен подолати проблему спіралі мовчання. Концепція спіралі мовчання не стосується недбалості, хуліганства, прибрехування. Згідно з цією концепцією, люди або просто уникають відповіді і їх думки, відповідно, недооцінені в масиві даних, або респонденти розповідають фальсифіковану історію, яка, втім. логічно узгоджена. Для вирішення цієї проблеми застосовують інші методи. 

Коли дослідники застосовують методи, які принципово не можуть розв'язати проблему, таке дослідження є невалідним. Відсутність валідності суперечить професійним стандартам щодо якості соціологічної інформації.

Що можна робити в такій ситуації?

Для розв'язання цієї проблеми використовують принципово інші стратегії:

1. Найрадикальніше - не проводити дослідження взагалі. Адже вони втрачають сенс, якщо цю проблему не контролювати. Про це не раз писали в українській пресі.
2. Аналізувати поведінку, а не громадську думку. Наприклад, у своїй книзі "Усі брешуть, але інтернет знає твої думки" Стівенс-Давідовіц показав, що аналіз пошукових запитів в Google може дати кращу модель для передбачення рівня ксенофобії та, навіть, результатів виборів США. Це дуже специфічний спосіб, але сам підхід аналізувати дані поведінки чи певних подій, а не громадської думки, можна часто зустріти і в дослідженнях збройного конфлікту на Донбасі.
3. Відмовитись від методу особистого інтерв’ю, адже сама присутність інтерв’юера може впливати на відповіді. Компанія Інфосапієнс робила опитування на непідконтрольних територіях за допомогою телефонного опитування. Існує робоча гіпотеза, що цей метод дозволяє респондентам відчувати більшу анонімність та безпеку. Опитування ZOIS теж пішло шляхом телефонного опитування. В обох випадках їх результати відрізняються в більш проукраїнську сторону.
4. Використати спеціальні тести (а не контрольні питання "пастки") для оцінки рівня конформізму, щирості, чи надійності респондентів. Вибір конкретної методики залежить від особистих уподобань дослідника. Наприклад, команда київських соціологів розробила спеціальну шкалу для оцінки суб’єктивної надійності респондентів. 

Логічний контроль - суперечності у поясненнях авторів у ЗМІ

У своїх публічних виступах автори проекту Віктор Андрусів, виконавчий директор УІМ, і Олег Синаюк, засновник і директор компанії New Image Marketing Group, описали принципово різні методики логічного контролю.

Віктор Андрусів: "Ясно, що раптом, якщо людина каже - я не дивлюся російське телебачення, але я за Путіна, за Росію, - то понятно, шо вона дєто врьот. Або, там в інших питаннях. Тобто єсть логіка". 
Олег Синаюк: "Але був проведений логічний контроль масиву – питання з однаковим змістом, по-різному задані, стоять в різних кінцях анкети. Анкета досить велика, на 50 питань, стояли так звані "питання-пастки". Якби людина відповідала нечесно, це було б видно".

Це дві принципово різні методики. Одна передбачає узгодженість між різними питаннями. Інша - узгодженість між подібними питаннями, але в різних модифікаціях. У звіті та статті на ДТ інформація про це відсутня. Так само відсутня сама анкета чи приклади питань "пасток" в додатках. Публічні заяви суперечливі. Все це не відповідає стандартам професійної якості представлення соціологічних даних.

Що можна робити в такій ситуації?

1. Опублікувати анкету та дати чітке пояснення, які саме питання використовувались для логічного контролю.
2. Опублікувати скрипти (код) програмного забезпечення, за якими робився логічний контроль масиву даних.
3. Описати, скільки саме респондентів не пройшли цей логічний контроль.

Телефонний контроль - чи він був?

У своїх інтерв’ю Андрусів згадує про телефонний контроль. Але в звіті інформація про це відсутня. Більше того - відсутня інформація про результат контролю.

Так само не дуже зрозуміло, який був результат логічного контролю в масиві даних - що робили з тими респондентами (і скільки їх було), якщо вони не проходили питання "пастки"?

Зазвичай презентації та прес-релізи не містять такої детальної технічної інформації. Але додатки з технічною інформацією мали б все прояснити. Тим паче, що інформація про такий контроль була озвучена публічно - отже вона має існувати та бути десь зафіксована. Такі неточності між заявами та технічними документами, а також відсутність важливої технічної інформації в додатках є ознакою професійної недбалості.

Що можна робити в такій ситуації?

У звіті обов’язково повинні бути такі дані: 

1. Відсоток респондентів, проконтрольованих по телефону.
2. Результат контролю.
3. У частині щодо аналізу даних - виклад  стратегії, яка була застосована до неякісних відповідей (якщо такі були).

Логічний контроль - проблема з обґрунтуванням

Повернемося до тези Андрусіва про те, що контроль відбувався за певною логікою: "Ясно, що раптом, якщо людина каже - я не дивлюся російське телебачення, але я за Путіна, за Росію, - то понятно, шо вона дєто врьот. Або, там в інших питаннях. Тобто єсть логіка". 

Логічний контроль передбачає наявність певних чітких правил, які однаково діють для всіх респондентів. Натомість, автор дослідження пропонує свої власні нормативні припущення (гіпотези) про те, як респонденти мають відповідати. Цілком можливо, що людина має проросійські погляди і без того, щоб регулярно дивитись російські ЗМІ. Соціологічна література підказує, що політична мобілізація та переконання відбувається не тільки через ЗМІ, але і через особисті мережі - друзів чи родину, наприклад. Отож, чому автор вирішив, що це гарне правило? Відповіді на це у звіті немає. Виглядає, що "логіка контролю" - це просто суб’єктивна та ситуативна позиція автора, яка не була формалізована та оформлена у звіті. Критерії контролю незрозумілі. Це не відповідає стандартам роботи з соціологічними даними.

Що можна робити в такій ситуації?

1. Формалізувати та прописати правила логічного контролю.
2. Опублікувати скрипти з логічним контролем у тому софті, з яким працювали автори.
3. Опублікувати анкету та масив даних для прозорості та аудиту.

Вибірка - реальна похибка є більшою

Про це вже сказав в своєму інтерв’ю Володимир Паніотто, який очолює КМІС. Адже існує систематична похибка через щирість відповідей (про це вище) та систематичний зсув на етапі відбору (про це нижче). Наявність систематичних похибок впливає на валідність отриманих даних, що суттєво знижує якість соціологічної інформації.

Що можна робити в такій ситуації?

1. Систематичні похибки (чи зміщення) часто неможливо виміряти. Тим не менш, дослідники мають самі повідомляти в звіті обмеження власної методики, а не приховувати чи захищати їх.
2. Соціологічна література та накопичені звіти попередніх досліджень вже містять інформацію, які саме методи можуть зменшити систематичні похибки. Наприклад, телефонне опитування має більше переваг, ніж недоліків саме в плані валідності. 

Вибірка - статистичні дані та розрахунки

Варто сказати, що на вибірку відразу звернули увагу професійні соціологи, серед них і Марія Золкіна з ФДІ, й Інна Волосевич, яка очолює Інфосапієнс, й Ілля Кононов, очільник кафедри соціології Луганського національного університету імені Тараса Шевченка. Вони поставили під сумнів і наведену теоретичну похибку, і наявність статистичних даних для дизайну вибірки. 

В ефірі "Донбас.Реалії" Олег Синаюк заявив, що вони знають про обмеження статистичних даних, але доклали максимальних зусиль для побудови репрезентативної вибірки. Тим не менш, в звіті відсутні як посилання на статистичні дані, так і інформація щодо очікуваного розподілу по соц-дем групам в генеральній сукупності.

Ми можемо лише припустити, що автори дослідження взяли останні демографічні оцінки за 2014 рік та відняти наявні дані щодо зареєстрованих ВПЛ.

1.Автори уникають обговорення неповноти даних щодо ВПО. Що вони робили з тими, хто поїхав за межі України - чи вони використовували дані статистичних органів Російської Федерації?
2. Як вони враховували той факт, що частина ВПО не реєструються? Чи вони використовували якісь оцінки на основі опитувань ВПО?

Відсутність посилань та порівняльних таблиць (очікуваний розподіл в генеральній сукупності та розподіл у вибірці) не відповідає нормам публікації даних.

Що можна робити в такій ситуації?

У звіті повинна надаватися така інформація.

1. Посилання  на всі статистичні дані та джерела.
2. Детальне обговорення даних щодо ВПО та їхні всі можливі обмеження.
3. Порівняльні таблиці з очікуваним та реальним розподілом по соц-дем групах.
4. Опис статистичних процедур для врахування зміщень у вибірці (наприклад, так зване, зваження - спеціальна процедура, яку часто використовують демографи та соціологи).

Вибірка - суперечності з розрахунками

Соціолог Волосевич, яка очолює Інфосапієнс, перша звернула увагу на деякі аномалії та суперечності в звіті. За її словами, структура вибірки в так званих ДНР та ЛНР відповідає довоєнним даним Держстату. Відповідно постає питання - так в чому тоді полягає коригування на ВПО? В звіті відсутній детальний опис методології щодо розрахунків, а публічні заяви викликають сумнів - це є ознакою професійної недбалості.

Що можна робити в такій ситуації?

Дивися карточку Вибірка - статистичні дані та розрахунки

Вибірка - відсутні обговорення щодо квот

В ефірі "Донбас.Реалії" Синаюк заявив, що для квот вони принципово не використовували дані щодо освіти. У той самий час, ZOIS такі дані використовували. Обидва варіанти мають право на існування. Але у звіті ZOIS вибір був обґрунтований тим, що вони робили одночасні дослідження і на підконтрольній території. Крім того, вони вже робили дослідження за цією методикою у 2016 році. Тому вони хотіли мати подібні вибірки на обох територіях і в 2016, і в 2019. Якщо звіт ZOIS містить обгрунтування, то звіт УІМ - ні. Тільки констатацію своєї методики без "зайвих" деталей. Відсутність обґрунтувань не відповідає професійним стандартам з написання звітів.

Що можна робити в такій ситуації?

1. У звіті варто було не просто давати констатації обраних методів чи шляхів збору інформації, але і обґрунтувати їх в розділі щодо методології.

Вибірка - відсутні обговорення щодо розміру вибірки

Також хотілося б запитати: а звідки взялась мета набрати квотну вибірку саме в 1606 респондентів? Чому не 600, 800, 1200 чи 5000 - без обґрунтований можна назвати будь-яку цифру. 

- Можливо, автори дослідження вийшли на цифру 1606, бо хотіли мати певну наповненість якихось груп (і чи вони цього досягли)?
- Чи вони хотіли вийти на певний рівень похибки, який би їх задовольнив (все одно марно - дивіться коментар Паніотто вище).
- Чи просто обмежились якимось попередніми шаблонами або бюджетом?

Це все потрібно пояснити. Врешті-решт, способів робити вибірки є багато. Відсутність обґрунтувань не відповідає професійним стандартам з написання звітів.

Що можна робити в такій ситуації?

У звіті не просто давати констатації щодо отриманої вибірки, але і обґрунтувати її в розділі щодо методології.

Вибірка - відсутні обговорення щодо ризиків відбору

Вибірки можуть бути випадкові та невипадкові. В перших всі респонденти з генеральної сукупності мають однаковий шанс потрапити у вибірку. В других респонденти потрапляють за певним правилом відбору (наприклад, людина, яка відповідає квоті,  за визначенням має більші шанси потрапити у вибірку).

Але в обох випадках суттєвою є проблема відбору "зручних" респондентів, які більш схильні йти на зустріч. У літературі зі статистики цю проблему називають selection bias — похибка (або упередження чи зміщення) ще на етапі відбору. Можливо, є люди, які з самого початку схильні надавати відповіді, вони більш схильні довіряти іншим чи відкривати двері. Або інший варіант: можливо, під час проведення інтерв’ю пенсіонери чи безробітні були ймовірніше вдома, у той час, як молодші та активніші були на роботах. 

Процитуємо статтю на ДТ: "45% опитаних — не працюють. Через вік і безробіття". Дійсно, можна сміливо припустити, що такий великий відсоток це просто тавтологія. Доступні люди, які сиділи вдома, мали більшу ймовірність опинитись в фінальному масиві даних. Не факт, що ця цифра щось говорить про реальне безробіття. 

У своєму інтерв’ю Олег Синаюк сказав: "Коли інтерв'юер заходив до квартири або в будинок, дивилися на предмет того, наскільки людина адекватна. Якщо суб'єктивно інтерв'юер відчував, що люди могли після цього викликати міліцію, кудись зателефонувати, він йшов далі". 

Тобто, інтерв’юери дуже ретельно відбирали до кого вони можуть зайти, шукали контакт, спілкувались лише з безпечними та адекватними людьми, відкидаючи інші варіанти (що зрозуміло). Відповідно вони не просто йшли за квотами, а за визначеннями наповнювали квоти такими людьми, які систематично (невипадково) відрізняються від тих, які до інтерв’ю не запрошувались.

А отже, й імовірність пройти всі пастки та телефонний контроль також зростала. Увесь цей процес — це  пряме визначення selection bias. Замовчування таких деталей (або нерозуміння цієї проблеми) — дуже безвідповідально для соціологів і є порушенням професійного стандарту. 

Що можна робити в такій ситуації?

1. Систематичні похибки складно вимірюються. Уникати їх можна, якщо обирати інші методи опитування, які менш уражені від цих недоліків - те саме телефонне опитування чи стратифіковані вибірки з випадковим відбором на останньому етапі.
2. Вплив систематичної похибки можна скоригувати під час аналізу, якщо були зібрані дані про тих людей, які відмовили (де, як, за яких умов). Якщо такі самі дані були зібрані про опитаних, можна застосувати спеціальні статистичні тести для перевірки різниці між ними. У звіті варто вказати, чи були зібрані такі дані.
3. В звіті та публікаціях варто обговорювати обмеження, а не приховувати їх.

Вибірка - хибні твердження

В ефірі "Донбасс.Реалії" Синаюк заявив, що питання суб’єктивного відбору в його випадку не таке суттєве через саме квотну, а не випадкову вибірку: "У нас выборка была не случайная, была квотная. Поэтому то, что была субъективность при отборе респондентов в общем это сглаживается в этом случае".

Але це принципово невірне твердження. Випадкова вибірка як раз і передбачає, що перед інтерв’юером опиниться випадкова людина-респондент. Бідна чи багата, стара чи молода, чоловік чи жінка, ввічлива чи не дуже, подібна чи дуже інша - будь-яка людина. І інтерв’юер має з нею говорити. 

А ось у квотній вибірці респондент має завдання заповнити "квоту", наприклад чоловіка певного віку. І інтерв’юер може самостійно вирішити, якого чоловіка опитає, а якого ні. Інтерв’юер може вирішити, що якийсь чоловік йому не підходить і він буде шукати іншого "зручного" кандидата.

Застосування методу, який принципово не відповідає на поставлені дослідницькі задачі - ознака невалідності дослідження. Що ставить під сумнів якість даних.

Що можна робити в такій ситуації?

Для збільшення шансів, що кожен респондент потрапить у вибірку випадково і це не буде залежати від інтуїтивного відчуття інтерв’юера, соціологи або використовують телефонні опитування (де номери генеруються випадково), або застосовують випадковий відбір на останньому етапі в своїх стратифікованих вибірках.

Особисті опитування - не всі переваги та недоліки були обговорені

Андрусів озвучив, що телефонним інтерв’ю не варто довіряти, оскільки ви не знаєте, з ким говорите (тобто є можливість фальсифікації). 

- У той самий час в даному випадку ми все одно не можемо дізнатись, хто і з ким говорив - процедура особистих опитувань тримається в секретності через питання безпеки.

- Крім того,  контроль, про який казав Віктор Андрусів, все одно здійснювався по телефону - тобто проблема "не знаєте, з ким говорите" залишається.

- Отже, переваги особистого інтерв’ю над телефонним по суті немає.

Застосування методу, який принципово не відповідає на поставлені дослідницькі задачі, - ознака невалідності дослідження. Це ставить під сумнів якість даних.

Що можна робити в такій ситуації?

1. Дослідникам варто було звернутись до інших більш валідних способів збору даних.
2. Якщо вже прийняли рішення робити особисті опитування, то у звіті варто відобразити, який відсоток був проконтрольований і які були результати контролю.
3. Надати анкети та маршрутні листи для аудиту.
4. У звіті необхідно відобразити обмеження власного методу, а не приховувати їх.

Неспівпадіння між звітом та публікацією - дані для регіонів

У публікації на Дзеркалі Тижня дані для всіх питань подаються спільно для так званих ДНР та ЛНР. Але у звіті дані подаються окремо. 

У деяких випадках інформація має дуже серйозну вагу! Так у Таблиці 2.2 звіту показано, що існує статистично значимі відмінності у відповідях щодо громадянства. Набагато більше респондентів так званої ДНР вважають себе громадянами України. Ця варіація між регіонами не була зазначена у медіа публікації, що може суттєво вплинути на невірне бачення читачами ситуації на опитаних територіях. 

Така робота навмання, коли в одних документах статистично значимі результати приховуються, а в інших ні, - ознака професійної недбалості чи недоброчесності.

Що можна робити в такій ситуації?

1. Чітко вказувати де є, і де немає статистично значущих результатів.
2. Медійні статті не можуть базуватись на хибному представленні отриманих даних.

Статистичний аналіз - відсутні стандарти публікації (порівняння незалежних вибірок)

Публікація таблиць у звіті не відповідає прийнятим стандартам щодо презентації статистичної значущості. Автори показують, що в окремих випадках між двома незалежними вибірками є різниця в пропорціях. Але не наводять інформацію про статистичний тест чи рівень значущості (та сама Таблиця 2.2 у звіті й інші подібні двовимірні таблиці). Це ознака професійної недбалості. Публікація статистичного аналізу без тесту чи значущості не відповідає професійним стандартам.

Що можна робити в такій ситуації?

У кожній таблиці, де є порівняння пропорцій, завжди вказувати, який тест було застосовано, та рівень статистичної значущості.

Статистичний аналіз - відсутні стандарти публікації (кореляції)

Андрусів написав: "Наше опитування чітко показує кореляцію відповідей людей з переглядом і частотою переглядів російських каналів".

Ані в статті на ДТ, ані у звіті згадки про коефіцієнтів кореляції немає. Також відсутні будь-які візуалізації (наприклад, графіки точок розсіювання чи кореляційні матриці), які могли б сказати щось про кореляції. 

У бесіді з Юрієм Романенко, Андрусів часто використовував  слово "кореляція". Наприклад, він окремо описував розподіли щодо лояльності до України (він називав цифри 15%) і розподіли щодо бажання ("про це думають") виїхати в Україну (називав цифри 20%). До цього він також говорив про відсотки людей, які дивляться українські ЗМІ. Цю візуальну подібність пропорцій в різних розподілах він назвав кореляцією, яка "прослідковується на різних рівнях". Що суперечить базовим правилам статистичного аналізу. Кореляція не може бути визначена з інтуїтивного погляду на різні розподіли. Коефіцієнт кореляції розраховується зовсім іншим способом. Автор дослідження відверто демонструє своє незнання базового статистичного аналізу рівня 1-3 курсу студентів соціальних наук.

Це ознака професійної недбалості. Публікація статистичного аналізу без тесту чи значущості не відповідає професійним стандартам.

Що можна робити в такій ситуації?

1. Кожна заява про наявність кореляції має бути підкріплена відповідним статистичним тестом.
2. В звіті мають бути описані коефіцієнти кореляції, сила зв’язку та статистична значимість результатів.

Доступність респондентів - серйозні розбіжності

В інтерв’ю УП, Синаюк сказав: "Відсоток відмови у нас 22,1%. Я очікував більшого. Можливо, добре легенда спрацювала". Тобто він каже, що відмовили відповідати лише 22% людей! Він повторив це в інтерв’ю "Донбас.Реалії" (ефір від 11 листопада 2019 року). Коли ведучий радіо запитав, що "кожна п’ята людина відмовлялась відповідати на опитування", то Синаюк не заперечив це і сказав "Да". Після чого почав шукати можливі пояснення, чому вдалось досягнути такий високий рівень відповідей. Наприклад, через те, що безробітні люди були схильні до розмови з інтерв’юерами. А також сказав, що на підконтрольних територіях, "с этим сложнее".

Але звіт містить прямо протилежну інформацію: у звіті вказано, що 22% людей, навпаки, були опитані!

Насправді, в 38% випадків дістатись до респондента просто не було можливості, а в 34% випадків респонденти відмовляли у відповідях. І тут ми повертаємось до питання і selection bias, і спіралі мовчання. Хто і чому відмовляє у відповідях і яку інформацію ми недоотримали? Це запитання, на яке ні у кого немає відповіді, — і автори звіту мали перші про це написати.

Звісно,"промах"  Синаюка, який всього-на-всього двічі (!) переплутав відсоток успішних і неуспішних інтерв’ю, вражає. Це ознака професійної недбалості.

Що можна робити в такій ситуації?

Професіонал не плутає і не вигадує легенди щодо важливих показників своєї вибірки. Якщо підводить пам’ять, варто брати з собою роздруківки, допоміжні матеріали, смартфон.

Інформація про інші дослідження - розбіжності

В ефірі "Донбасс.Реалії" Синаюк заявив, що йому відомо, що дані його опитування зійшлись з даними опитувань інших організацій. Вище ми вже навели результати ZOIS, які проводили опитування в 2016 та 2019 роках на непідконтрольних територіях, і їхні результати протилежні. Також Волосевич, яка керує Інфосапієнс, стверджує, що дані її опитувань відрізняються від опитувань Синаюка.

Також Андрусів писав в своєму блозі: "Ні, ми не перші замовили соціологію на окупованих територіях. Але ми перші вирішили її опублікувати". І знову - такі дослідження публікувала ZOIS.

Викривлена подача інформації про контекст дослідження - це ознака професійної недоброчесності.

Що можна робити в такій ситуації?

Мовчати

Інформація про протест - розбіжності

В інтерв’ю Віктор Андрусів сказав, що вони проводили довгий етап тестування інструментарію. Вони підбирали легенду, формулювання питань, порядок варіантів відповіді. У якийсь момент, за словами Андрусіва, вони "вже реально побачили, що історія іде… після того було прийнято рішення все запустити". 

Тобто відбувся справжній претест. Це дуже серйозний етап дослідження, який має бути відображений у звіті у розділі методології. Але така інформація - відсутня. Це суперечить стандартам публікації соціологічних даних.

Що можна робити в такій ситуації?

1. Вказати кількість людей, що брала участь в претесті.
2. Вказати тривалість претесту.
3. Описати  результати претесту.

Аномальні відповіді

Зверніть увагу, що у звіті дуже мало відповідей "важко сказати" чи "відмова від відповідей". Іноді таких варіантів зовсім немає, іноді їх менше відсотка на запитання. Це дуже аномальний показник. У більшості опитувань відмова чи "важко сказати" є нормальною реакцією. Звідки такі аномальні відповіді? 

- Чи люди видавали якусь фальшовану історію в дусі "спіралі мовчання"?
- Чи інтерв’юери наполягали, щоб люди давали хоч якусь відповідь?
- Чи це наслідок тієї самої selection bias, коли люди вже погодились відповідати, тому будуть відповідати завжди? 

У будь-якому випадку це джерело дуже серйозного занепокоєння і ознака, що дані не відповідають стандартам якості.

Що можна робити в такій ситуації?

Як ми зазначали вище, варто використовувати методи, які зменшують ризик "спіралі мовчання" та похибки на рівні відбору. Питання "пастки" принципово не працюють в цій ситуації.

Виконавці

Сумніви щодо якості дослідження також викликані репутацією компанії, що заявлена виконавцем збору даних в ОРДЛО. New Image Marketing Group за останні 11 років декілька разів була помічена у проведенні неякісних та не фахових досліджень під вибори. Цю фірму звинувачували у повному фальшуванні даних (Володимир Паніотто: "Вони не змогли показати анкети. Виявилося, що компанія взагалі не проводила цього дослідження, просто написали такі відсотки").

Автори дослідження в своїх інтерв’ю наполягають, що компанія врахувала колишні помилки та зараз має гарну репутацію.

Тим не менш, ми вже звернули увагу вище, що директор фірми двічі помилився щодо відсотків досяжності. Ми також звернули увагу, що запропонований метод відбору є менш валідним, ніж альтернативи. Якість фінального звіту надзвичайно низька. Нам дуже складно уявити рівень кваліфікації соціологів, які наводять таблиці без статистичного тесту і рівня значущості. Це порушення (або незнання) базових професійних стандартів. 

Що можна робити в такій ситуації?

1. Не працювати з непрофесійними підрядниками.
2. Якщо головний фах підрядників - це тільки польовий етап, то варто дуже чітко в звіті написати, яка організація відповідає за кожен етап дослідження.
3. Не захищати очевидні порушення професійних стандартів.

Професійна мова

У своїх текстах та виступах автори дослідження систематично демонструють незнання соціологічної термінології чи кухні.  При цьому автори дослідження систематично підкреслюють свою фаховість, іронізують про "фб-соціологів" та стверджують, що їх дослідження готувались з дискусіями та перевірками в колі професіоналів. Проте дизорієнтація в професійній мові й незнання досліджень на аналогічну проблематику ставить під сумнів їхню зануреність в професійну соціологію.

Наприклад, Андрусів часто підкреслює об’єктивність своїх даних. "Сукупність цього всього дає нам підстави бути повністю впевненими в тому, що отримані дані об’єктивні".

Але соціологи не використовують слово "об’єктивність" у такому сенсі. Насправді, автор говорить щось про якість даних. У професійному словнику соціолога є багато термінів, які ми використовуємо, коли говоримо про якість. У різних ситуаціях прийнято говорити про надійність, достовірність, валідність, але ніколи (!) про об’єктивність. Питання об’єктивності — це інша тема і предмет дисциплінарних дебатів у філософії науки. 

Також пан Андрусів показав, що він зовсім не знає соціологічної кухні, коли почав систематично називати результати опитування "соціологією". Насправді, це дурний тон  і корпоративний жарт. Соціологи дуже не люблять (і дуже часто жартують над тими, хто так робить), коли говорять "соціологія показала", "оприлюднили соціологію" чи "наша соціологія". Уявляєте хіміка, який працює в лабораторії, і каже: "Моя хімія показала?". Чи фізика, який би робив розрахунки і сказав: "Моя фізика дуже якісна". От і жоден соціолог так би не сказав.

Професійна поведінка

Андрусів написав: "Суть цієї соціології не в тому, наскільки професійно вона зроблена". 

Нехтування професійними стандартами -  ознака професійної недбалості. Така поведінка не відповідає професійній етиці та неприпустима в колі соціологів.

Так само вище ми написали, що фірма-підрядник систематично демонструє ознаки професійної недбалості. Звіт та публічні виступи не відповідають професійним стандартам.

Що можна робити в такій ситуації?

Не пропагувати очевидні порушення професійних стандартів.

Фінальні поради

Якщо робота дійсно була зроблена (а не як у випадку з дослідженням щодо Королевської) і масив з даними є, то ситуацію можна легко виправити. Більшість наших претензій чи коментарів стосувались того, що окремі обмеження не були вказані чи якась інформація відсутня. Відповідно, автори могли б просто дописати чи відредагувати свій звіт та закрити хоча б половину відкритих питань.

Але найкращим способом для авторів досягнути мети - надати суспільству важливий інструмент ("діагноз") для розуміння ситуації на Сході України - відкрити масив з даними для публічного аналізу (для всіх, а не тільки тих, хто звертається напряму - як прес-реліз чи звіт). Скептики переконаються, що з даними можна працювати, аналітики та політики зможуть детально зробити потрібний для них аналіз і виробити рекомендації. Ну, а колективний розум соціологів може допомогти з аналізом надійності відповідей. 

Викладати масиви відповідає нормам міжнародної академічної та прикладної соціології. Прикладів є багато - і банк даних українських соціологів, і дослідження VoxUkraine, і міжнародні проекти такі як European Social Survey.

Що можна зробити краще в майбутньому? Поради дуже прості

1. На етапі дизайну дослідження, наперед краще продумати ризик "спіралі мовчання". Мова йде не про фільтри та пастки, а про справжні тести на надійність респондента чи конформізм. Можливо, варто замислитись про інші методи збору інформації. Ці інструменти вже існують, варто просто ними скористатись.

2. Бути більш відкритими щодо обмежень та одразу звітувати (а) описові статистики, (б) аномалії, (в) можливі похибки на етапі відбору (selection bias).

3. Наперед думати про аналіз якості відповідей — мати більше різних типів шкал (не тільки категоріальні чи порядкові, але і номінальні). Мати більше тестів та шкал для інтегральних індексів.

4. Аналізувати дані по-справжньому (шукати залежності між змінними), а не просто демонструвати окремі графіки. Слова про кореляції чи зв’язок варто відразу підтримувати коефіцієнтами чи візуалізаціями. Можна робити прості кореляції чи регресійне моделювання. В Україні є багато прикладів зрозумілих, простих та красивих візуалізацій з моделями. 

5. Бути відкритим до колаборації. Мова йде про дуже складні та важливі питання. Професійні соціологи часто відкрито працюють над інструментарієм, питають поради, запрошують до співпраці рецензентів. Власне, в цьому і полягає робота академічних соціологів — бути на зв’язку, щоб дати пораду. Тому не варто соромитись звертатись до них. 

6. Запросити на роботу стажера чи молодшого аналітика. Студенти рівня бакалавру, наприклад, вже володіють навичками кореляційного аналізу. У Києві є достатньо університетів. Наприклад, в КНУ Шевченка є ціла кафедра методології та методів соціологічних досліджень, яка готує фахових соціологів та соціологинь.

Наостанок

Ми вітаємо спроби дослідити складні питання і підтримуємо заклик робити державні політики та розвиток громад на основі даних. Але принципово не погоджуємось з нехтуваннями (на діях і на словах) професійними стандартами, які можуть дискредитувати як соціологію, так і весь підхід аналітичного мислення в політиці.

21 зауваження показує, що це дослідження можна було виконати та презентувати зовсім інакше. Існують як мінімум 21 альтернативні сценарії, яким могли піти дослідники. Відповідно, заяви про те, що це дослідження презентує якусь непорушну об’єктивну реальність, яку мають прийняти читачі, - вульгарне перебільшення.

Наші зауваги не стосуються емоційного сприйняття результатів чи можливих розбіжностей в політичних поглядах - вони вказують, що на сьогоднішній день результати дослідження, які були представлені публічно, не відповідають стандартам якості. Отже на сьогодні приймати рішення на основі цих даних не має сенсу.

Автори:

Вікторія Алієва, соціолог з медіа та культури (MPhil University of Cambridge, Великобританія), стипендіатка WWS, Cambridge University Trust, Temerty Foundation; Тимофій Брік, викладач Київської школи економіки, редактор VoxUkraine та голова наглядової ради CEDOS, лауреат премії імені Н. Паніної "Найкращий молодий соціолог 2018"; Євгеній Монастирський, історик, навчався в Українському католицькому університеті та Yale University (Graduate School of Arts and Sciences), з 2015 року допомагає з соціологічними дослідженнями в Українському католицькому університеті та співпрацює з іншими соціологічними центрами розробляючи кабінетні дослідження. Спеціалізується на історії Донбасу та радянської України 1920-30-х, соціальній теорії взаємодії особи з державними інститутами та масовій свідомості; лауреат першої премії імені Ковальських у галузі українознавства 2015.