Тест на дискредитацию: ответ авторов нашумевшего соцопроса в ОРДЛО на критическую рецензию

16 листопада 2019 року LIGA.net опублікувало рецензію на соціологічне дослідження, яке провела харківська агенція New Image Marketing Group на замовлення Українського інституту майбутнього (УІМ), -  "Тест на профнепридатність: 21 питання соціологів до опитування в ОРДЛО". У авторів матеріалу - соціолога, викладача Київської школи економіки, Тимофія Бріка, соціолога Вікторії Алієвої та історика Євгена Монастирського - виникло 21 зауваження щодо методології проведення цього опитування та компетентності виконавців. Одразу після публікації, до LIGA.net звернулися представники УІМ з проханням опублікувати відповідь на критику соціологів. Нижче - реакція авторів проєкту - Віктора Андрусіва, кандидата політичних наук, виконавчого директора УІМ, та Наталі Ніколайчук, соціолога, представника компанії Нью імідж маркетинг груп.

Публікація в Дзеркало Тижня результатів опитування в ОРДЛО, проведеного на замовлення Українського інституту майбутнього компанією Нью імідж маркетинг груп, викликала серйозний суспільний резонанс. Суспільство немов перетворилось на одну велику фокус-групу щодо оцінки отриманих результатів. Після тижня бурхливого обговорення можна виділити три табори суспільної дискусії:

1. Ті, для кого результати є зрозумілими і логічними.
2. Ті, для кого результати є ідеологічно неприйнятними.
3. Професійна спільнота, яка обговорює можливість проведення там опитування і водночас належить до одного з двох вищезгаданих таборів.

Кожен табір по-своєму емоційно обговорював ці результати. І на закиди та зауваження кожної сторони ми намагались максимально відкрито відповідати. Здебільшого дискусія зводилась до готовності вірити в результати опитування або ні. Втім, дискусія професійної спільноти стосувалась виключно питання: чи можна вірити в можливість проведення опитування на окупованих територіях та чи достатня компетентність у виконавців? Для цілей даної статті ми зупинимося саме на професійній дискусії.

Ми розуміли, що стикнемося зі шквалом критики, коли опублікуємо результати опитування. Тому від самого початку готувались бути максимально відкритими, а також мати достатньо аргументів, щоб сформувати довіру до проведеного опитування. Саме тому ми відповідали на всі питання, з якими до нас звертались, а також публічно заявили, що віддамо на вивчення масив даних. Власне це і було зроблено: ми передаємо його Соціологічній асоціації України для вивчення, а також декільком приватним компаніям. Ми також активно відповідали в коментарях до наших постів і на запити журналістів.

На фоні цієї відкритості публікація "Тест на профнепридатність: 21 питання соціологів до опитування в ОРДЛО" викликала у нас глибоку стурбованість. Річ у тому, що поява цієї статті на будь-якому іншому невідомому ресурсі, взагалі б не привернула нашої уваги. Однак, враховуючи, що видання LIGA.net відоме своїми високими стандартами об’єктивності, ми не можемо не відреагувати.

Після першого прочитання даної публікації у нас виникли серйозні сумніви в тому, що автори мають практичний досвід проведення опитувань в Україні. Пошук в інтернеті давав нам тільки академічні публікації авторів, і це ще посилювало наш сумнів у наявності в них релевантного досвіду. Однак, слідуючи стандартам об’єктивного дослідження, ми вирішили запитати напряму в одного з авторів публікації - Тимофія Бріка. Пан Брік заявив, що "питання про досвід проведення опитування на понад 1000 анкет для нього "не валідне", однак формально: відповідь так. Хоча ніяких доказів проведених опитувань автор не надав, і таку інформацію важко знайти в інтернеті, втім, ми вирішили вважати пана Бріка достатньо досвідченим для коментування нашого опитування. З іншого боку, наявність серед авторів публікації про наше опитування професійного історика, викликає серйозні сумніви в компетентному аналізі, але ми ще до цього повернемося.

Перед тим, як ми дамо відповідь на звинувачення проти нашого дослідження, хочемо торкнутись базових речей, які визначають, чи можна довіряти і вважати об’єктивним опубліковану статтю "тест на профнепридатність".

Теза №1. "Сміття на вході – сміття на виході"

Ця відома теза в своїй глибинній суті означає необхідність роботи саме з першоджерелами. Як ми вже зазначали, ми були дуже відкриті до всіх, хто хотів переконатись у валідності нашого дослідження. Для того, щоб написати таку розгорнуту критику, до якої вдались автори, вони як мінімум могли попросити і отримали б масив даних та анкету. Однак, як повідомив нам пан Брік, жодної потреби в роботі з масивом даних у нього не було. Ми також науковці і нам важко уявити, як може претендувати на об’єктивну публікація, автори якої відмовились працювати з першоджерелами.

Ще більше нас обурив той факт, що хоча ми відповідали на будь-які питання публічно, автори даної статті принципово вирішили не звертатись до нас за коментарями. Замість того, щоб отримати прямі відповіді на прямі питання – автори публікації вирішили користуватись уривками наших коментарів різним медіа, очевидно розуміючи, що кожна наша відповідь залежала від контексту ведучого, медіа тощо. Такі коментарі не можуть вважатись першоджерелом, в умовах коли можна отримати коментар від тих, про кого пишеш. Взяти коментар в іншої сторони – це одне з базових правил об’єктивної журналістики. Чому відсутність наших коментарів в даному матеріалі не викликала питань в редакції LIGA.net, залишимо на їхній розсуд.

Теза №2. У статті зазначено, що саме видання звернулось до авторів з проханням написати колонку-рецензію на наше опитування.

Це ж нам підтвердив і головний редактор Борис Давиденко в телефонній розмові, що мова йшла саме про рецензію. Чому були обрані саме дані автори, редактор нам пояснив, що знайомий з ними з попередньої своєї роботи і вважає їх компетентними. Правила написання рецензій передбачають не тільки критичні зауваження, а й позитивні. Наявність і позитивних, і негативних зауважень є обов’язковою умовою того, що автор рецензії не тільки намагався знайти негатив, а й позитив, що підтверджує його об’єктивний і неупереджений підхід. Натомість маємо аж 21 зауваження, окремі з яких виходять за межі культури критики, і жодного позитивного. За таких обставин, даний матеріал неможливо вважати об’єктивною критикою, а скоріше спланованою і продуманою спробою дискредитації.

Теза №3. Для написання критичного об’єктивного матеріалу автори мають бути неупередженими і незаангажованими.

Це означає, що у них немає емоційної прив’язки і нічого особистого до теми, про яку вони пишуть. За таких обставин, дослідження може претендувати на  довіру. Ми вже згадували вище, що наше здивування викликала наявність серед авторів професійного історика. Пан Євген Монастирський особливо агресивно реагував на наше дослідження в соціальних мережах, що іноді змушувало навіть відповідати суворо. Ми вирішили більш детально зрозуміти, чому в історика за фахом, такий надмірний інтерес до дискредитації нашого опитування. Відповідь можна знайти в інтерв’ю самого Євгена. З цього інтерв’ю можна дізнатись, що пан Монастирський пережив складний травматичний досвід під час окупації Луганська. Ми, як патріоти, шануємо мужність і допомогу виявлену Євгеном під час військових дій. Однак, на нашу думку, це не може дозволити йому об’єктивно оцінювати все, що пов’язано з окупацією рідного дому.

Є ще один аргумент, який підтверджує заангажованість публікації, і пана Євгена як одного з авторів. У публікації автори посилаються на опитування Zois, яке було проведено телефонним опитуванням і не може вважатися валідним, про що ми розповімо нижче. Однак, очевидно, що автори посилаються на це дослідження саме з огляду на те, що отримані дані показують більшу частку прихильників України на окупованих територіях, ніж наше проведене face to face. Це ще один аргумент, чому написана рецензія перетворилась на відверту дискредитацію.

Зрештою, в назві статті написано "тест на профнепридатність", тоді як відомо, що існують тести на профпридатність. Таким чином, вже із самої назви випливає намір авторів не об’єктивно розібратись з ситуацією, а саме дискредитувати наше опитування будь-якими доступними способами.

З метою економії часу і зусиль читачів ми не бачимо доцільності відповідати на кожну з 21 маніпуляції. Наприклад, дуже часто автори наголошують на розбіжності в коментарях і опублікованих документах. Зрозуміло, що такого питання не виникло б, якби автори напряму запитали в дослідників, і не користувались методом виривання з контексту. Або, наприклад, автори публікації звинувачують Віктора Андрусіва у тому, що він невірно вживає слово кореляція. Насправді, пан Андрусів є кандидатом політичних наук, а не соціологом, і вживає це слово у його класичному значенні – взаємозв’язок. Подібні маніпуляції не можна вважати зауваженнями, і вони не потребують відповідей.

Ми виділили шість ключових тез, на яких побудовані 21 зауваження до нашого дослідження. Саме на них ми і дамо відповіді.

1. Опитування методом телефонного інтерв’ю – переваги та недоліки.

Однією з головних тез, яку можна побачити протягом усієї статі, є перевага використання телефонного опитування мешканців тимчасово непідконтрольних територій Донецької та Луганської областей над опитуванням  face-to-face. Більшості соціологів-практиків відомо, що дослідження, проведені методом телефонного інтерв’ю – дешеві, оперативні та дають змогу контролювати роботу інтерв’юерів практично на 100%. Це основні переваги даного методу проведення досліджень. Щодо недоліків, а вони є, варто зазначити наступне:

• Обмеження за кількістю та рівнем складності питань – дуже складно за допомогою телефонного опитування збирати відповіді щодо питань з достатньою кількістю альтернатив, які не мають на меті отримати прости відповіді – так чи ні;
• Проводячи опитування по телефону дуже важко зрозуміти, наскільки респондент розуміє суть питання та зміст запропонованих альтернатив;
• Телефонні опитування не дають змоги оцінити щирість відповідей респондента, також як і не дають змоги мінімізувати ефект від "спіралі замовчування". Хоча автори статті практично суперечать самі собі: "концепція спіралі мовчання стверджує, що людина з меншою ймовірністю висловить свою думку на ту чи іншу тему, якщо відчуває, що знаходиться в меншості, оскільки боїться відплати або ізоляції". Тобто, якщо навіть ця концепція і проявлялася, саме її формулювання може навести на думку, що кількість проукраїнські налаштованих мешканців дійсно менша, ніж жителів з іншими настроями, і вони це відчувають у своєму оточенні. І дуже суперечливим є той факт, що приємна жінка, яка стоїть перед тобою, викликає менше довіри, ніж знеособлений оператор, який знаходиться по інший бік слухавки. 

Ба більше, автори рекомендують і вважають правильним проводити опитування face to face інтерв’ю на підконтрольній території, хоча концепція спіралі мовчання може мати ще більший ефект на цій території, з огляду на те, що справжні свої погляди люди демонструють на виборах у вигляді масової підтримки партії ОПЗЖ, яка має проросійський політичний курс. 

• Відсутність можливості надання візуальної інформації;
• Низький рівень показника досяжності – ті, хто реально проводять телефонні опитування стикаються з проблемою, що відгук складає не більше 10% у кращому випадку.

Нижчий рівень репрезентативності, особливо для невеликих та маленьких населених пунктів – цей недолік має більш виражений характер саме в ОРДЛО, тому що генеральну сукупність неможливо визначити, не маючи чітких даних щодо використання мобільного зв’язку (чи інших видів телефонного зв’язку). Також постає питання – чи проводили виконавці телефонних опитувань оцінку рівня телефонізації та операторів респондентів, їхню частку у загальному масиві. Можна припустити, що профіль респондента в залежності від його користування тим чи іншим оператором буде відрізнятися та впливати на інші відповіді. 

2. Не відповідність опублікованого звіту стандартам. 

Соціологічна компанія надає результати опитування, тоді як структуру звіту, і що саме має бути опубліковано, визначає замовник. Оскільки інтересом Українського інституту майбутнього було інформувати широкі маси про отримані дані, питання методології, за винятком необхідної інформації, не входили в цей перелік. Водночас, наголошуємо, що автори дослідження могли отримати максимум інформації щодо методів проведення дослідження на запит. 

Звертаємо увагу також на те, що навіть відомі соціологічні компанії часто потрапляють в незручну ситуацію, коли замовник публікує дані тоді і у форматі якому забажає. Зокрема, свого часу Віктор Медведчук зманіпулював даними щодо мови отриманими в результаті замовлення КМІС. Компанія Нью імідж маркетинг також опинилась у подібній ситуації, за що понесла серйозні репутаційні втрати і зробила висновки на майбутнє. 

3. Відсутність більш детальної інформації щодо побудови вибіркової сукупності. 

У процесі написанні звіту на меті не стояло написання наукової праці, яка претендує на докторську дисертацію, тому частина академічної інформації не була включена до звіту. Ми поважаємо науковий підхід авторів статті, але проглядаючи велику кількість різноманітних звітів наших колег соціологів, так і не змогли побачити у них повний деталізований опис побудови вибірки, банально – це не дуже цікава інформація, яку не усі і зрозуміють. Варто зазначити, що вибірка була комбінованою – випадковою на етапі відбору населених пунктів та стартових точок опитування, та квотною на етапі відбору респондента у домогосподарстві. 

Детальна побудова та обґрунтування вибіркової сукупності, а також схема проходження маршруту будуть надані на заплановану соціологічну експертизу, яка, варто зазначити, буде проводитися вперше. І якщо говорити про об’єктивність, то варто провести і експертизу телефонних опитувань, які пропонуються авторами статті та викликають у них більшу довіру.

4. Непрофесійний аналіз даних, відсутність коефіцієнтів кореляції та показників значущості отриманих даних.

Авторами статті була надана рекомендація щодо появи у штаті компанії стажера-аналітика з-поміж студентів. Ми так розуміємо, що подібними образливими рекомендаціями автори дотримувались професійної етики спілкування щодо якої самі мали застереження?

Щодо коефіцієнтів кореляції, ми їх вивчали і вони як завжди середні або нижче середніх. Маючи змогу вивчати ці коефіцієнти не лише за підручниками, а при аналізі реальних масивів, ми можемо чітко сказати: існують статистичні зв’язки між змінними в отриманому масиві даних, але вони скоріше недостатні та складають від 0,3 до 0,5 (наприклад, коефіцієнт Крамера), але досягти рівня цього показника понад 0,5, не кажучи вже про 0,7 або про одиницю – можливо лише у лабораторних вакуумних умовах. 

Повертаючись знову до будь-яких соціологічних звітів на основі реально проведених досліджень, постає питання – чому наші колеги дуже рідко (або майже ніколи) не зазначають коефіцієнти кореляції. Це трапляється саме тому, що статистичні зв’язки як правило слабкі, але це не дуже вигідна інформація, тому вона і не подається. Щодо рівня значущості відмінностей отриманих даних (коефіцієнт  хі-квадрат Пірсона) в залежності від регіону проживання респондентів варто зазначити, що ми брали його до уваги при написанні звіту та, для більшості питань він складає 99%.  Вважаємо зайвим описувати методи перевірки логіки отриманих даних за допомогою, наприклад, SPSS, ці функції існують, вони здебільшого працюють автоматично і так, ми їх використовували при чистці масиву. Не вийшло більш просто описати вищевказані аспекти, але основний посил у наступному – будемо дуже раді побачити високий рівень статистичних зав’язків у масивах наших колег, які також проводили опитування у ОРДЛО, але по телефону.

5. Чи проводився та як проводився контроль.

Як і зазвичай було проведено контроль якості даних методом телефонного інтерв’ю 20% опитаних респондентів. Підхід до контролю був дуже відповідальним:

• Оператори, які були залучені до контролю, не мали жодних зав’язків з інтерв’юерами, які проводили опитування.
• Контролери-оператори пройшли додаткове навчання щодо своєї поведінки та відповідей на питання респондентів щодо замовника та цілей дослідження.
• Чітко підбиралися вихідні номери та оператори мобільного зв’язку, з яких проводився контроль.

В анкеті контролю ставилися наступні питання:

• Факт проведення опитування.
• Місце проживання респондента – назва населеного пункту.
• Вік респондента.
• Метод опитування.
• Тривалість інтерв’ю.
• Питання щодо тематики опитування.

Виявлені порушення були враховані та було перероблено певну кількість анкет.

6. Низький рівень репутації компанії Нью Імідж Маркетинг Груп.

На жаль, ті чи інші дослідницькі компанії (незалежно від імені) потрапляють, час від часу, у скандали з наведенням помилкових результатів. Так, наприклад, Vox Ukraine свого часу опублікував дослідження "Теорія брехні. Перший рейтинг популістів". Дана публікація викликала серйозну стурбованість в професійної спільноти на предмет маніпуляції в інтересах конкретного кандидата. Такі помилки не можуть бути підставою для професійної дискредитації компанії, яка надалі показує високий рівень досліджень.

Водночас хочемо звернути увагу на поширену маніпуляцію про те, що Нью імідж є у базі псевдосоціологів. У нас є серйозні питання щодо того, як формувалась база, однак, ще більше питань, чи можна довіряти ресурсу, який публічно написав, що буде на виборах підтримувати конкретного кандидата? Чим це відрізняється від звинувачень, через які дане медіа включало когось в рейтинг псевдосоціологів?

Компанія ніколи не заперечувала проблем, які виникли багато років тому і шкодує, що у її практиці також були помилки, які ретельно проаналізували і зробили висновки. Водночас ми дуже радіємо, що із 2015 року результати, які були опубліковані від імені нашої компанії, завжди були коректними. Ба більше, ефективність і професійність компанії була підтверджена проведеним екзит-полом у 2019 році на виборах президента, і результат був високо оцінений одним з провідних соціологів країни – Володимиром Паніотто.

Віктор Андрусів, кандидат політичних наук, виконавчий директор Українського інституту майбутнього,

Наталя Ніколайчук, соціолог, компанія Нью імідж маркетинг груп