Фейковая социология. Как распознать фальсификации соцопросов

Социологические опросы – важный инструмент выявления общественных настроений. Однако доверие к соцопросам в Украине было серьезно подорвано тем, что власть (да и оппозиция тоже) привыкла не столько принимать к сведению социологические замеры, сколько использовать их в своих интересах для политических и электоральных манипуляций. Такой подход привел к тому, что помимо надежных организаций, проводящих соцопросы, появилось довольно много контор, которые работают в жанре "социологической джинсы".

Настоящим полемическим материалом LIGA.net приглашают специалистов к дискуссии о том, как можно выявить фейковые структуры и их опросы и где грань между намеренной манипуляцией, стандартной погрешностью, ошибкой в методике или некорректной интерпретацией данных опросов. 

Социология не сводится к рейтингам, но здесь мы говорим в основном о них.

Написать эту статью нас побудила полная неопределенность среди знакомых интеллектуалов в вопросе доверия цифрам опросов. Критерии качества социологии, дрейфующие в информационном пространстве, не отражают самую интересную сторону работы с данными – расследование обмана. Наша задача состоит не в том, чтобы опровергнуть все существующие произвольные критерии качества. А в том, чтобы наглядно изложить сведения о практических проблемах и, тем самым, рассказать об инструментах самостоятельной оценки результатов опросов.

В статье приведены наши авторские обобщения разновидностей преднамеренного и скрытого искажения социологической информации. Полученные нами выводы основываются на частной практике, длящейся уже больше 10 лет. Выводы намерено приведены в общем виде без привязки к конкретным ситуациям и персоналиям.

Сложно оценить точно, сколько всего имеется в нашей стране реально действующих социологических фирм. По нашим представлениям количество "цельных" фирм, работающих круглый год примерно равно 30.

Оборот индустрии по данным ESOMAR в 2013 составил 61 миллион долларов США (Global Market Research 2014, стр. 100). При этом отрасль изучения общественного мнения и конъюнктуры рынка ориентирована на внутренний спрос – 98% клиентов резиденты Украины (контракты с подрядчиками, исключая субподряды). [ESOMAR (European Society of Marketing Research Professionals) одна из наиболее уважаемых профессиональных ассоциаций в которые стремятся вступать украинские социологические фирмы. Ежегодно ESOMAR проводят исследование в рамках, которого оценивают оборот всего рынка маркетинговых исследований в долларах США (оценивается объем прямых контрактов исключая субподряды для того, чтобы избежать двойного учёта) (Global Market Research 2014, "Methodology" стр. 98) – Авт.] 85% оборота отрасли составляли так называемые количественные методы. Чаще всего, репрезентативные массовые опросы (43% оборота – это личный опрос по месту жительства и 26% телефонный опрос). Глобальный оборот индустрии в том же 2013 году равен примерно 40 миллиардов долларов. Естественно эти деньги платятся не за количество проведенных интервью и потраченных усилий, а за знания о рынке/обществе/поведении полученные при помощи потраченной работы.

Наша основная работа – это социологический консалтинг. По роду деятельности мы должны перепроверять результаты исследований, организованных десятками разных подрядчиков. Для того, чтобы сделать выводы, нужно получить качественный первичный материал. Фактически, от качества первичного материала зависит всё.

Пустые критерии качества

Чаще всего качество исследований в СМИ нам предлагают оценивать по трём критериям:

• наличие публикаций о политике в межвыборный сезон;
• членство компании-подрядчика в ассоциациях,
• известность бренда.

Наличие публикаций рейтингов в межвыборный период. Если основные заказы на политические опросы возникают перед выборами, то откуда берутся публикации в межвыборный период? Если принять без доказательств честность публикующего результаты опроса, то есть два источника – 1) редкий клиент, которому зачем-то понадобилось провести и опубликовать (!) рейтинг и 2) исследование, проведенное за собственные деньги социолога. Таким образом, это – показатель финансовых возможностей и наличия крупных заказчиков, а не качества работы. Но фальсификатору его можно легко обойти, ниже мы расскажем, как именно (см. фальсификация "на коленке").

Членство в ассоциации. Предполагается, что членство в профессиональных ассоциациях влечет за собой строгий контроль и санкции за нарушения со стороны ассоциации. Интересный вопрос: как именно ассоциации проверяют социологических подрядчиков? За всю практику мы ни разу не столкнулись со свидетельствами таких проверок или их критериями. Но это не значит, что их нет. Поэтому услышав этот аргумент, всегда возникает вопрос: "нельзя ли взглянуть на результаты этих проверок?", "какую часть из ваших исследований ассоциация запрашивала на аудит в прошлом году?", "особенно интересны результаты проверки исследований результаты, которых были публично представлены в прессе". Если перед вами лежат результаты "закрытого" исследования (заказчик не хочет им делиться с третьими сторонами), то его никому кроме узкого круга лиц не показывают и точно не будут передавать третьим сторонам. В этом случае говорить о контроле со стороны ассоциаций нет смысла. О том, что дает членство в каждой конкретной ассоциации, можно узнать, ознакомившись с ее уставом и пр. документами. Но в большинстве случаев, это всего лишь декларация намерений о приверженности профессиональным стандартам работы.

Известность бренда точно говорит о давнишнем присутствии его в СМИ и, возможно, о хорошем финансовом обороте фирмы. Может ли известный бренд провести плохое исследование? Может. Точно также, как и неизвестный бренд может провести качественное исследование.

Эти критерии являются прекрасным методом определения фирм, первыми получивших и удержавших существенную долю рынка. И всё это – критерии не качества, а размера фирмы. Или если зайти с другой стороны, метод отсечения новых фирм и компаний с более скромными финансовыми возможностями.

Для проверки качества конкретного исследования, которое поступило "из полей", эти критерии совершенно бесполезны.

Неопределенность очень вредит отрасли, поэтому мы хотим предложить описание ситуаций, которые нужно искать в данных опроса для обнаружения фальсификации. Наверняка, этими способами фальсификации тема не исчерпывается, но значительная часть нашего опыта борьбы с подделками и манипуляциями может быть сведена к этому списку. Для того, чтобы осуществить интеллектуальный поиск фальсификаций, нужно знать какие модели поведения фальсификатора ищешь. Мы предлагаем краткое описание ситуаций, чтобы расследователи знали, что искать при помощи быстрого аналитического контроля, а не традиционным сочетанием физического перебора или логического контроля (последние способы "опытные профессионалы" давно научились обходить, зная как и что будут искать заказчики, у которых очень ограничено время сдачи проекта).

Фальсификация ответов

1. Фальсификация "на коленке". Взять рейтинг из чужих опросов и подкрутить цифры в нужном направлении в пользу "своих" или против "врагов". Вычислить рейтинг рассчитав среднее арифметическое из обнародованных опросов ближайших к дате планируемой публикации. И добавить в пределах 5% (т.е. п.п.) своему "кандидату/партии" или отнять у "врага". Основная цель – воздействие на общественное мнение. Если опросов нет по нужной теме, нарисовать по "ощущению" правдоподобия (например, расспросив офис).

Первичные документы обычно отсутствуют, формулировки параметров исследования в стиле "тудой-сюдой, сделано с душой и от чистого сердца".

Спонтанная проверка на такую фальсификацию – любые свидетельства нечувствительности к резким переменам, т.к. составленные таким образом рейтинги показывают стабильное прошлое. Тем, кто с горячностью отрицал подтвердившийся резкий рост рейтинга некоторых политиков, стоит задуматься о качестве работы своих полевиков.

2. "Картина маслом 1" – нарисовать данные по шаблону.

Если данные фальсифицирует организация, владеющая архивом реальных интервью, то первичные материалы дорисовываются по кальке имеющихся "анкет" на бумажные и/или электронные носители. Таким таранным способом можно как из конструктора сложить любой результат из шаблонов реальных интервью.

Ещё раз, для этой фальсификации нужно многократно растиражировать свои собственные или чужие анкеты (или исходники ответов реальных людей) из прошлых опросов. Или сначала провести реальный мини опрос на интересующем заказчика объекте, а затем растиражировать результаты так, как будто была выполнена большая выборка. В итоге берется 120 анкет и из них делается 1000, 2000, 3000. Техническое задание конечного результата может быть сконструировано по схеме, указанной в предыдущем абзаце. Если фальсификатор хочет сработать "чисто", проводится минимально репрезентативный мини-опрос, а его результаты выдаются за крупномасштабное исследование. Основная цель – сократить себестоимость и время выполнения работ для коммерческого заказчика и, тем самым, выиграть у конкурентов по цене и заработать, показав цену ниже себестоимости. Первичные документы, скорее всего, будут в 50% случаев такой подделки (вероятнее, не будет маршрутных листов). Объяснение проведенной работы будет относительно профессиональное в 70-80% случаев. Объяснение очень похожих ответов разных людей от авторов фальсификации: "а почему такого не может быть? мнения же типичные".

3. "Картина маслом 2" – задать основные вопросы (обычно рейтинги политиков и демографические данные), по которым будет проведен контроль, а остальные дорисовать также как в предыдущем абзаце или просто а-ля лесенкой "1-2-3,2-3-1, 3-2-1". Объяснение от авторов фальсификации: "контроль прошел и подтвердил факт проведения опроса".

4. Царская фальсификация – "супер ВИП". Провести реальное исследование, с выборкой превышающей заявленную, и извлечь часть ответов с "неправильной" точкой зрения, записав превышение как запас "на ремонт". Имея в распоряжении 10% выборки для ремонта, можно обнулять рейтинги ведущих политиков в любое удобное время политического сезона. Если для ремонта заложить 100% или 200%, материала хватит для фантастического помпезного полотна. То же самое можно проделать, заменив "неправильные" интервью на интервью с пустыми ответами "не знаю/не определился", но это сильно понизит статус фальсификации.

5. "Наперсточки" – подмена нумерации ответов. Для части интервью изменяются числа кодировки нумерации альтернатив ответов, т.е. "случайно сбиваются". А затем все ответы сшиваются в единую таблицу, но числа остаются прежними. Таким образом, кто-то начинает получать чужие "голоса".

Меры камуфляжа: выехать на место проведения и фальсифицировать (дорисовывать), находясь в полях. Не нумеровать анкеты, а после ввода перемешать. Удалить из базы данных всю техническую информацию (номера цепочек, коды интервьюеров и бригад и т.п.). Потерять выборку и маршрутные листы/дневники интервьюеров. Склонить заказчика к проведению уличного опроса, который совершенно напрасно считается нереальным для контроля и верификации. Вносить случайный "шум" в шаблоны для предотвращения зеркального копирования.

Тонкое манипулирование с заданием выборки и набором вариантов ответа

Эти методы позволяют относительно честно получить выгодный результат, оставаясь в рамках приличий.

1. "Широкая трактовка". Термины "восточная" и "западная" часть страны или города могут пониматься по-разному. И в них можно по желанию включать и исключать территории, которые портят или улучшают картину.

2. "Креативный случайный отбор элементов". В рамках категории (страты) элементов, каждый элемент имеет равную вероятность попасть в выборку. Соответственно, ничто не мешает ближним сёлам немного чаще попадать в выборку. А если мы знаем, что рейтинг некоторой партии склонен смещаться в сторону дальних сёл, тем самым, её цифра будет несколько недооценена (или, наоборот, в зависимости от задачи). Тот же самый трюк можно осуществлять с любыми объектами, о которых что-либо известно заранее. Часто это применяется для получения "правильного" результата экзит-полла, не прибегая к прямой подделке ответов.

3. "Метод политологического тыка". Проводится эксперимент со списками альтернатив. Респонденту даются много вариантов списков политиков/партий, рейтинги части из которых сильно пересекаются. Это действие можно оправдывать тестированием вероятности того, что кто-то снимется с гонки или, наоборот, кто-то неожиданный вступит в соревнование. И выбрать для публикации выгодный для себя вариант.

4. "Метод пиаровского тыка". Предложить длинный список, противоречащих друг другу месседжей и попросить оценить респондентов меру их согласия с этими месседжами. Предварительно нужно утвердить такую анкету, которая бы заставляла респондента зависать, говоря по инерции да или нет. Затем выбрать выгодный ответ и опубликовать его как общественное мнение. Повторить это исследование через полгода. И еще через полгода – получится уже легитимная тенденция "народ в едином порыве хочет …".

Комбинируя приведенные методы, можно как из конструктора сложить любой результат из шаблонов реальных интервью, но не оставить следов невозможно. Любое исследование может быть сфальсифицировано. Но любое исследование можно проверить на фальсификации с соблюдением конфиденциальности респондента и без передачи его личных данных третьим сторонам.

Фальсификаторы пользуются уязвимостью наших методов контроля, в значительной степени сводящихся к выборочным повторным контактам (отбираются интервью и по ним осуществляется короткий "контрольный опрос" по ключевым показателям). Используя современные возможности работы с данными и накопленные многомиллионные массивы интервью, есть все возможности сделать контроль точным и неочевидным для фальсификатора. Но нужно знать, что искать. И на наш взгляд нужны честные качественные описания методов подделки.

Иван Колодий и Юлия Саратова,
социологи,  VoxUkraine 

Подписывайтесь на аккаунт LIGA.net в Twitter, Facebook и Google+: в одной ленте – все, что стоит знать о политике, экономике, бизнесе и финансах.