Говорят, что цифры не врут — врут лжецы, которые их обрабатывают. Это нужно иметь в виду, рассматривая то, как некоторые компании продают результаты исследований.

Ладно, может быть, «ложь» — это уж слишком сказано, но мне очень часто попадались пресс-релизы, которые продвигали результаты опросов, не показывая всей картины. А также исследования, методика которых — в том числе заданные вопросы и способы выборки — просто не выдерживают никакой критики. К сожалению, журналисты и блоггеры слишком часто используют такие пресс-релизы без критического анализа методологии, без углубленной проверки, которая дала бы возможность убедиться, что заголовок действительно подтвержден фактическими данными.

Во многих случаях, когда компания или исследовательская организация объявляет результаты опроса, в пресс-релизе приводится краткое резюме исследования, но не намного более того. Прежде, чем написать об исследовании, я прошу показать мне основной отчет. Он должен включать в себя резюме методологии, в частности, методы выборки, вопросы, которые фактически задавались, и ответы на них. Иногда, после изучения такого отчета, мне становится понятно, что методология содержит изъяны или что собранные данные не полностью подтверждают сделанные выводы.

Типичные ошибки

Мои примеры касаются исследований безопасности и конфиденциальности в Интернете — вопросы, на которые я обращаю пристальное внимание как журналист, пишущий на темы технологий, и как со-директор ConnectSafely.org, некоммерческой организации по вопросам безопасности в Интернете.

Возьмите недавнее исследование, проведенное агентством Harris Poll, и опубликованный ими пресс-релиз под кричащим заголовком «6 из 10 американцев говорят, что они или их знакомые подвергались издевательствам».

Усомниться в заголовке меня заставили слова «их знакомые». Спрашивать, подвергался ли кто-нибудь издевательствам, вполне правомерно, но добавление «свои знакомых» все запутывает. Честно говоря, меня удивило, что ответы не приближались к 10 из 10. Если бы у меня спросили, «погиб ли кто-то из ваших знакомых в авиакатастрофе?», я ответил бы «да», потому что один человек, которого я знал, действительно погиб таким образом. Но это не значит, что это случилось со мной, и тем более не означает, что это происходит часто.

В пресс-релизе также сообщалось, что «этот вопрос затрагивает очень многих американцев, и есть очень реалистичное ощущение, что ситуация становится все хуже». Но когда я посмотрел на исходные данные, то установил — 44% взрослых ответили, что над ними издевались в школе, и 10% — что они издевались над другими. На вопрос о своих детях они ответили, что издевательствам подвергаются 9%, и только 2% признали, что их дети издеваются над другими.

Это не хуже — на самом деле это намного лучше. Исходя из собственных данных, Harris должно было поставить другой заголовок: «Родители подтверждают, что сейчас детей обижают гораздо меньше, чем тогда, когда они учились в школе».

Важно различать восприятие проблемы и саму проблему. Если обследование, например, показывает, что люди обеспокоены ростом преступности, это интересные данные о восприятии. Но это не обязательно означает, что уровень преступности растет.

Исследование, проведенное в 2010 году агентством Harris для фирмы McAfee, специализирующейся на вопросах интернет-безопасности, подавалось с сенсационной позиции о «шокирующих результатах онлайн-поведения подростков». Но когда я прочитал фактический отчет, данные оказались далекими от шокирующих. Как я уже писал в своей заметке об исследовании, на самом деле оно представляло собой «обнадеживающее описание того, что большинство молодых людей достаточно осторожны при использовании технологий». Таким образом, вместо бездумного повторения «шокирующего» заголовка, я озаглавил свой материал «Исследование приносит хорошие новости о поведении детей в интернете».

В 2013 году Microsoft выпустила отчет по исследованию, подготовленный ComScore, о доступе детей к устройствам и онлайн-сервисам. Раздел «методология» утверждал, что «при чистой вероятностной выборке в 1025 с вероятностью в 95% можно утверждать, что в целом результаты будут иметь погрешность выборки в +/- 3,1 процентных пункта».

Звучит очень научно, но опрос даже близко не подошел к чистой вероятностной выборке. Это был опрос по собственному согласию, связанный со страницами Центра обеспечения безопасности Microsoft, и объявлениями на Facebook и StumbleUpon. Результаты исследования и вопросы выглядели непредвзятыми, но то, что оно никак не представляло собой репрезентативную выборку, полностью выдавала гендерная разбивка: 76% мужчин и 24% женщин. Если бы выборка на самом деле была репрезентативной, она приближалась бы к 50/50.

Еще было часто цитируемое исследование, проведенное на основе выборки из почти 11000 молодых людей в возрасте 13 до 22 лет, которое показало, что 69% детей подвергались киберзапугиванию. При такой большой выборке можно было бы подумать, что исследование было невероятно точным, но когда я посмотрел наметодологию, то увидел, что «опрос проводился в виртуальной справочной службе Habbo Hotel «Отбрось метку» с 28 августа по 10 сентября 2013 года.

Другими словами, это был опрос на основе добровольного согласия, проведенный на странице организации по борьбе с запугиванием в британской социальной сети. Это все равно, что проводить опрос по проблеме преступности в полицейском участке или пытаться оценить глобальный уровень заболеваемости раком, опрашивая людей в приемной палате онкологической больницы.

Советы эксперта

Я уже давно не разрабатывал опросов, поэтому проконсультировался с Дэвидом Финкелхором, профессором Нью-Гемпширского университета, директором Исследовательского центра преступности против детей и экспертом по планированию и методологиям исследований. Финкелхор сказал, что это «задача журналистов — выяснить, есть ли другие опросы или исследования по данной проблеме, потому что другие часто приходят к другим выводам».

Другие его советы:

  • Рассматривайте вопросы критически и не предполагайте, что заголовок пресс-релиза точно отражает суть этих вопросов.
  • Посмотрите на выборку. Имеет ли она отношение к задаваемым вопросам? Действительно ли она отражает группу населения, которую представляет, по заявлениям? Посмотрите, не имеется ли в выборке сдвига в пользу тех, кто заинтересован в теме, кого она беспокоит или кто имел опыт в этой теме. Будьте особенно недоверчивы к выборкам с самостоятельным участием, где люди могут действовать добровольно, или там, где предмет исследования оглашается заранее.
  • Спросите, кто финансирует опрос. Много исследований финансируются группами влияния или компаниями, которые хотят создать определенную озабоченность по поводу проблемы.
  • Спросите у кого-нибудь, кто разбирается в опросах, является ли исследование научно обоснованным. Многие опросы таковыми не являются.
  • Обратите внимание, нет ли там вопросов, написанных в «адвокационном ключе», чтобы преувеличить или приуменьшить то или иное. Предупреждающие сигналы включают в себя расплывчатые определения вопросов, такие формулировки, как «кто-нибудь, кого вы знаете», из-за которых раздуваются количественные показатели, или же вопросы о том, что происходило в течение длительного времени.

Финкелхор сказал, что организации, которые представляют общественности данные опросов, «должны быть обязаны» предоставлять разбивку данных, в том числе вопросов, описания схемы обследования, в частности того, каким образом составлялась выборка, получали ли респонденты вознаграждение, какие ответы были предоставлены на вопросы, и сколько людей отказались принимать участие в опросе. Необходимо включать вопросы, категории ответов и проценты.

Финкелхор больше доверяет опросам, опубликованным в рецензируемых научных журналах, но не следует считать, что опрос точен только потому, что связан с университетом. Нужно принимать в расчет, кто именно проводил фактический опрос (мне встречались опросы, которые оказывались студенческими проектами с чрезвычайно малыми выборками), а также проверять методологию.

Для понимания опросов журналистам не обязательно проходить продвинутые курсы по статистическим исследованиям, они просто должны использовать тот же критический взгляд, как и при работе с любыми другими источниками. Изучите методику и мотивы, и не пишите статью, основываясь только на пресс-релизе или кратком резюме.

Ларри Магид — аналитик по вопросам технологий CBS News, обозреватель СанSan Jose Mercury News и Forbes, и блоггер для CNET. В течение 19 лет он работал качестве синдицированного обозревателя для газеты Los Angeles Times и готовил материалы для The New York Times. Он занимает должность содиректораConnectSafely.org и основатель SafeKids.com. Приглашаем посетить его сайт: www.LarrysWorld.com

Источник: Редакторский портал