Главная | Обратная связь

Источники ошибок в ответах

Одним из критериев качества вопроса является степень соответствия получаемой информации той, что необходима исследователю. Этот критерий называется валидностью. Непосредственное измерение валидности в большинстве случаев затруднительно, а для многих типов вопросов просто невозможно. Есть и вопросы, с которыми сложно соотнести само понятие валидности.

Мы разделяем вопросы на два класса: 1) вопросы о поведении или фактах; 2) вопросы о психологических установках и субъективных мнениях. В поведенческих или фактологических вопросах выясняются характеристики людей или их действия, то есть то, что в принципе может быть проверено сторонним наблюдателем. Другими словами, эта группа вопросов связана с характеристиками, событиями или действиями, которые являются внешними по отношению к конкретному человеку и могут наблюдаться со стороны. Возможность внешней верификации ответов реализуется далеко не всегда. В некоторых случаях возникает проблема законности или этической допустимости такой верификации, например, когда речь идет о голосовании или сексуальном поведении. Вопросы относительно установок, мнений и отношений нельзя верифицировать в принципе, так как психологические состояния присутствуют только в сознании опрашиваемых и доступны (если это в принципе возможно) только самим респондентам. Для поведенческих актов валидность определяется интуитивно, посредством согласования мнений экспертов, наблюдающих одни и те же факты. Для установок респондентов такое определение валидности проблематично. Является ли суждение валидным, когда респондент говорит о себе в минуты откровения либо когда общается с близкими друзьями? Или мы вправе говорить о валидности только при появлении возможности сопоставить его высказывания с поведением? Ответ лежит в большей степени в теоретическом обосновании, чем в достигнутом согласии.

Даже если нет отчетливого представления о критерии валидности для вопросов об установках, вполне очевидно, что на вопросы, заданные разными способами, могут последовать различные ответы. Кроме того, вопросы об одних установках более подвержены влиянию формулировки, чем о других. Мы не знаем, почему так происходит. В настоящее время мы можем только сказать, что некоторые мнения более чувствительны к способу их измерения, нежели другие. Ранее мы использовали понятие «эффект ответа», которое включает в себя компоненты смещения и вариабельности [85]. Смещение понимается как отклонение от истинной величины. Вариабельность – как чувствительность измерений к различным формулировкам вопроса.

Для понимания эффекта ответа рассмотрим типичный вопрос о поведении: «Каким был ваш общий семейный доход из всех источников в прошлом году?». (Или можно уточнить год и спросить, например, о прошлом годе.) Мы понимаем, что существует правильный ответ на этот вопрос, хотя можем его никогда и не узнать (поскольку даже сумма подоходного налога, предполагающая знание о всех источниках доходов, содержит собственные источники ошибок). Мы можем получить ошибочный ответ, потому что респондент просто забыл о некоторой сумме доходов из небольших или непостоянных источников (таких, как дивиденды от акций или проценты от вкладов). Или респондент мог отнести полученный доход к другому периоду времени. Неверное отнесение событий к определенному периоду называется временным сдвигом, который может быть прямым или обратным. При прямом сдвиге респондент включает события предшествующего периода в тот, о .котором его спрашивают. При обратном сдвиге респондент относит текущие события к предшествующему периоду. Прямой сдвиг приводит к преувеличению числа событий, а обратный – к их преуменьшению. Оба типа временных сдвигов могут возникать в опросе с одинаковой частотой, что приводит к их взаимному погашению. Однако методические исследования показывают, что прямой сдвиг наблюдается чаще, что приводит к увеличению числа фиксируемых в большинстве опросов событий.

Третьим источником ошибки может быть намеренное или мотивированное нежелание респондента сообщать о скрытом доходе, например о нелегальном доходе или доходе, не включенном в налоговую декларацию. Четвертая категория ошибок включает сознательное искажение величины дохода, вызванное желанием отвечающего произвести впечатление на интервьюера. Обычно этот тип ошибок сводится к искусственному завышению доходов, хотя в некоторых случаях респонденты, особенно имеющие высокий уровень дохода, могут и снижать фактическую сумму. Пятый источник ошибок связан с непониманием респондентом смысла анкетного вопроса. Например, респондент может не сообщить о доходе, полученном в форме подарка, хотя интервьюер подразумевал, что этот вид дохода включен в ответ. В конце концов, респондент может просто не знать о некоторых доходах, полученных другими членами семьи, но о которых ему следовало сообщить.

Обобщая все перечисленные типы ошибок, можно выделить четыре фактора, определяющие эти ошибки: память, мотивация, коммуникабельность и знание. Это означает, что: 1) респонденты могут забыть как информацию, так и период, к которому она относится; 2) они могут быть заинтересованы в сокрытии правды из опасения последствий или из-за желания представить себя в более выгодном свете; 3) респонденты могут не понимать, о чем их спрашивают, и давать ответ в рамках собственного представления; и, наконец, 4) они могут просто не знать ответа на вопрос, но дать его, не говоря о своем незнании. Все эти факторы требуют более детального рассмотрения.

Глава 2. НЕЙТРАЛЬНЫЕ ПОВЕДЕНЧЕСКИЕ ВОПРОСЫ

Наиболее понятные и, вероятно, наиболее распространенные вопросы, задаваемые респондентам, относятся к их поведению. Начинающему исследователю трудно себе представить наличие проблемы в вопросах типа: «Вы владеете этим помещением или арендуете его?» или «Какую марку кофе вы покупали в последний раз?». Тем не менее эти вопросы не так уж просты и очевидны, как кажется на первый взгляд. Ключевой переменной является уровень опасения, которое может вызвать вопрос. Понятно, что спрашивать о плохом обращении с ребенком или избиении жены намного труднее, чем о наличии в семье телевизора. Но даже вопросы на такие темы, как голосование на последних выборах или наличие читательского билета в библиотеку, могут насторожить респондентов. Мы отложим эту тему до следующей главы и ограничим обсуждение нейтральными вопросами и вопросами, которые, по крайней мере, не вызывают особых опасений. Они могут относиться, например, к производственной деятельности, использованию или покупке потребительских товаров, к некоторым аспектам поведения в медицинской сфере, социальным взаимодействиям с окружающими людьми, поведению во время отпуска и путешествий. Вопросы о структуре домашнего хозяйства, доходах, занятости и о других демографических характеристиках можно было бы рассмотреть в этой главе, но мы включили их в седьмую, где и предлагаются стандартные формулировки.

Наиболее серьезная проблема, которая возникает при использовании нейтральных поведенческих вопросов, связана с несовершенством человеческой памяти, ее зависимостью от длительности или давности периода времени и актуальности темы опроса. Ниже мы обсудим то, что известно об ошибках, связанных с памятью, а затем предложим ряд стратегий, направленных на их уменьшение. Следует отметить, что данные рекомендации позволяют снизить ошибки памяти, но не исключить их. Читатель, который надеется увидеть в этой главе (или любой другой) идеально составленные вопросы, будет разочарован. Однако нейтральные вопросы не очень «чувствительны» к изменениям в формулировках, за исключением тех случаев, когда эти изменения касаются воспоминаний. В дальнейшем будет показано, что вопросы, вызывающие опасения (третья глава), и вопросы об установках и мнениях (пятая глава), напротив, очень чувствительны к формулировкам.