 |
|
Процедура тестирования
Из приведенных выше восемнадцати шагов, необходимых при проектировании вопросника, только первые шесть подробно обсуждались в этой книге. Научные представления о конструкции вопросника составляют лишь часть всей работы. На конечном этапе каждый вопросник должен быть протестирован и отредактирован применительно к реальным условиям.
Даже при наличии многолетнего опыта ни один эксперт не может создать вопросник, совершенный во всех отношениях. Наш опыт проектирования вопросников превышает пятьдесят лет, и тем не менее нам ни разу не удавалось составить хороший вопросник с первого раза. Мы думаем, что сказанное относится и к другим социальным исследователям, хотя они иногда заявляют, что могут написать вопросник, не требующий никаких исправлений. Мы знаем многих начинающих социологов, истративших все свои ресурсы после рассылки первого чернового варианта вопросника и оказавшихся перед фактом, что некоторые ключевые вопросы понимаются неверно. Для исследователей с ограниченными ресурсами очень важно успеть провести пилотаж до того, как они их израсходуют. Если у вас нет средств на проведение пилотажного исследования вашего вопросника, не проводите опрос.
Последовательность действий при проектировании вопросника направлена на минимизацию затрат, связанных с последующим его корректированием. Так, при опросе друзей и сотрудников тестирование и получение относительных оценок исправленного вопросника не может потребовать значительных затрат. Поэтому этот вариант всегда реален для проектировщика вопросника и работающего с ним персонала. Исследователю полезно сыграть роль респондента и ответить на все предлагаемые вопросы. Зачастую авторы вопросов обнаруживают, что не могут ответить на них в том виде, как они написаны.
И в НЦИОМ, и в СИЛ нередко используется то, что называется «коллективным разумом». Коллеги проектировщика вопросника, заранее получив черновой вариант, собираются для обсуждения текста. Для автора – это всегда горький опыт, но в то же время – быстрый и эффективный метод усовершенствования вопросника.
На стадии тестирования обнаруживаются и корректируются многие изъяны, но не все. Поскольку первичное апробирование проводится на людях, близких к автору по образу мышления, знаниям и др., при тестировании на выборке, близкой к реальным респондентам предстоящего исследования, выясняются новые проблемы. Кроме того, если проводится неписьменный опрос, требуются интервьюеры. Поэтому необходимо подготовить инструкции и провести инструктаж интервьюеров. На этой стадии исследователь часто обнаруживает неясные места, которые следует устранить, прежде чем продолжится инструктаж.
Пилотаж отличается от основного исследования. Выборка состоит из людей, которые, как правило, легче высказывают свое мнение, чем основная группа респондентов, и интервьюер имеет возможность вести себя более свободно. Если же в основном исследовании должны принимать участие лица с низким уровнем образования, не понимающие отдельных слов или смысла вопросов, их обязательно следует включать в выборку для тестирования. После пилотажа интервьюеры обычно обсуждают с респондентами, какие из вопросов были недостаточно ясными или трудными для понимания. Очень полезно также авторам вопросников или инспекторам полевых отделов следить за ходом некоторых пилотажных интервью, чтобы можно было обнаружить вопросы, которые неверно интерпретируются интервьюерами и/или респондентами. При проведении сложных исследований имеет смысл встретиться с интервьюерами после тестирования, чтобы выяснить проблемы, с которыми им пришлось столкнуться. При проведении более простых исследований обычно достаточно ознакомиться с отчетами интервьюеров и комментариями, записанными в вопроснике.