Главная | Обратная связь

Обман в исследованиях

До сего момента я говорил о проведении клинических исследований как о чем-то само собой разумеющемся, как будто в них нет ничего сложного: просто берете несколько пациентов, разделяете их на две группы, даете первой одно лекарство, а второй – другое, потом немного погодя смотрите, есть ли разница в результатах, продемонстрированных обеими группами.

Скоро мы увидим, как можно различными способами фундаментально исказить и ход эксперимента, и анализ результатов так, чтобы преувеличить эффективность лекарств и скрыть вред, приносимый ими. Некоторые из применяемых уловок и приемов являются грубым нарушением закона: мошенничество, например, непростительно и бесчестно. Некоторые трюки балансируют на грани, превращая информацию в полуправду. Некоторые могут пойти на крайние меры в трудной ситуации, чтобы сэкономить деньги или получить результаты как можно быстрее, и поэтому можно судить о каждом конкретном исследовании, только зная все его обстоятельства. Однако, я думаю, ясно то, что во многих случаях люди прибегают к нечестным приемам под давлением ложных стимулов.

Также следует помнить, что многие нечестные исследования, включая те из них, о которых речь пойдет дальше, проводятся независимыми учеными. Фармацевтические компании не устают подчеркивать, что при проведении сравнения методов независимо проспонсированных исследований с методами исследований, оплаченных производителями лекарств, последние оказывались более удачными. Возможно, это и правда, но данная информация почти что не относится к делу по простой причине: независимые исследователи всего лишь статисты в этом спектакле. 97 % клинических исследований, о которых сообщается в печати, спонсируются фармацевтическими компаниями. Они составляют львиную долю всех проверок лекарств, поэтому организующие их специалисты задают тон и устанавливают стандарты.

Наконец, прежде чем мы перейдем к сути дела, хочу предупредить читателей, что следующая глава довольна сложна. В ней излагается сложная для понимания обычного, рядового гражданина информация научного характера, которую по силам усвоить каждому, однако в некоторых случаях от вас потребуется прилагать больше мыслительных усилий, чем обычно. Для особо трудных случаев я привожу краткое резюме в начале, после чего идет изложение всей истории. Если подробная информация окажется слишком сложной для вас, можете пропустить все детали и полагаться на краткую выжимку в начале статьи. Я не обижусь. Что касается последней главы, посвященной уловкам в маркетинге, то она просто нашпигована ужасными историями, которые вам никак нельзя пропустить.

Итак, об обмане в исследованиях.

Явный подлог

Подлог и фальсификация данных – это настоящая пощечина обществу. В этой главе мы познакомимся с различными коварными уловками, с пограничными случаями (балансирующими на грани полуправды и полулжи), и случаями изящного плутовства на грани дозволенного. Из всех способов одурачивания больше всего я не люблю подлог, потому что для подделки чего бы то ни было большого ума не требуется. Мошеннику не нужны ни изощренная методология, ни умение правдоподобно отрицать вину, ни доводы, подкрепляющие факты. Мошенник берет и просто выдумывает результаты. Уничтожать информацию, игнорировать факты, придумывать – и так по кругу – вот и все, что ему нужно уметь делать.

К счастью для меня и для пациентов, такой род подлога сравнительно редок, насколько можно судить по свидетельствам очевидцев. Лучшая на текущий момент оценка распространения случаев фальсификации была сделала авторами систематического обзора 2009 года, в котором были сведены все результаты исследований 21-й работы. В ходе исследования специалистов из различных областей науки опросили на предмет фальсификации данных. Неудивительно, что в зависимости от постановки вопроса люди давали разные ответы. 2 % респондентов признались в том, что занимались фабрикацией, фальсификацией или редактированием данных по крайней мере один раз в своей карьере, однако число утвердительных ответов выросло до 14 %, если интервьюируемых спрашивали, известно ли им о подобного рода поступках их коллег. Треть опрошенных допустила также и применение сомнительных исследовательских практик в ходе эксперимента, и снова эта цифра выросла до 70 %, когда их спросили о коллегах.

Можно частично, если не полностью, объяснить такую большую диспропорцию в количестве ответов на вопросы, адресованные напрямую респондентам, и на те, что касались их коллег, тем фактом, что опрашиваемый – один человек, но у него много знакомых, однако поскольку вопросы обсуждались деликатные, можно допустить, что количество утвердительных ответов занижено. Чтобы быть до конца откровенным, нужно сказать, что представители таких наук, как медицина или психология, склонны к фабрикации данных больше, так как при проведении различных исследований многие факторы разнятся, и это означает, что идеальное воспроизведение предыдущих результатов возможно крайне редко. В итоге никто не заподозрит ничего плохого в том, если ваши результаты будут противоречить результатам другого исследования. В областях науки, где исход экспериментов более очевиден и выражается наличием или отсутствием чего-либо, неудача при воспроизведении результатов выявит мошенника гораздо быстрее.

Специалисты во многих сферах науки склонны к пристрастному отбору данных для отчета, и даже некоторые очень известные ученые совершали манипуляции с результатами своих исследований. Американский физик Роберт Милликен получил Нобелевскую премию в 1923 году после демонстрации эксперимента с капельками масла, доказав, что электричество существует в виде отдельных элементов – электронов. Милликен был ученым среднего уровня (пик, когда совершаются подлоги) и долгое время не мог похвастаться большими достижениями в своей карьере. В своей знаменитой работе, опубликованной в «Физическом обзоре» он написал: «Это не выборочные результаты по отдельной группе капель, а результаты по всем каплям за время эксперимента, который продолжался в течение 60 дней». Это утверждение не соответствовало действительности. В работе упоминалось о 58 капельках, но в его записной книжке значилось 175. Напротив стояли записи типа «Прекрасно! Публиковать эти данные» и «Не совпадает, это не сработает». В научной литературе через несколько лет разгорелись ожесточенные дебаты о том, считать ли это подлогом и насколько Милликену повезло, что его результаты смогли быть воспроизведены впоследствии. Но в любом случае, отобранные им данные для отчета (и их пристрастное толкование), были получены во время проведения непрерывной цепи исследовательских действий, которые кажутся абсолютно невинными, если их не изучать слишком пристально. Что делать исследователю с резко выделяющимися показателями в одной графе таблицы, если цифры во всех остальных ее графах выглядят так безупречно? А если что-то упало на пол? А что если машина была неисправна? По этой причине во многих экспериментах действуют четкие правила относительно исключения данных.

Также существует и такой феномен, как явная фабрикация данных. Так доктор Скотт Ройбен, американский анестезиолог, работавший над созданием обезболивающего средства, за всю свою жизнь не провел и 20 клинических исследований из всех, что были описаны им в статьях, опубликованных за прошедшие 10 лет.1 В некоторых случаях он даже не делал вид, что получил лицензию на проведение тестирования лекарств на пациентах в клинике, где работал, а просто вписывал в отчет о результатах исследования цифры, которые придумывал на ходу. Нам никогда не следует забывать, что данные в медицине добывают не для каких-то абстрактных целей или построения отвлеченных теорий. Ройбен утверждал, что будто бы нашел вещества не из группы опиатов, которые при этом были такими же эффективными для послеоперационного купирования боли, как и опиаты. Новость всех восхитила. Опиаты обычно вызывают зависимость и имеют много побочных эффектов. Практика проведения обезболивания во многих странах изменилась, и сейчас в этой сфере царит настоящая путаница. Мошенничество с фактами имеет место в разных сферах медицины, и оно опасно тем, что в результате подлога данных врач и пациент могут принять неверные решения, однако когда речь заходит о боли, вряд ли можно нанести пациенту больший вред.

Есть различные способы, как можно поймать мошенника, однако постоянный неусыпный контроль со стороны медицинских и научных учреждений – не выход, так как не всегда можно вести достаточно строгий мониторинг нарушений. Часто факт подлога или фальсификации раскрывается коллегами мошенника из корыстных побуждений, становится известен случайно либо разоблачается при возникновении сомнений в правдоподобности результатов. Малкольм Пирс, например, британский хирург-акушер, опубликовал отчет о случае, где утверждал, что он удалил внематочную беременность, затем имплантировал плод женщине, а в результате у нее родился здоровый ребенок. Анестезиолог и хирургическая сестра, работавшие в той же больнице, посчитали случившееся маловероятным и заявили, что наверняка услышали бы о таком примечательном случае. Они проверили все истории болезни, не нашли ни одной записи о проведении подобной операции, и таким образом все усилия хирурга пошли прахом.2 Примечательно, что в том же номере журнала была опубликована еще одна статья Пирса, в которой сообщалось об исследовании, где принимали участие 200 женщин с синдромом поликистозных яичников, которых Пирс лечил от повторяющихся выкидышей. Исследование не имело места, и оказалось, что Пирс не только сочинил всю историю от начала до конца, придумал имена пациентов и результаты, но и выдумал название несуществующей фармацевтической компании, которая якобы финансировала исследование. В эпоху Интернета ложь, подобная этой, будет жить недолго.

Есть и другие методы обнаружения фактов подлога. Человеческий мозг – очень плохой генератор случайных чисел, поэтому простые случаи фальсификации данных часто раскрывались статистиками судебной медицины, которые обращали внимание на частоту повторяемости последних цифр. Если некто будет выдумывать числа на ходу и вписывать их в колонку в случайном порядке, то наиболее часто повторяемой цифрой всегда будет семерка, которая нравится нашему подсознанию больше всего. Чтобы замаскировать подлог, фальсификатору нужен генератор случайных чисел, однако прибегнув к его помощи, он столкнется с другой интересной проблемой, которая называется эффект идеального единообразия в случайных числах. Так немецкий физик Ян Хедрик Шен выступал соавтором приблизительно одной работы каждую неделю на протяжении 2001 года, однако его результаты выглядели слишком уж точными. В конечном счете кто-то заметил, что в двух исследованиях на результаты идеальной модели был наложен один и тот же «шум» из цифровых данных. Оказалось, что многие числа были сгенерированы на компьютере с использованием тех же самых уравнений, которые должны были использоваться для проверки данных вместе с якобы случайными реалистично выглядящими вариациями, встроенными в модель.

Есть множество способов, к которым следует прибегать для выявления случаев явной и наглой фальсификации. Нам нужно проводить более тщательные и качественные расследования; регулярно вести более совершенный мониторинг; налаживать отношения с редакторами журналов, мотивируя их сообщать о подозрительных работах, отвергнутых ими; обеспечивать лучшую защиту тем, кто своевременно подал сигнал; проводить выборочную случайную проверку первичных данных по журналам и т. д. Люди часто говорят обо всех этих методах, но редко кто прибегает к их использованию, а все потому что ответственность за нарушения определена неясно и туманно.

Итак, подлог или фальсификация данных. И то, и другое случается в медицине. Этим занимаются не особо умные люди. И подлог можно смело называть преступлением. И такие преступления случаются при содействии «плохих парней». Однако объем ошибочных данных, попадающих в анналы медицинской литературы благодаря подлогу, не так уж и велик по сравнению с регулярными, изощренными и – больше чем что-либо – правдоподобно отрицаемыми каждодневными методологическими искажениями, примеров которых так много в этой книге. Несмотря на очевидность этого, явный подлог практически единственный источник искаженных данных, который регулярно освещается в СМИ, просто потому что факт фальсификации более доступен уму обывателя. И это одна из причин, чтобы прекратить рассказывать о нем и перейти к главному.