Главная | Обратная связь

Исследования, прекращающиеся раньше срока

Если исследования прекращаются раньше или позже намеченной даты, потому что проводящие их специалисты следят за результатами и выбирают наиболее подходящие по мере их поступления, шансы получить удовлетворительные для организаторов данные повышаются. Это происходит благодаря случайным колебаниям в числовых показателях. Речь идет о несколько усложненном способе, как можно повысить свои шансы выиграть в «орел – решку», используя вышеупомянутую стратегию: «Бросаем! Так, две из трех. Бросаем! Три из пяти? Бросаем! Пять из семи».

Снова и снова мы будем возвращаться в этой книге к одному и тому же принципу: если создать такую ситуацию, при которой у исследователя будет много шансов получить положительный результат, но использовать статистические тесты, предполагающие, что была лишь одна возможность, то можно очень сильно повысить вероятность получения ложноположительного результата. В этом состоит суть проблемы, с которой сталкиваются люди, скрывающие отрицательные результаты. Аналогичная проблема наблюдается и при выборе метода анализа результатов исследований, данные которых не были сокрыты.

Например, если подбрасывать монетку достаточно долго, то очень скоро можно дождаться, когда выпадут четыре орла подряд. Это не одно и то же, если сказать: «Сейчас я брошу монетку и выброшу четыре орла подряд» и сделать это. Мы знаем, что временной промежуток, в течение которого были собраны данные, позволяет выбрать ряд привлекательных для исследователя результатов, и это, как мы тоже знаем, приведет к созданию неправильного представления о лекарстве и неверному толкованию данных.

В исследовании CLASS на протяжении шести месяцев сравнивали новое обезболивающее под названием целекоксиб с двумя старыми препаратами. При приеме нового лекарства наблюдалось меньше проблем с желудочно-кишечным трактом, поэтому его прописывало все больше врачей. Годом позже выяснилось, что изначально планировалось провести еще одно исследование продолжительностью в один год. В течение более длительной проверки целекоксиб не подтвердил свою эффективность, но когда в отчет были включены только результаты за шесть месяцев, препарат засиял во всем великолепии. Именно эти результаты и были указаны в научной статье для публикации.

Нужно признать, что прекращение исследований раньше срока иногда может быть обоснованным. Например, часто прекращают проверку, если у пациентов двух различных групп наблюдаются очень весомые и явные различия в проявленном положительном эффекте, особенно если разница такая большая, такая недвусмысленная и информативная, что даже если отнести ее на счет побочных эффектов, ни один терапевт в здравом уме не продолжит прописывать неудачное лекарство и никто не станет пробовать дать его пациенту снова.

Однако тут надо быть очень осторожным. Некоторые ужасно искаженные данные просочились в науку благодаря людям, которые слишком полагались на такие случайно полученные результаты. Например, исследования по изучению свойств бисопролола во время сосудистой хирургии были остановлены раньше срока, когда в одной группе пациентов сильный сердечный приступ случился всего у двоих, а в контрольной группе, принимавшей плацебо, – у 18 человек. Был сделан вывод, что похоже, препарат очень эффективный и спасает жизни людей, поэтому в рекомендации по лечению были внесены соответствующие поправки. Но когда начали возникать подозрения, что во время предыдущих тестирований полезные свойства препарата были завышены, провели два новых больших исследования, которые обнаружили, что от бисопролола на самом деле не было никакой пользы.12 Первоначальные результаты оказались неверными и заставили исследователей прекратить проверку раньше срока после череды смертей, произошедших по случайному совпадению.

Здесь нужно прояснить, что комитет по этике, контролирующий проведение исследования, может сам иногда потребовать остановить проверку раньше срока, а проверка данных во время исследования представляет собой сложный этический вопрос. Если врачу кажется, что нашлись факты, подтверждающие наличие вреда от того или иного препарата, до окончания исследований (или же сходный этический вопрос – если обнаружено, что один препарат гораздо лучше другого), нужно ли в таком случае продолжать подвергать пациентов воздействию лекарства, которое может представлять серьезную опасность, только для того, чтобы дойти до конца, либо же отнести эти результаты на счет случайного совпадения? И нужно ли закрывать всю лавочку и завершать исследования, при этом зная о существовании потенциальной возможности, что такие случайные результаты могут попасть в медицинские статьи и создать неверное впечатление о лекарстве, а на их основе будут приниматься неверные решения о лечении больных в будущем? Особенно это беспокоит, если вспомнить, что после сокращенных исследований все равно нужно проводить более масштабные и длительные, подвергая риску новых людей, только для того чтобы проверить, были ли результаты аномальными.

Одним из способов, как можно уменьшить нежелательные последствия, вызываемые досрочным прекращением исследований, является разработка правил остановки экспериментальных работ, которые должны быть внедрены еще в самом начале. Эти правила должны быть тщательно разработанными и достаточно строгими, чтобы исключить возможность их применения при возникновении случайной вариации данных, которую можно наблюдать в любом исследовании на каком-нибудь этапе его проведения. Такие правила полезны, так как они ограничивают степень влияния человеческого суждения, которое может быть необъективным и предвзятым.

Однако какие бы мероприятия ни проводились для сокращения последствий от досрочных прекращений исследований, они все равно будут приводить к загрязнению данных. В обзоре от 2010 года были рассмотрены около 100 прерванных исследований и 400 сходных исследований, проведенных до конца в соответствии с планом. Результаты остановленных раньше срока исследований были лучше и завышали эффективность проверяемых лекарств примерно на четверть.13 При проведении другого недавнего обзора выяснилось, что количество исследований, остановленных раньше срока, удвоилось с 1990 года,14 что не очень хорошая новость. В любом случае к результатам исследований, остановленных раньше срока, нужно относиться по меньшей мере с большой долей скепсиса. В особенности потому, что в вышеупомянутых систематических обзорах отмечается, что исследования были прекращены досрочно без указания каких-либо причин.

Наконец, все эти факты нагнетают еще большую тревогу, если посмотреть на то, какие именно исследования останавливались раньше срока, кто их останавливал и для чего используются их результаты в настоящий момент.

В 2008 году четверо итальянских ученых свели вместе все рандомизированные исследования по проверке противораковых препаратов, которые были опубликованы в предыдущие 11 лет и были остановлены ради блага пациентов.15 Больше половины были опубликованы в течение трех прошедших лет, и это лишний раз свидетельствует о том, что данный вопрос становится все более актуальным. Отрасль разработки противораковых препаратов – быстро развивающая сфера медицины, которая постоянно находится на виду. Здесь время – деньги, а новые лекарства могут принести прибыль в кратчайшее время. Результаты 86 % исследований, остановленных раньше срока, использовались при обосновании подачи заявки на лицензию для выпуска новых препаратов на рынок.