Главная | Обратная связь

Сколько данных не хватает?

 

Если вы хотите доказать, что результаты проведенных клинических исследований остались неопубликованными, вы столкнетесь с интересной проблемой: вам придется доказать существование исследования, к которому у вас нет доступа. Чтобы обойти это препятствие, был выработан следующий подход: вы обозначаете группу исследований, которые, как вы знаете, были проведены и завершены, а затем проверяете, были ли их результаты опубликованы. Найти список проведенных клинических исследований – задача нелегкая, и для ее выполнения исследователи прибегают к различным стратегиям. Они, например, просматривают список исследований, согласованных к проведению комитетами по этике (или Наблюдательным советом института в США), или отслеживают исследования, обсуждаемые на конференциях.

В 2008 году группа исследователей решила проверить, сколько результатов было опубликовано после проведения исследований антидепрессантов, попавших на рынок в период между 1987 и 2004 гг.12, о которых когда-либо заявлялось в Управление по контролю за качеством пищевых продуктов и лекарственных веществ. Это было нелегким делом. В архивах вышеозначенного правительственного ведомства Америки содержится много информации по всем исследованиям, результаты которых были предоставлены в госорган для получения лицензии на новое лекарство. Но даже в архивах такого ведомства нет полного списка исследований, так как информация о тех, что были проведены уже после выпуска лекарства на рынок, так никогда и не дошла до государственных органов. К тому же большой объем информации, хранящейся в архивах ведомства, затрудняет поиск, а самих данных порой бывает очень мало. Однако в наличие уже есть важная выборка исследований, и этого более чем достаточно для нас, чтобы начать выяснять, как часто пропадают без вести результаты исследований и почему это происходит. Эти данные также можно считать репрезентативным срезом исследований всех крупных производителей лекарств.

Исследователи нашли в общей сложности 74 эксперимента, заслуживающих внимания, где принимали участие 12 500 пациентов. 38 из этих исследований дали положительные результаты, которые подтверждали эффективность препарата, а результат 36 был отрицательным. В итоге данные по негативным и положительным эффектам распределились поровну. Затем исследователи занялись поиском информации об этих клинических экспериментах в научной литературе, опубликованных материалах, открытых для врачей и пациентов. Картина получилась совсем другой. По 37 исследованиям, принесшим положительные результаты, то есть по всем, кроме одного, результаты были опубликованы полностью, часто с хвалебными отзывами. Однако у исследований, показавших отрицательные данные, была другая судьба: было опубликовано только три из них. 22 эксперимента были просто потеряны в анналах истории и не появлялись больше нигде, кроме как в тех пыльных, неряшливо организованных папках, собранных в архиве Управления по контролю за качеством пищевых продуктов и лекарственных веществ. Информация об остальных 11 исследованиях, принесших негативные результаты и хранившихся в сводках ведомства, тоже появилась в научных изданиях, но статьи были написаны так, как будто исследования лекарства закончились успешно. Если вы посчитаете, что все изложенное звучит абсурдно, я соглашусь с вами. В главе 4 «Обман в исследованиях» мы увидим, как результаты исследований могут быть переработаны и «приглажены» так, чтобы можно было исказить их и преувеличить успех.

Это была великолепная работа, в ходе которой было изучено 12 препаратов всех крупных производителей лекарств без выделения какого-либо одного «плохого парня». Они ясно показали расшатанность и хаотичность системы: в действительности было 38 исследований с положительными результатами и 36 с отрицательными, в то время как в научной литературе было найдено 48 статей об успешных исследованиях и 3 о неудавшихся. Потрудитесь остановиться и сравнить эти два соотношения: 38 положительных против 36 отрицательных и 48 положительных против 3 отрицательных.

Если бы речь шла об одном-единственном исследовании, проводившемся одной группой ученых, решивших утаить половину данных, так как они не вписывались в общую картину, которую они хотели получить, тогда вполне уместно было бы назвать произошедшее нарушением правил проведения исследований, должностным преступлением. Однако если подобное творится руками сотен и тысяч ученых по всему миру, в результате чего исчезают целые исследования, финансируемые как государством, так и частными компаниями, это воспринимается как нормальное явление.13 Все это безнаказанно совершается под носом у бдительных государственных ведомств и профессиональных органов надзора, которые годами не предпринимают ничего, несмотря на явный вред, который приносит пациентам утаивание информации.

Еще одно даже более странное наблюдение: о проблеме сокрытия отрицательных данных исследований было известно уже тогда, когда наукой начали заниматься серьезно.

Данный феномен был впервые формально задокументирован психологом Теодором Стерлингом в 1959 году.14 Он просмотрел каждую работу, опубликованную в четырех крупных журналах по психологии того времени, и обнаружил, что результаты 286 из 294 исследований были статистически значимыми. Такие данные, заявил он, неубедительны. Они не могут говорить о беспристрастии всех проведенных исследований, так как, если мы поверим таким результатам, нам придется поверить и в то, что почти каждая теория, проверяемая психологами экспериментальным путем, оказалась верной. Если бы психологи на самом деле умели так блестяще предсказывать результаты проверки своих гипотез, то не было бы почти никакого смысла в проведении каких бы то ни было экспериментов. В 1995 году в конце своей карьеры любопытный психолог снова вернулся к изучению того же вопроса и обнаружил, что почти ничего не изменилось.15

Стерлинг был первым, кто изложил свои подозрения официально и по-научному, однако эта горькая правда научному миру была известна уже на протяжении многих столетий. Френсис Бэкон писал в 1620 году, что мы часто вводим в заблуждение сами себя, когда вспоминаем моменты, когда что-то работало, и забываем случаи, когда оно не работало.16 Фаулер в 1786 году составил список болезней, которые он лечил мышьяком, и подчеркнул, что он мог бы умолчать о своих неудачах, как наверняка захотели бы сделать другие ученые, но несмотря на соблазн включил также в отчет и нелицеприятные данные.17 Он объяснил, что сделать по-другому означало бы ввести в заблуждение читателя.

Однако только 30 лет назад люди начали осознавать, что сокрытие результатов представляет огромную проблему для медицины. В 1980 году Элина Хеммински обнаружила, что почти половина всех клинических исследований, проведенных в Финляндии и Швеции в 70-х годах, осталась неопубликованной.18 Позже, в 1986 году, американский исследователь Роберт Саймс решил проанализировать клинические исследования, проведенные для проверки эффективности нового препарата от рака яичников. Это было важное исследование, так имело отношение к вопросу жизни и смерти. Комбинированная химиотерапия от этого вида рака приводила к очень тяжелым побочным эффектам, и, зная это, многие исследователи надеялись, что можно будет использовать сначала один алкилирующий препарат, перед тем как переходить к полномасштабной химиотерапии. Саймс изучил все исследования, опубликованные по этому вопросу в научных изданиях, читаемых врачами и учеными. На основе прочитанного создавалось впечатление, что прописывать одно лекарство было целесообразнее: женщины с обширным раком яичника (очень неблагоприятный диагноз), которые принимали один лишь алкилирующий препарат, значительно чаще показывали положительную динамику, а продолжительность их жизни была дольше. Затем у Саймса возникла блестящая идея. Он знал, что иногда данные исследований не публикуются, и слышал, что работы, принесшие менее привлекательные результаты, чаще всего пропадают без следа. Однако доказать это было очень сложно: нужно было найти честную, репрезентативную выборку данных всех исследований, которые были проведены, и затем сравнить их результаты с малым набором данных, которые были опубликованы, чтобы увидеть разницу. Получить такую информацию из государственных ведомств по контролю за лекарствами было нелегко (мы обсудим эту проблему далее), и вместо этого он обратился в Международный банк данных по исследованию рака. В нем хранился журнал регистрации всех примечательных клинических исследований, которые проводились в США, включая большинство тех, что спонсировало правительство и другие организации всего мира. Список, попавший к нему в руки, конечно же был неполным, но в нем была одна важная особенность: исследования регистрировались до того, как по ним подавались результаты, и поэтому любой список, составленный при помощи этого источника, должен был представлять, по меньшей мере, репрезентативный срез всех исследований, которые когда-либо были проведены. Кроме того, список был составлен независимо от того, были ли результаты исследований положительными или отрицательными.

Когда Саймс сравнил результаты опубликованных исследований с данными предварительно зарегистрированных исследований, результаты его ошеломили. При изучении научных статей – работ, которые исследователи и редакторы журналов отбирали к публикации, – создавалось впечатление, что применение одних только алкилирующих препаратов было обосновано, так как благодаря им значительно сокращалась частота летальных исходов от рака яичника. Но если посмотреть на результаты только предварительно зарегистрированных исследований, представлявших собой объективную, непредвзятую выборку из всего количества исследований, когда-либо проведенных, то становилось понятно, что новое лечение было ничуть не лучше, чем консервативная химиотерапия.

Саймс тут же сделал вывод (и я надеюсь, что вы согласитесь с ним), что вопрос, являлся ли один метод лечения от рака лучше, чем другой, был слишком незначительным по сравнению с глубинной бомбой, которую закладывали медики, публикуя статьи в медицинских журналах. Мы думали, что знаем все о том, какое лечение было эффективным, а какое нет, однако представленная информация была искажена до такой степени, что сложно было понять, где ложь, а где правда. Но мы точно знали, что такая информация точно окажет значительное влияние на лечение пациентов. Мы смотрели на одни лишь только положительные результаты, не зная об отрицательных. Очевидно, что нужно сделать одну простую вещь: ввести регистрацию всех клинических исследований, требовать, чтобы все регистрировали исследования до того, как начать их, и настаивать на публикации результатов по окончании.

Это было в 1986 году. С тех пор, через поколение, мы мало продвинулись. Я обещаю, что в этой книге не буду перегружать вас данными. Но в то же самое время я не хочу, чтобы какая-либо фармацевтическая компания, правительственное ведомство, профессиональный орган или кто-нибудь еще усомнились в правдивости всей истории и имели возможность уйти от ответственности. Поэтому я перечислю все доказательства сокрытия данных о клинических исследованиях, стараясь быть как можно лаконичнее, и покажу основные подходы, которые были использованы мною. Все, что вы собираетесь прочитать, было добыто благодаря проведению самого последнего систематического обзора проблемы, поэтому вы можете быть уверены, что я предлагаю вам честную и непредвзятую сводку результатов.

Один из исследовательских подходов – взять все исследования, зарегистрированные в журнале госведомства по надзору за медикаментами, проводившиеся с целью получения лицензии на новый препарат, начиная от самых ранних, и затем проверить, встречаются ли сообщения о таких исследованиях в научной литературе. Как мы видели, именно такой метод использовался при проверке, описанной выше, когда исследователи разыскали каждую научную статью о 12 антидепрессантах и обнаружили, что соотношение между положительными и отрицательными результатами 50/50 превратилось в другую пропорцию: 48 положительных и 3 отрицательных исследования. Этот метод широко использовался в других сферах медицины.

• Ли вместе с коллегами, например, нашел отчеты обо всех 909 клинических исследованиях, поданные вместе с заявками на сертификацию 90 новых лекарств, которые попали на рынок с 2001 по 2002 год. Они обнаружили, что были опубликованы сведения о 66 % исследований с положительными результатами и только о 36 % всех остальных.19

• Меландер в 2003 году отыскал все 42 исследования по пяти антидепрессантам, заявка на которые была подана в госведомство по надзору за медикаментами в Швеции в процессе получения сертификата для выпуска на рынок. Данные по всем исследованиям (всего 21), принесшим значимые результаты, были опубликованы, и только 81 % результатов экспериментов, свидетельствовавших о неэффективности, попал в научные статьи.20

• Райзинг и прочие в 2008 году нашли больше искаженных сведений, которые мы разберем позже. Они изучили все исследования лицензированных лекарств, проведенные в течение прошлых двух лет. В анналах сводных результатов Управления по контролю за качеством пищевых продуктов и лекарственных веществ, как только их удалось найти, было обнаружено 164 исследования. Те из них, что принесли положительные результаты, публиковались в научных изданиях в четыре раза чаще, чем прочие, с отрицательными результатами. Кроме того, данные по четырем из исследований с отрицательными результатами были изменены таким образом, чтобы после их публикации в статьях они свидетельствовали в пользу препарата.21

 

Если у вас есть желание, можете ознакомиться с презентациями конференций. Во время конференций делается огромное число презентаций об исследованиях, но по нашей наилучшей текущей оценке только половина сведений с таких мероприятий появляется в научных изданиях.22 Исследования, о которых докладывают на конференциях, почти невозможно найти или процитировать. К ним также сложно получить доступ, потому что по специфическим методам, использованным во время исследования, имеется так мало информации (порой их описание занимает всего один абзац). И, как вы вскоре увидите, не каждое исследование представляет собой честную проверку свойств препарата. Структура некоторых такова, что они становятся пристрастными, поэтому даже такие мелочи имеют значение.

Наиболее свежий систематический обзор исследований, направленных на отслеживание судьбы докладов с конференций, был сделан в 2010 году. В ходе его было найдено 30 различных исследований, изучавших, сколько сделанных на конференциях презентаций, сообщавших о негативном опыте во время клинических исследований, исчезло до того, как стать полноценными научными работами.23 Удивительно, но исследования с нелицеприятными результатами исчезали гораздо чаще.

Если вам повезет, можете отследить исследования по специальному списку, куда они были занесены еще до того, как начались. Обычно такие данные заносят в журнал, который создается специально для ведения контроля за опытами фармакологических компаний. Если говорить о фармацевтической индустрии, то до недавнего момента вам понадобилась бы большая удача, чтобы найти такой список в открытом доступе. С исследованиями, финансируемыми из общественных фондов, ситуация несколько другая, и тут нам предстоит усвоить еще один урок: хотя подавляющее большинство клинических исследований проводится фармацевтическими компаниями, а на их результаты ориентируются все остальные, это явление не ограничено пределами коммерческого сектора.

• К 1997 году имелось уже 4 исследования предвзятого, выборочного подхода, сделанных в форме систематического обзора. Они показали, что исследования со значимыми результатами публиковались в два с половиной раза чаще, чем те, что принесли отрицательные результаты.24

• В работе, выполненной в 1998 году, описывались все эксперименты из двух групп исследований, проведение которых на протяжении прошедших 10 лет финансировали Национальные институты здоровья США. Снова было обнаружено, что исследования со значимыми результатами публиковались чаще.25

• В другой работе анализировались клинические исследования препаратов, зарегистрированные в Национальном агентстве Финляндии. Обнаружилось, что было опубликовано 47 % исследований с положительными результатами и только 11 % с отрицательными.26

• В рамках еще одной работы изучались все клинические исследования, которые прошли через регистратуру фармацевтического департамента офтальмологической клиники с 1963 года. Было опубликовано 93 % данных исследований с положительными результатами и только 70 % с отрицательными.27

 

Этот список данных приводится с одной-единственной целью: показать, что предмет нашего разговора не является неисследованной областью. У нас уже давно есть все доказательства, и их нельзя назвать ни противоречивыми, ни двусмысленными.

Два исследования, проведенные во Франции в 2005–2006 гг., имели в своей основе новый подход: ученые обратились в комитет по этике и получили списки всех исследований, проведение которых тот согласовал. После этого они узнали у исследователей, какие результаты принесли эксперименты – положительные или отрицательные, перед тем как произвести конечное отслеживание опубликованных научных статей.28 Во время первого исследования выяснилось, что значимые результаты публиковались в два раза чаще. Второе дало другую цифру: в четыре раза чаще. В Великобритании двое ученых выслали специальную анкету всем главным исследователям 101 проекта, оплаченного NHS R&D (Траст Национальной системы здравоохранения по исследованию и развитию). Это было исследование не фармацевтических компаний, но о нем все равно стоит рассказать. Результаты получились необычными: не было статистически значимой разницы в частоте публикаций работ с позитивными и негативными результатами.29 Но недостаточно просто привести список исследований. Что мы можем увидеть в целом, систематически отбирая факты, которые имеются в наличии на сегодняшний день?

Нельзя считать идеальным подход, когда исследователи собирают данные каждого эксперимента подобного типа вместе в одной гигантской таблице, чтобы затем вывести суммарную цифру, отражающую количество выборочных публикаций. Ведь все исследования очень разнятся между собой, так как проведены в разных отраслях и разными методами. В том и состоит проблема с проведением мета-анализа. Хотя преувеличивать не стоит: если есть много исследований, сравнивающих одно лекарство, например с плацебо, и во время их всех используется один и тот же метод оценки результатов, тогда можно с чистым сердцем свести их в одну таблицу.

При этом можно на основе аналитического и разумного подхода объединить несколько исследований в группы. Самый последний систематический обзор проблемы избирательного подхода к публикациям данных от 2010 г., из которого взяты примеры выше, сводит вместе факты из различных областей.30 Двенадцать сопоставительных исследований были проведены на основе презентаций на конференциях. Взятые вместе, они показывают, что исследование со значимыми данными публикуется чаще в 1,62 раза. По данным четырех исследований, во время которых изучались списки экспериментов, зарегистрированных до их начала, в целом значимые результаты публиковались в 2,4 раза чаще. Мы привели наиболее оптимистичные оценки масштабов проблемы. Это данные текущего периода, и представленные цифры говорят сами за себя.

Все исчезнувшие данные представляют не просто абстрактный научный интерес: в материальном мире медицины опубликованные данные используются для принятия решений по лечению пациентов. Сокрытие информации отражается на всем, что делают врачи, поэтому стоит оценить точно, насколько сильно она влияет на качество оказываемых медицинских услуг. Во-первых, как мы увидели в случае с ребоксетином, у врачей и пациентов создается неправильное представление о положительном и отрицательном эффекте прописываемого лекарства, в результате чего может быть принято решение, которое приведет к ненужным мучениям или даже смерти больного. Мы можем также выбрать необоснованно дорогие лекарства, если нас убедили, что они более эффективны, чем их более дешевые аналоги. Это приведет к напрасной трате денег и лишению пациентов возможности покупать другие медикаменты, так как бюджет на здоровье никогда не бывает бесконечным.

Также стоит отметить, что информация скрывается и от работников медицины, находящихся на самых разных уровнях служебной пирамиды – снизу доверху. NICE (Национальный институт здравоохранения и качества медицинской помощи), например, создан британским правительством для проведения точной, объективной оценки всех новых лекарств. А между тем это ведомство неспособно ни выявить, ни получить доступ к данным по эффективности препаратов, которые скрывают от него исследователи или компании. У NICE есть больше юридических прав на получение этих данных, чем у меня или у вас, тем более что это ведомство принимает решение об эффективности и рентабельности лекарства от лица Национальной системы медобслуживания населения Великобритании. На самом деле, как мы увидим, Агентство Великобритании по контролю за оборотом лекарств и медицинских товаров и Европейское медицинское агентство – органы, которые решают, какой препарат попадет на рынок в Великобритании, – часто имеют доступ к такой информации, но не делятся ею с широкими слоями населения, врачами или даже с NICE. Это необычная и ненормальная ситуация.

Итак, пока врачи находятся в неведении, пациентам проводят некачественное лечение, прописывают ненужные лекарства и необоснованно дорогие препараты, которые ничуть не лучше их дешевых аналогов. Правительства разных стран платят за бесполезное и дорогое лечение, умножая стоимость вреда, который приносит неправильное и опасное лекарство. Отдельные участники клинических исследований, такие как люди, принимавшие участие в тестировании TGN1412, подвергаются ужасным исследованиям, угрожающим их жизни, уродующим тело. А ведь всего этого можно избежать.

В то же самое время вся отрасль проектирования исследований в медицине недоразвита, так как важные отрицательные результаты скрываются от тех, кто мог бы извлечь из них пользу. Эта проблема касается каждого человека, но особенно она важна для пациентов, страдающих редкими заболеваниями, недугами, которые поражают ограниченное число людей, так как средств на их лечение выделяется мало, а представители исследовательских департаментов фармацевтических компаний обычно не занимаются разработкой препаратов от таких недугов: ведь возможностей для получения прибыли здесь гораздо меньше. Специалисты, занимающиеся созданием лекарств для лечения редких заболеваний, часто имеют дело с уже разработанными средствами, которые испытывались ранее и доказали свою бесполезность при определенных условиях, однако теоретически все же обладают определенным потенциалом для лечения редких болезней. Если результаты ранних работ по этим лекарствам, применявшимся для лечения одной группы заболеваний, отсутствуют, тогда работа по исследованию их пригодности для лечения редких заболеваний становится и труднее, и опаснее. Возможно, уже было выяснено, что такое лекарство эффективно, или были обнаружены другие его свойства, которые могут помочь ускорить исследование. Возможно, уже кто-то выявил, что препарат вреден при лечении других заболеваний, и уже есть важные тревожные сигналы, которые помогут уберечь будущих участников исследования от ненужного риска. Никто не может сказать этого точно.

Наконец, я должен упомянуть, возможно, о наиболее постыдном факте: когда мы позволяем исследователям не публиковать отрицательные данные, мы предаем пациентов, которые участвовали в экспериментах. Эти люди пожертвовали своим здоровьем, а иногда даже жизнями, безотчетно, неосознанно веря, что они совершают благое дело. Они верили, что благодаря их согласию участвовать в эксперименте медики смогут больше узнать о свойствах нового лекарства и это принесет пользу другим пациентам, которые могут попасть в такое же отчаянное положение, что и они, в будущем. На самом деле эту веру нельзя назвать неосознанной: часто об этом прямо говорим им именно мы, исследователи. Мы лжем им, потому что данные могут быть скрыты, и мы знаем об этом.

Так чья же это вина?