Несовершенства в применении научно обоснованных методов в доказательной медицине

Публикационное смещение

За несколько десятилетий существования доказательной медицины как самостоятельного направления науки был выявлен ряд несовершенств, которые имеют научно обоснованные методы, применяемые в доказательной медицине для оценки эффективности вмешательств, и для некоторых из них были предложены решения.

Публикационное смещение является одним из важных явлений, оказывающих негативное влияние на правильность научных выводов. Это явление наблюдается не только в области доказательной медицины, но и в некоторых других экспериментальных науках. Проблема публикационного смещения состоит в том, что не все исследования, которые проводятся в области медицины и здравоохранения, в итоге оказываются опубликованными и доступными для дальнейшего анализа другими исследователями. Вероятность того, что некое исследование окажется неопубликованным или недоступным для других исследователей, не является случайной, а зависит от природы исследования и его результатов [42]. Поскольку основным источником информации для медицинского сообщества являются именно публикации исследований, важно иметь возможность оценить наличие и степень публикационного смещения при сборе информации. Уменьшение публикационного смещения оказывается в интересах всего медицинского сообщества.

Публикационное смещение может возникать в следствие разных причин. Принято выделять несколько типов публикационного смещения [42].

• 1. Смещение на этапе публикации. Будут опубликованы результаты исследования или не будут, может зависеть от результатов этого исследования.
• 2. Смещение во времени публикации. Время, за которое исследование будет полностью завершено, описано и опубликовано, может зависеть от результатов исследования.
• 3. Смещение в результате множественных публикаций. От результатов исследования может зависеть, будет ли оно опубликовано однократно или многократно.
• 4. Смещение из-за места размещения публикации. В зависимости от результатов исследования оно может попадать в журналы и базы данных с разной степенью доступности и цитируемости.
• 5. Смещение в результате цитирования. Уровень цитирования исследования зависит от результатов исследования.
• 6. Языковое смещение. Публикация исследования на определенных языках может зависеть от результатов, показанных в исследовании.
• 7. Смещение в сообщении исходов. Избирательное сообщение одних исходов и умалчивание о других исходах может зависеть от результатов, полученных по тем и другим исходам в исследовании.

Причина появления публикационных смещений разных типов состоит в том, что «положительный» результат исследования, то есть данные, доказывающие, что исследуемое вмешательство оказывает какой-то статистически значимый эффект, рассматривается исследователями, редакторами, издателями и читателями научной литературы как более значимый по сравнению с «отрицательным» результатом. В связи с этим исследования, показывающие статистически значимый «положительный» результат имеют больше шансов быть опубликованными по сравнению с исследованиями, показывающими, что эффекта вмешательства не обнаружено. Также исследования, доказывающие эффективность вмешательства, публикуются быстрее, у них больше вероятность быть опубликованными на английском языке и в более авторитетном журнале. Кроме того исследования с «положительным» результатом чаще публикуются повторно по сравнению с исследованиями об отсутствии значимого эффекта. А поскольку доказанное наличие статистически значимого результата кажется исследователям более весомым, чем отсутствие статистически значимого результата, то и цитируют такие исследования чаще [42].

Публикационное смещение может иметь большое значение для систематических обзоров и мета-анализов. Создание систематических обзоров с мета-анализами призвано обобщить результаты всех исследований, проведенных в какой-то сфере (это может быть отдельное вмешательство или несколько вмешательств при каком-то состоянии). Подобное обобщение результатов многих исследований с применением статистических методов позволяет нивелировать случайные и некоторые систематические ошибки, присутствующие в отдельных исследованиях, и с помощью вычислений приблизиться к истинному результату о размере эффекта вмешательства. Но при наличии публикационного смещения может сложиться ситуация, когда исследователю, проводящему мета-анализ, будут доступны исследования, показывающие наличие эффекта, и не доступны исследования, показывающие отсутствие эффекта. Результат такого мета-анализа будет сдвинут в сторону большего размера эффекта, что приведет к ошибочным выводам.

Из-за возможного искажения общей картины в результате публикационного смещения, а также в силу того, что любое исследование на людях несет в себе определенный риск и возможный вред для участников, вопрос публикации результатов исследования имеет этический аспект.

Научное медицинское сообщество сходится в том, что должны публиковаться результаты всех клинических испытаний. Однако на практике исследователи не всегда выполняют свои обязательства по публикации исследований, не всегда публикуют результаты в полном объеме, поэтому возникает необходимость в механизмах, которые бы противодействовали бы публикационному смещение или давали бы возможность оценить наличие такого смещения и степень его выраженность.

В качестве одного из способов для оценки публикационного смещения используется создание воронкообразного графика. Воронкообразный график представляет собой простую точечную диаграмму по одной из осей которой отложен размер эффекта, показанный в отдельных исследованиях, а по другой оси указан размер исследования или его точность. Обычно эффект откладывается по горизонтальной оси, а мера величины исследования по вертикальной оси. Поскольку точность исследования (в качестве ее меры может быть взята дисперсия или стандартная ошибка) должна повышаться по мере увеличения размера исследования, то можно отмерять размер исследования его точностью. Кроме того по мере увеличения размера исследования, оценка имеющегося эффекта от исследуемого вмешательства должна становиться точнее. А оценка эффекта в более мелких исследованиях должна быть разбросана шире друг относительно друга. Таким образом в нижней части диаграммы находятся точки, обозначающие небольшие исследования, достаточно далеко разбросанные. В верхней части диаграммы отмечены более крупные исследования, чьи точки лежат более кучно. Итоговый график похож на перевернутую воронку [36; 42].

В случае имеющегося публикационного смещения, причиной которого являются обнаруженные результаты исследования, часть точек, которые должны были бы быть на диаграмме, будут отсутствовать. И весь график приобретет асимметричный вид. Обычно асимметричность графика возникает за счет отсутствия части малых по размеру (или точности) исследований.

Хотя этот метод и позволил обнаружить значительные смещения и выявить несовершенства в проведенных мета-анализах, сам он также имеет ряд ограничений. Публикационное смещение разных типов (в том числе смещение из-за времени и места публикации) является только одной из возможных причин асимметричности воронкообразного графика. Кроме него причиной асимметричности могут быть ошибки в дизайне исследований, что чаще встречается в небольших исследованиях, ошибки анализа результата или даже подлог результатов. В некоторых случаях асимметрия является результатом различия в популяциях, исследованных в малых и в больших исследованиях. Небольшие по размеру исследования могли проводиться на пациентах с более тяжелой формой заболевания, в которых ожидаемо размер эффекта будет больше, чем среди пациентов с менее выраженными проявлениями болезни. Для некоторых статистических показателей, например отношения рисков, ожидаема некоторая асимметрия, поскольку их параметры соотносятся со стандартной ошибкой. Также асимметрия может быть результатом случайности, особенно, если количество исследований, включенных в мета-анализ невелико, поэтому проверку воронкообразным графиком имеет смысл проводить, только если в анализ включено не менее десяти разных исследований [36; 42].

Вторым важным ограничением применения оценки по воронкообразному графику является то, что решение о том, является ли график асимметричным или симметричным достаточно субъективно. Только в случаях сильно выраженного смещения можно твердо говорить о асимметричности. Чтобы снизить влияние субъективного суждения специалиста, используются дополнительные методы оценки асимметричности графика, например, линейная регрессия [15].

Другим способом избежать публикационного смещения и повысить ответственность исследователей по своевременной публикации результатов проведенных клинических испытаний является регистрация исследований в регистрах клинических испытаний. На данный момент существуют национальные и международные регистры клинических испытаний. Крупнейшим регистром является, являющийся службой Национальных институтов здоровья США [41], позволяющий регистрацию из любой точки мира, а также допускающий ретроспективную регистрацию исследований [1]. Существует регистр Европейского Союза www.clinicaltrialsregister.eu и международный регистр Всемирной организации здравоохранения http://apps.who.int/trialsearch/ [45; 52]. В России существуют реестры выданных разрешений на клинические испытания медицинских изделий и клинические исследования лекарственных препаратов, которые для некоторых целей могут быть использованы аналогично зарубежным регистрам клинических испытаний [2; 3].

Первые законодательные требования о регистрации клинических испытаний в общедоступной базе данных были приняты Конгрессом США в 1997 году [49]. Международный комитет редакторов медицинских журналов (ICMJE) в 2005 году рекомендовал принимать к публикации только те отчеты о клинических испытаниях, которые были зарегистрированы в открытых регистрах клинических испытаний до или во время включения первого пациента в исследование. Такие же требования остались и в современной версии Рекомендаций о проведении, сообщении, редактировании и публикации научных работ в медицинских журналах [57]. В 2006 году Всемирная организация здравоохранения заявила о необходимости регистрировать все проводимые клинические испытания. А в 2008 году в Хельсинскую декларацию было включено требование: «Любое клиническое испытание должно быть зарегистрировано в базе данных, доступной для просмотра населением, перед набором первого субъекта» [4].

Проспективная регистрация клинических испытаний должна привести к тому, что информацию о том, что-то или иное испытание было проведено, было невозможно утаить вне зависимости от полученных результатов исследования. Теоретически, это должно уменьшить публикационное смещение. Однако, на практике оказывается, что даже при проведении регистрации с публикацией могут возникать трудности. Во-первых, регистрация клинического испытания не избавляет от смещения публикации во времени. Даже если в итоге все результаты клинических испытаний будут опубликованы, можно предположить, что испытания, в которых были получены статистически значимые отличия, будут опубликованы раньше, чем клинические испытания, не показавшие статистически значимого результата. Во-вторых, это не избавит от языкового смещения и смещения места публикации. Вероятно, что на английском языке и в более авторитетных журналах будет больше опубликовано испытаний, показавших «положительный» результат. В-третьих, даже если все медицинские журналы будут публиковать только своевременно зарегистрированные клинические испытания, это не значит, что часть зарегистрированных испытаний не окажется неопубликованной вовсе. Исследования показывают, что только 10% от всех клинических испытаний, зарегистрированных на ClinicalTrials.gov на декабрь 2012 года, и 15% от зарегистрированных и завершенных клинических испытаний имеют опубликованные результаты [31].

Такой объем неопубликованных результатов клинических исследований вызывает беспокойство и озабоченность у специалистов. В связи с этим в январе 2013 года была запущена кампания AllTrials, целью которой является регистрация, публикация и доступность всех результатов всех проводимых клинических испытаний [1].

Значительное публикационное смещение наблюдается среди исследований, темой которых являются методы лечения в области психиатрии. Так в 2008 году был проанализирован отчет FDA об испытаниях антидепрессантов и соответствующие публикации исследований. Было выявлено, что из исследований, в которых приняло участие более 12 000 пациентов, опубликованными оказались лишь 37 исследований из 38, которые FDA сочло показывающими положительный результат. А из тех 36 исследований, которые были расценены FDA как исследования с отрицательным или спорным результатом, 22 не были опубликованы вовсе. 11 из 14 опубликованных исследований предоставляли информацию о тех исходах, которые показали положительный результат. Если судить по публикациям, то 94% исследований имели положительный результат. Если судить по сообщению FDA, то эффективность лечения показал только 51% испытаний. Благодаря этому публикационному смещению оцениваемый эффект от лечения увеличился на 32% [24].

Значительное смещение во времени публикаций было обнаружено в исследованиях терапии ВИЧ. Было обнаружено, что как минимум 13 испытаний 6 антивирусных препаратов оставались не опубликованными не менее трех лет с момента окончания испытания. Эти исследования включали в себя не менее 3779 пациентов. По крайней мере 9 из этих 13 испытаний получили отрицательный предварительный или итоговый результат. Два больших исследования изопринозина, показавшие отрицательный результат, остались не опубликованными, тогда как результаты испытания, показавшего положительный результат, было опубликовано в авторитетном журнале с высоким импакт-фактором [24].

Для организации и экономики здравоохранения публикационное смещение имеет важные отрицательные последствия. Под влиянием публикационного смещения все исследуемые в клинических испытаниях медицинские вмешательства оказываются более эффективными, чем они есть на самом деле. То есть осмысленность и эффективность денежных трат на предоставление новых лечебных, профилактических и диагностических вмешательств оказывается стабильно завышенной по сравнению с реальным положением дел. Аналогично новое оборудование, которое обычно является и более дорогим, чем существующее, благодаря публикационному смещению может быть подано как более эффективное, дающее более точную диагностику или больший лечебный эффект. Таким образом публикационное смещение может приводить к неверно принятым решениям о трате дополнительных денежных ресурсов системы здравоохранения на неэффективные вмешательства.

Как видно из приведенных примеров публикационного смещения, эта проблема затрагивает самые разные области здравоохранения. Решение о предоставлении или не предоставлении пациентам новых препаратов для лечения депрессии или ВИЧ, а также других частых заболеваний, может иметь значительные экономические последствия. Во-первых, новые препараты почти всегда оказываются дороже старых, поэтому решение предоставить новый препарат, который кажется более эффективным, будет стоить системе здравоохранения больших расходов. Во-вторых, если новый препарат окажется менее эффективным, чем использовавшийся прежде, то большее число пациентов окажется невылеченными и, соответственно, не смотря на увеличение расходов, бремя болезни для общества также возрастет.

Оценка публикационного смещения должна производится всегда, когда речь идет об оценке эффективности препарата и связанных с этим решениях будь то регистрация препарата для доступа на рынок, решение о предоставлении препарата за счет средств общественного здравоохранения, решение о включении препарата в перечни и стандарты лечения. Правильная оценка публикационного смещения значительно повышает рациональность и эффективность расходования средств здравоохранения.