Насколько часто положительный результат оценки эффективности вмешательства оказывается ложным

Анализ серийных клинических испытаний

Для проведения исследования по оценке вероятности ложноположительного результата в серии исследований в качестве источника были использованы данные с сайта Управления по надзору за качеством пищевых продуктов и медикаментов (Food and Drug Administration, FDA, США) [50]. Данный сайт имеет раздел, где представлены отчеты о всех препаратах, прошедших одобрение Управления по надзору за качеством пищевых продуктов и медикаментов [48]. Препараты могут проходить процедуру одобрения по разным причинам: новые показания, изменение дозировки препарата, новая форма выпуска, новая технология изготовления, новое сочетание известных активных веществ в одном препарате. Все эти причины предполагают, что первоначальное одобрение по поводу эффективности препарат уже получил ранее, и за прошедшее время могли быть проведены испытания подтверждающие эту эффективность. А препараты, которые не подтвердили свою эффективность в повторных исследованиях, уже были отвергнуты, и не запрашивают одобрения регуляторных органов. Поэтому все препараты, проходящие повторную регистрацию составляют смещенную выборку, в которой доля действительно эффективных препаратов будет выше, чем среди всех испытуемых лекарств.

Чтобы повторные исследования не оказывали влияния, в качестве анализируемых серий исследований были выбраны только те препараты, которые проходят одобрение Управления по надзору за качеством пищевых продуктов и медикаментов как имеющие в своем составе новую молекулярную субстанцию. В таблице на сайте FDA они маркированы единицей. Из таких препаратов выбираются только те, которые согласно предоставленной истории одобрений прошли процедуру одобрения впервые и имеют сопровождающие файлы с информацией, предоставляемой потребителю, сопроводительное письмо об одобрении FDA, обзор и резюме обзора о препарате. В резюме обзора предоставлена информация, какие исследования послужили доказательной базой для подтверждения клинической эффективности препарата.

По указанным названию препарата, названию действующего вещества и синонимам этого названия производится поиск в базе данных регистров клинических испытаний для обнаружения всех зарегистрированных исследований данного препарата. Поскольку в исследовании нас интересует оценка эффективности препаратов, то мы не берем в расчет исследования о биодоступности, фармакокинетике и другие виды исследований, а выделяем только контролируемые испытания, в которых на каком-либо этапе проверялась эффективность лечебного вмешательства с использованием данного препарата. Поиск опубликованных результатов испытаний производится в базе данных PubMed [56].

Из всех обнаруженных опубликованных результатов испытаний выбираются те испытания, в которых была показана статистически значимая эффективность исследуемого препарата. В этих публикациях производится поиск значений би в-ошибок. Если по каким-то причинам обнаружить точные указания не удается, то б-ошибка принимается равной 0,05, а в-ошибка равной 0,2 как наиболее распространенные параметры данных показателей, значения которых считаются приемлемыми. Поскольку во многих исследованиях эффективность препарата измеряется по нескольким исходам, то в качестве значения б-ошибки берется максимальное значение p из всех исходов, которые были расценены исследователями как доказательство эффективности препарата. Доля истинных гипотез среди проверяемых вычисляется как отношение числа испытаний, показавших статистически значимый положительный результат, к общему числу испытаний эффективности, проведенных с данным препаратом. Все эти значения подставляются в формулу Байеса, приведенную в первой главе, и вычисляется вероятность того, что полученный результат анализируемого исследования в данной серии исследований является ложноположительным.

Препарат Zykadia, действующее вещество Ceritinib, синоним LDK378. Был одобрен Управлением по надзору за качеством пищевых продуктов и медикаментов США (FDA) 29 апреля 2014 года по ускоренной процедуре. Препарат предназначен для лечения немелкоклеточного рака легких. Компания-производитель — Novartis Pharmaceuticals Corporation [61]. Согласно резюме обзора эффективность и безопасность препарата была доказана в исследовании, которое упоминается под номерами CLDK378X2101 и CLKD378X2101. Официальное название исследования: «A phase I, multicenter, open-label, dose-escalation study of LDK378, administered orally in adult patients with tumors characterized by genetic abnormalities in anaplastic lymphoma kinase (ALK)». В регистре clinicaltrials.gov это исследование обнаруживается под номером NCT01283516 и заглавием «A Dose Finding Study With Oral LDK378 in Patients With Tumors Characterized by Genetic Abnormalities in Anaplastic Lymphoma Kinase (ALK) «.

В регистре clinicaltrials.gov при поиске на «Zykadia» и «Ceritinib» не обнаруживается никаких исследований. При поиске на LDK378 обнаруживается 12 записей. Из них одна является опубликованным протоколом исследования и поэтому не принимается во внимание. 8 записей являются исследованиями, в которые продолжается набор участников, следовательно они не являются законченными и не имеют готовых результатов. Три остальных исследования, включая то, основываясь на котором было принято решение о регистрации препарата, не являются контролируемыми и рандомизированными, поэтому не могут быть использованы в расчетах вероятности ложноположительного результата из-за ошибки первого рода. Рандомизированные контролируемые испытания третьей фазы с этим препаратом пока что только начаты, и информация о их регистрации есть в регистре clinicaltrialsregister. eu, но результатов пока что нет.

Препарат Impavido, действующее вещество Miltefosine. Зарегистрирован FDA 19 марта 2014 года как препарат для лечения лейшманиоза. Согласно резюме обзора эффективность препарата подтверждена клиническими испытаниями. Эффективность при лечении висцерального лейшманиоза подтверждена двумя рандомизированными испытаниями, одно из которых было испытанием не меньшей эффективности. Подтверждением эффективности при кожном лейшманиозе являются три испытания, два из которых являлись рандомизированными.

При поиске в регистрах клинических испытаний наиболее полный список, полностью включающий в себя списки других регистров, обнаруживается при поиске на «miltefosine» в регистре clinicaltrials.gov. В списке обнаруживается 24 записи. Из них два исследования находятся на стадии набора участников, в одном исследовании набор еще не начат, и поэтому исключаются из анализа. Среди остальных 21 исследований статус 5 исследований неизвестен, 3 исследования прекращены, 12 исследований завершены, одно указано как активное с завершенной записью участников. Из этих исследований 4 исключено из анализа, поскольку не являются рандомизированными, в одном исследовании сравниваются разные курсы и дозы только исследуемого препарата, еще в трех сравниваются комбинации препаратов с использованием исследуемого, одно исследование не является сравнительным. Таким образом в анализ было включено 12 исследований подходящего дизайна и статуса.

Для пяти [39; 40; 43; 55; 62] зарегистрированных исследований опубликованные результаты не обнаруживаются. Для пяти [21; 25; 28; 34; 37] исследований опубликованы результаты, но в них не обнаруживается статистически значимых различий между группой с применением мильтефазина и группой сравнения. Два исследования [22; 23] показали статистически значимые преимущества в эффективности мильтефазина по сравнению с препаратом сравнения. В одном исследовании [22] уровень статистической значимости был равен 0,04, в другом исследовании [23] он был равен 0,05. В обоих исследованиях с «положительным» результатом не указан уровень допустимой в-ошибки, поэтому его будем считать равным 0,2. В виду большого влияния публикационного смещения все неопубликованные результаты будем считать не показавшими различий.

Подставим полученные результаты в формулу Байеса из первой главы. Для первого исследования получим:

Для второго исследования получим:

Таким образом из серии исследований, проведенных для испытания препарата мильтефазин следует, что положительный результат, показанный в исследовании [22] с вероятностью 20% является ложноположительным. А положительный результат, показанный в исследовании [23] с вероятностью 24% является ложноположительным.

Препарат Osphena, действующее вещество Ospemifene, был одобрен FDA 26 февраля 2013 года для лечения средней или сильной болезненности полового акта у женщин или симптомов вагинальной атрофии во время менопаузы.

При поиске в регистрах клинических испытаний в clinicaltrials.gov обнаруживается 7 записей о клинических испытаниях, в clinicaltrialsregister. eu обнаруживается 3 записи, все 10 записей собраны в регистре ВОЗ.

Из десяти исследований в одном [33] изучалась безопасность препарата и не оценивалась его клиническая эффективность, одно исследование [32] не являлось контролируемым исследованием. Еще одно исследование [44] пока что не начато и не набирает участников. Из семи оставшихся исследований, подходящего дизайна, о двух исследованиях обнаруживается недостаточно информации: нет результатов или отсутствует статистический анализ полученных результатов — поэтому, учитывая возможное публикационное смещение, они будут рассматриваться как не показавшие статистически значимого результата. Об оставшихся пяти исследованиях обнаруживается достаточно информации в отдельных публикациях или в отчете FDA, по которой можно судить о статистической значимости полученных различий между экспериментальными и контрольными группами.

В двух исследованиях по всем оцениваемым исходам был получен результат о различиях в группах, чья статистическая значимость была равна или меньше 0,0001 [17; 27]. В одном исследовании максимальное значение p из всех сравниваемых параметров составило p=0,0136 [13]. Еще в двух исследования, хотя они рассматриваются как показавшие статистически значимый результат и многие параметры в них показали достаточно низкое значение p, по одному из исходов значение p превышало 0,05 и составило p=0,0853 [60] и p=0,080 [26]. Ни в одном исследовании не был отдельно указан расчетный уровень в-ошибки, поэтому в расчетах использовано значение 0,2.

Для исследований, показавших значение p<0,0001.

Для остальных исследований:

Таким образом для исследований, показавших наименьшее значение p, вероятность ложноположительного результата исследования очень невысока и составляет не более 0,005%. Для исследований с большим значением p в данной серии исследований, вероятность ложноположительного результата составляет 0,68%, 4% и 3,38%, что не превышает традиционный 5% уровень ошибки первого рода.

Препарат Luzu, действующее вещество Luliconazole, одобрен FDA 14 ноября 2013 года. Препарат выпускается в виде 1% крема и предназначен для лечения грибковых поражений стоп, вызванных организмами Trichophyton rubrum и Epidermophyton floccosum.

При поиске клинических исследований в регистре clinicaltrials.gov обнаруживается три записи о зарегистрированных испытаниях, в регистре ВОЗ обнаруживается четыре записи, включающие указанные три, в регистре clinicaltrialsregister. eu не зарегистрировано ни одного испытания данного препарата. Одно [54] из четырех исследований не является сравнительным. Одно исследование [58] пока еще не завершено и не имеет результатов. Кроме того в резюме обзора упоминаются три исследования эффективности препарата [59]. Об одном из этих исследований обнаруживается публикация в базе данных PubMed [20], о двух других исследованиях информации обнаружить не удалось. Тот факт, что препарат испытывался в исследованиях, которые не были предварительно зарегистрированы в регистрах клинических испытаний, может говорить об имеющемся публикационном смещении.

Из пяти описанных исследований в трех, хотя и приведены результаты по группам, не указано значение p для статистической значимости различий результатов между препаратом и плацебо. В одном исследовании значение указано как p<0,001 [20]. В пятом исследовании [19] не указано значение p для сравнения эффективности люликоназола с другими препаратами, проходившими испытание. Таким образом из пяти исследований в 4 статистическая значимость различий неизвестна, и поэтому будет рассчитываться как не значимая.

Вероятность ложноположительного результата исследования составляет 0,5%.

Препарат Juxtapid, действующее вещество Lomitapide mesylate, одобрен FDA 21 декабря 2012 года. Препарат предназначен для снижения уровня липопротеинов при различных состояниях в комплексе с другими мерами лечения.

При поиске в регистрах клинических испытаний на «Lomitapide» и его синонимы «AEGR-773» и «BMS-201 038» в регистре clinicaltrials.gov обнаруживается 14 исследований, в clinicaltrialsregister. eu находится 3 записи, в регистре ВОЗ выявляется 9 записей, дублирующих два других регистра.

Из 17 исследований 6 еще не завершены и не имеют результатов, в 5 не проводилась оценка эффективности, в двух исследованиях не проводилось сравнения. Четыре исследования являются рандомизироваными контролируемыми испытаниями подходящего дизайна.

В одном исследовании [46] статистическая значимость полученных различий результатов в экспериментальных и в контрольной группе составила p<0,001. Другое исследование не показало статистической значимости в сравнении ломитапида с другими группами [29]. Для двух исследований представлены полученные результаты [38; 47], однако не удалось найти статистической обработки полученных данных и, соответственно, узнать статистическую значимость различий, поэтому она рассматриваются как не показавшие значимых различий.

Для исследования, показавшего в данной серии статистическую значимость, вероятность ложноположительного результата составляет не более 0,37%.