Математические методы анализа выборок документов

Мера близости между аннотациями в словарном шкалировании, как и в предыдущем исследовании, основана на мере близости между отдельными терминами словаря. В данной работе был реализован тот же подход, описанный в [Resnik, 1999; Воинов и др., 2004; Воинов, 2005]. В нем используется два источника информации: таксономическая близость терминов в словаре MeSH и их информационное содержание, определяемое по частоте вхождения терминов в некоторую «обучающую» выборку данных.

Как выяснилось в процессе интерпретации результатов, полученных в предыдущем исследовании, выбор информационного содержания в качестве основы для меры близости между терминами, ведет к гипертрофированному вкладу в меру близости между документами таких терминов, которые относительно редко встречаются в обучающей выборке. В результате, взаимное расположение документов в пространстве многомерного шкалирования не всегда соответствует «экспертному», т. е. полученному в результате классического субъективного шкалирования.

В настоящем исследовании мера близости между терминами, имеющими как минимум один общий родительский термин в таксономии MeSH, определяется следующим образом:

где niчисло вхождений i-го термина в обучающую выборку, nj — число вхождений j-го термина в обучающую выборку, pij — число вхождений «минимального» родительского термина для i и j в ту же выборку. Под минимальным понимается такой термин, который входит в обучающую выборку наименьшее число раз. Частоты терминов выше некоторого порогового значения отсекаются. Тем самым достигается та же цель, что и в случае метрики, основанной на информационном содержании: исключить влияние терминов, представленных в подавляющем большинстве документов обучающей выборки и, соответственно, неинформативных для задачи исследования. При этом также исключается и чрезмерное влияние редко упоминаемых терминов. В качестве порогового значения рассматривались 50%, 25%, 10%. В настоящей работе приведены результаты, выполненные с первым из них, т. е. 50%.

Преимущество новой меры близости между терминами по сравнению со старой проверялось с помощью так называемых «положительных контрольных выборок», на которых эффект количественной обработки должен соответствовать ожидаемому. В нашем случае роль положительного контроля играла заданная априори таксономия наследственных болезней, выбранных для исследования. Этот вопрос рассматривается подробно в следующем разделе.

словарный шкалирование интеллектуальный описание.