Экспериментальная выборка. 
Тематически-ориентированный подход в задаче поиска эксперта

Для того, чтобы данный алгоритм работал эффективно, был проведен анализ обучающей выборки, который показал, что научные публикации представлены в следующих областях: лингвистика, право, политология, экономика, менеджмент, математика, бизнес-информатика. На основе полученных результатов, была сформирована экспериментальная выборка. В набор текстовых документов вошли научные статьи, представленные в областях обучающей выборки. Ресурсом для данного набора стали профессионально ориентированные научные онлайн журналы. Итак, экспериментальная выборка представлена 100 статьями из упомянутых ранее сфер научной деятельности.

Результаты

Как было упомянуто выше, в экспериментальную выборку вошло 100 статей из тематик: лингвистика, право, политология, экономика, менеджмент, математика, бизнес-информатика. Используя скрипт, позволяющий определять эксперта из сотрудников ВШЭ, была проведена оценка публикаций.

Как результат, программа оценивала вероятность, с которой тот или иной кандидат является экспертом в области статьи из экспериментальной выборки. Таким образом, каждая статья была оценена с помощью модели LDA. Результатом данной практики был список 11 кандидатов в эксперты и вероятность, с которой данный кандидат является экспертом и мог бы прокомментировать или оценить статью.

Таблица 1. Максимум и минимум результата оценки экспериментальной выборки.

В таблице 1 можем увидеть максимальные и минимальные оценки, которые мы получили используя LDA алгоритм. Как видим, даже максимальный уровень вероятности находится на очень низком уровне — чуть больше 1,5%. Для удобства проведения анализа полученных результатов, была проведена нормировка. Максимальную вероятность мы взяли как 100% вероятность, после чего рассчитали процентную вероятность для каждого вероятностного значения. После проведения нормировки, средний уровень %-ной вероятности составил 18%.

После того, как все статьи экспериментальной (тестовой) выборки были вероятностно оценены, необходимо было провести проверку работы данного алгоритма.

Для оценки полученных результатов необходимо было провести оценку кандидатов в эксперты для каждой статьи из экспериментальной выборки. Для этого каждый кандидат был определен профессиональными интересами и списком публикаций (ресурс — сайт Нижегородского филиала Высшей Школы Экономики, рубрика — «Преподаватели и сотрудники»), что в результате сопоставлялось с содержанием статьи. Каждый кандидат оценивался по шкале от 0 до 10, когда 0 — кандидат предположительно не имеет знаний в области публикации, 10 — кандидат предположительно является экспертом в области публикации.

После того, как был проведен процесс оценки кандидатов, мы получили оценку результатов, полученных при использовании модели LDA.

В таблице 2 можем увидеть пример того, как выглядит результат оценки статьи.

Стоит заметить, что не все результаты мы смогли оценить. Дело в том, что данный метод в качестве результата определяет фамилию кандидата. Однако, некоторые фамилии достаточно популярны и в этом случае, оценить уникального автора невозможно. Кроме того, невозможность оценки кандидата появлялась в том числе и тогда, где не был представлен список научных публикаций, либо профиль данного кандидата по той или иной причине отсутствовал на сайте. По этим причинам, оценки присвоены лишь 54% результатов, что существенно ухудшает качество оценки результатов.

Таблица 2. Пример результата эксперимента.

Таким образом, мы получили, что средняя оценка 3,5 балла из 10. Однако, это не является критерием оценки работы данной модели. Для 91 из 100 статей был найден по крайней мере один эксперт (оценки 7, 8, 9, 10 баллов), который смог бы прокомментировать статью, обладая внушительными знаниями в конкретной тематике. Последующий анализ показал, что более 50% статей, для которых не был определен эксперт не включали в себя краткое содержание статьи, ключевых слов и имя автора, что предположительно и ухудшило результаты. Данные статьи представлены в следующих тематиках: философия, право, математика, информатика, политология.

Для того, чтобы более точно оценить работу данного алгоритма, был проведен анализ максимума значений оценок данного эксперимента.

В первую очередь, были рассмотрены позиции максимума, которые можно увидеть на графике 2.

График 2. Позиция максимума.

Данный график показывает, что не существует определенной зависимости между значением максимума оценки кандидата и его местом в списке. Однако, стоит заметить, что большинство неоцененных кандидатов присутствовали в начале списка. Возможно, в ситуации, если бы у нас была возможность оценить всех экспертов данный график выглядел бы иначе.

Кроме позиций максимумов, также была проанализирована взаимосвязь значений максимумов оценок, которые были присвоены мануально и значений вероятностей, которые были присвоены алгоритмом LDA.

Таблица 3. Максимум, минимум, среднее значение полученных результатов.

В таблице 3 приведены результаты значений максимумов, минимумов, а также средних, результатов работы алгоритма LDA. Наибольшее значение вероятности предположительно говорит о том, что данная статья с большой вероятностью относится к похожей тематике. Таким образом, значение максимумов должно было оказаться выше значений всех присутствующих результатов. Но данные в этой таблицы противоречат нашим предположениям. Видим, что как среднее значение, так и значение максимума гораздо выше по всей выборке, а не по значениям максимумов. Это может говорить о том, что значение вероятности не связано со значением максимумов. Это означает, что алгоритм не всегда точно оценивает вероятность «попадания» статьи в скрытую тематику.

Для того, чтобы более точно проследить зависимость оценки и самой работы алгоритма, была построена функция максимумов, которая представлена на графике 3.

График 3. Функция максимумов значений оценки.

На данном графике можем увидеть зависимость между оценкой и значением в рейтинге релевантности, созданным алгоритмом. Хотя существует большое количество кандидатов, которые не являются кандидатами, алгоритм также показывает эффективную работу — находится хотя бы один эксперт.

Кроме того, можем заметить, что появление эксперта не является зависимым от места в рейтинге, созданным моделью LDA.

Стоит отметить, что не смотря на то, что созданная нами программа неоднозначно ранжирует кандидатом, мы можем говорить о том, что данный алгоритм с точностью 90% в каждом случае «нашел» хотя бы одного эксперта для каждой статьи из экспериментальной выборке. Это говорит о достаточной продуктивности модели LDA даже на русскоязычных источниках (хотя экспериментальная выборка достаточно сильно отличается от обучающей).