Оценка результативности научных проектов

В качестве примера использования технологии ПАКС рассмотрим задачу многокритериальной оценки результативности проектов целевых фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований (РФФИ) и выполняемых в интересах федеральных агентств и ведомств [10]. В РФФИ накоплен значительный опыт в организации и проведении экспертизы фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения.

В соответствии с действующим в РФФИ порядком экспертиза проектов проводится в несколько этапов и сочетает в себе индивидуальную оценку независимых экспертов и последующее коллективное обсуждение заявок. Первоначально каждый проект рассматривается несколькими экспертами, которые дают письменные аргументированные заключения и многокритериальную оценку содержания заявки (при проведении конкурсного отбора) и полученных результатов (при завершении проекта). Содержание заявки и полученных результатов оцениваются по специальным экспертным анкетам, которые содержат критерии, имеющие словесные шкалы оценок с развернутыми формулировками градаций качества. По каждому критерию эксперт выбирает только одну из имеющихся градаций оценок.

В дальнейшем заявки и отчеты обсуждаются в экспертном совете РФФИ по соответствующей области знаний, который с учетом заключений экспертов принимает решение о принятии проекта, продолжении выполнения или отклонении проекта, объемах его финансирования. В разных видах конкурсов используются свои наборы критериев оценки, но во всех конкурсах шкалы критериев имеют вербальные (качественные) градации. Такой подход позволяет оперировать оценками, в определенной степени унифицированными для представителей разных областей знаний, и получить от экспертов более достоверную информацию.

Одним из важных направлений деятельности РФФИ в настоящее время является оценка возможностей практического применения результатов научных исследований в отраслях экономики. Для выявления наиболее результативных проектов целевых фундаментальных исследований необходимо было формализовать само понятие «результативность проекта». Результативность проектов может рассматриваться как с позиций непосредственного применения полученных результатов на практике, так и для формирования целевых программ. При формализации результативности целевых фундаментальных исследований за исходные (базовые) показатели были приняты критерии, содержащиеся в анкете РФФИ для экспертной оценки отчета о выполнении проекта, которые учитываются при формировании интегрального показателя результативности проекта.

Анкета экспертной оценки отчета состоит из двух разделов: оценка полученных результатов и ожидаемые результаты завершающей стадии проекта. Раздел «Оценка полученных результатов проекта» включает 4 критерия: K₁. Степень выполнения заявленных задач проекта; K₂. Оценка научного уровня полученных результатов; K₃. Патентоспособность полученных результатов; K₄. Перспективы использования полученных результатов. Раздел «Ожидаемые результаты завершающей стадии проекта» характеризует возможности практической реализации проекта и состоит из 4 критериев: K₅. Ожидаемые результаты завершающего этапа выполнения проекта; K₆. Решение задач, поставленных в завершающей части проекта; K₇. Наличие трудностей в работе по проекту; K₈. Взаимодействие с организациями, в которых предполагается использовать результаты проекта (заполняется только для итогового отчета).

Каждый критерий имеет порядковую или номинальную шкалу оценок с двумя или тремя развернутыми словесными формулировками градаций качества. Например, степень выполнения заявленных в проекте задач оценивается по критерию K₁ как 0 — задачи выполнены полностью, 1 — задачи выполнены частично, 2 — задачи не выполнены. Решение задач, поставленных в завершающей части проекта, оценивается по критерию K₆ как 0 — реально или 1 — нереально.

Итак, множество объектов (научных проектов) исходно описывается восемью показателями (критериями) K₁,…,K₈, которые имеют следующие шкалы: X₁={0,1,2}; X₂={0,1,2}; X₃={0,1}; X₄={0,1,2}; X₅={0,1}; X₆={0,1}; X₇={0,1}; X₈={0,1,2}, где 0 обозначает лучшую оценку, 1 — среднюю (или худшую), 2 — худшую. Таким образом, размерность исходного признакового пространства X₁…X₈ равна 1296. Критерием верхнего уровня является «Результативность проекта», градации оценок по шкале которого (наивысшая, высокая, средняя, низкая, неудовлетворительная) определяют упорядоченные классы решений D₁,…,D₅. Требуется разбить множество комбинаций градаций оценок на пять упорядоченных классов результативности D₁…D₅. Очевидно, что непосредственная классификация 1296 вариантов требует существенных трудозатрат ЛПР.

Построение интегрального показателя результативности научного проекта рассматривается как решение задачи многокритериальной порядковой классификации по иерархической системе критериев, которая строится с помощью технологии ПАКС путем снижения размерности признакового пространства. В качестве многопризнаковых объектов выступают комбинации градаций оценок проектов по критериям, агрегированные показатели играют роль классов решений. ЛПР имеет возможность различным образом формировать понятие «Результативность проекта» и сравнивать интегральные показатели, сконструированные различными способами. Было предложено два способа агрегирования множества комбинаций исходных градаций оценок по критериям в промежуточные составные критерии, градации оценок по которым, в свою очередь, агрегировались в интегрированный критерий верхнего уровня.

Первый способ формирования иерархической системы критериев воспроизводит структуру анкеты отчета. Разделам «Оценка полученных результатов» и «Ожидаемые результаты завершающей стадии проекта» сопоставляются два составных критерия BK₁ и BK₂. В таком случае исходные оценки по критериям K₁, K₂, K₃, K₄ попадают в составной критерий BK₁, а исходные оценки по критериям K₅, K₆, K₇, K₈ — в составной критерий BK₂. Критерии BK₁ и BK₂ имеют порядковые шкалы с четырьмя вербальными градациями: высокая, хорошая, средняя, низкая, которые выступают как классы решений первого уровня для исходных признаков (критериев).

Наборы всех градаций оценок по составным критериям считаются далее объектами классификации следующего уровня, где классами решений D₁,…, D₅ являются градации шкалы оценок составного критерия верхнего уровня иерархии Z={z₁, z₂, z₃, z₄, z₅}. Здесь z₁ — наивысшая результативность (класс D₁), z₂ — высокая результативность (класс D₂), z₃ — средняя результативность (класс D₃), z₄ — низкая результативность (класс D₄), z₅ — неудовлетворительная результативность (класс D₅).

Другой возможный способ формирования иерархической системы критериев состоит во введении трех иных составных критериев: AK₁. Уровень полученных результатов, AK₂. Уровень ожидаемых результатов завершающей стадии проекта и AK₃. Возможности использования результатов в программах федеральных агентств и ведомств. Составной критерий AK₁ объединяет исходные оценки по критериям K₁, K₂ и K₃; составной критерий AK₂ — оценки по критериям K₅, K₆ и K₇; составной критерий AK₃ — оценки по критериям K₄ и K₈.

Для составных критериев AK₁, AK₂, AK₃ заданы порядковые шкалы с тремя градациями: Y₁={0,1,2}, Y₂={0,1,2}, Y₃={0,1,2}, где значения 0,1,2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений первого иерархического уровня. Совокупности кортежей (x₁^e1,x₂^e2,x₃^e3), (x₅^e5,x₆^e6,x₇^e7), (x₄^e4,x₈^e8) выступают в качестве классифицируемых объектов первого уровня. Рассмотрим теперь наборы всех градаций оценок по составным критериям (y₁^e1,y₂^e2,y₃^e3) в пространстве Y₁Y₂Y₃ как новые классифицируемые объекты следующего иерархического уровня. Классами решений D₁,…,D₅ являются градации оценок шкалы Z={z¹,z²,z³,z⁴,z⁵} составного критерия верхнего уровня иерархии. Агрегируя градации оценок по критериям AK₁, AK₂, AK₃, получим соответствующие оценки для шкалы Z показателя результативности (рис. 6).

Рис. 6. Схема построения критериев и формирования шкал оценок

Шкалы составных критериев конструировались ЛПР с помощью методов стратификация кортежей и ОРКЛАСС. Градации шкал оценок для составных критериев AK₁, AK₂, AK₃, сформированные методом ОРКЛАСС, представлены соответственно на рис. 7а, б, в. К классу 0 «Высокий уровень полученных результатов» (градация y₁¹=0) относится следующая комбинация оценок: (000), (001), (010), (100); к классу 1 «Средний уровень полученных результатов» (градация y₁²=1) — комбинации оценок (011), (021), (101), (111), (201), (110), (200), (020), (210), (120); к классу 2 «Низкий уровень полученных результатов» (градация y₁³=2) — комбинация оценок (121), (211), (221), (220). Здесь и далее для простоты записи опущены запятые между компонентами векторов оценок.

Аа).		бб).		вв).

Рис. 7. Схема формирования шкал оценок для составных критериев AK₁, AK₂ и AK₃.

Класс 0 «Высокий уровень ожидаемых результатов» (градация y₂¹=0) образует комбинация всех лучших оценок (000); класс 1 «Средний уровень ожидаемых результатов» (градация y₂²=1) — все остальные комбинации оценок (001), (011), (101), (100), (010), (110); класс 2 «Низкий уровень ожидаемых результатов» (градация y₂³=2) — комбинация всех худших оценок (111).

Класс 0 «Большие возможности использования результатов» (градация y₃¹=0) составляют все лучшие оценки (00); класс 1 «Средние возможности использования результатов» (градация y₃²=1) — комбинации оценок (01), (10), (02), (11), (20); класс 2 «Малые возможности использования результатов» (градация y₃³=2) — комбинации оценок (12), (21), (22).

Комбинации градаций оценок по составным критериям AK₁, AK₂, AK₃ агрегировались далее с помощью метода стратификации кортежей. С геометрической точки зрения эта процедура состоит в «нарезке» многомерного параллелепипеда (прямоугольника) в пространстве исходных признаков на группы признаков составного критерия. К примеру, класс D₁ «Наивысшая результативность» (градация z¹) состоит из всех лучших оценок (000); класс D₂ «Высокая результативность» (градация z²) — из комбинаций оценок (100), (010), (001), (002), (101), (011), (200), (110), (020); класс D₃ «Средняя результативность» (градация z³) — из комбинаций оценок (102), (012), (201), (111), (021), (210), (120); класс D₄ «Низкая результативность» (градация z⁴) — из комбинаций оценок (202), (112), (022), (211), (121), (220), (212), (122), (221); класс D₅ «Неудовлетворительная результативность» (градация z⁵) — из всех худших оценок (222). Градации оценок для шкалы Z критерия D приведены на рис. 8.

Рис. 8. Схема формирования шкалы оценок для интегрального критерия D.

Таким образом, реальные варианты, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. При первом способе конструирования интегрального показателя результативности для построения конечных классов решений D₁,…, D₅ потребовалось получить от ЛПР ответы соответственно на 43 и 17 вопросов при формировании шкал составных критериев AK₁ и AK₂ и ответы на 12 вопросов при формировании шкалы Z агрегированного критерия. При втором способе конструирования интегрального показателя результативности для построения конечных классов решений D₁,…,D₅ ЛПР давал ответы при формировании шкал составных критериев AK₁, AK₂, AK₃ — соответственно на 16, 6 и 7 вопросов, шкалы Z агрегированного критерия — на 22 вопроса. Приведенные числа задаваемых ЛПР вопросов существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.

Разработанный подход к анализу результативности целевых фундаментальных исследований был апробирован на массиве реальных экспертных оценок отчетов по проектам, законченным в 2007 году в областях знаний 01. Математика, информатика и механика (48 проектов), 03. Химия (54 проекта), 07. Информационные и телекоммуникационные ресурсы (21 проект). Каждый отчет оценивался двумя экспертами по восьми исходным критериям K₁ — K₈. Интегральный показатель верхнего уровня D. «Результативность проекта» конструировался двумя способами, описанными выше: агрегируя оценки по критериям K₁-K₄ и K₁-K₄ в два промежуточных составных критерия BK₁ и BK₂; объединяя критерии K₁-K₃, K₅-K₇, и K₄, K₈ в три промежуточных составных критерия AK₁, AK₂, AK₃.

Градации шкалы интегрального показателя (классы результативности проектов) были сформированы с использованием четырех комбинаций различных методов вербального анализа решений: M₁ — метод ОРКЛАСС на всех уровнях иерархии критериев (ОК); M₂ — метод стратификации кортежей на всех уровнях иерархии критериев (СК); M₃ — стратификация кортежей на нижнем уровне иерархии критериев и ОРКЛАСС на верхнем уровне иерархии критериев (СК+ОК); M₄ — ОРКЛАСС на нижнем уровне иерархии критериев и стратификация кортежей на верхнем уровне иерархии критериев (ОК+СК). Пример распределения проектов по классам результативности, основанный на многокритериальных оценках двух экспертов, дан на рис 9.

Рис. 9. Пример распределения проектов по классам результативности.

Анализ оценок результативности проектов показал следующее. Например, по области 03 наивысшую результативность имеют при первом способе конструирования интегрального показателя результативности 16 проектов, а при втором способе 6 проектов; высокую результативность — соответственно 75 и 40 проектов; среднюю результативность — 13 и 59 проектов; низкую результативность — 2 и 1 проект; неудовлетворительную результативность — 2 и 2 проекта. Таким образом, первый способ агрегирования оценок по критериям дает более высокое значение интегрального показателя результативности, чем второй способ.

В целом по оценкам двух экспертов значения интегрального показателя результативности совпадают в 74% и 48% случаях (по области 01); в 72% и 24% случаях (по области 03); в 76% и 62% случаях (по области 07). Первое число относится к оценкам первого эксперта, второе — второго. В остальных случаях значения интегрального показателя результативности отличались не более чем на одну градацию, что можно рассматривать как свидетельство достаточно высокой устойчивости итоговых результатов оценки результативности проектов по исходным данным и выбранным способам построения шкал составных критериев на всех уровнях иерархии.

Лучшие по результативности проектов определялись с использованием метода группового упорядочения многопризнаковых объектов АРАМИС [6]. Оценки результативности проекта, полученные с помощью одной из комбинаций методов M₁, M₂, M₃, M₄, будем считать теперь новыми признаками, характеризующими проект. Каждый такой признак M_j может принимать одно из значений m_j¹, m_j², m_j³, m_j⁴, m_j⁵, которые соответствуют классам D₁, D₂, D₃, D₄, D₅ результативности проекта. Тогда каждый проект A_i представляется как мультимножество.

A_i={k_{Ai(m1¹)?m1¹,…,kAi(m1⁵)?m1⁵;…; kAi(m4¹)?m4¹,…,kAi(m4⁵)?m4⁵}.}

над множеством методов M=M₁M₂M₃M₄. Здесь кратность k_{Ai(mj^hj), hj=1,…, 5, j=1,…, 4 каждого значения признака в мультимножестве Ai показывает, сколько раз метод mj^hj использовался при формировании соответствующего класса результативности по оценкам всех экспертов; знак? обозначает, что в описании проекта Ai имеется kAi(mj^hj) копий признака mj^hj.}

К примеру, проекты 1 и 2, показанные на рис. 9, представляются следующими мультимножествами:

A₁={1?m₁¹, 0?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 1?m₂¹, 1?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

1?m₃¹, 0?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 1?m₄¹, 1?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵},.

A₂={0?m₁¹, 1?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 0?m₂¹, 2?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

0?m₃¹, 1?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 0?m₄¹, 2?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵};

Наилучший A_max и наихудший A_min проекты (возможно, и гипотетические) имеют самые высокие и самые низкие значения оценок по всем признакам и представляются как мультимножества.

A_max={2?m₁¹, 0,…, 0; 2?m₂¹, 0,…, 0; 2?m₃¹, 0,…, 0; 2?m₄¹, 0,…, 0},.

A_min={0,…, 0, 2?m₁⁵; 0,…, 0, 2?m₂⁵; 0,…, 0, 2?m₃⁵; 0,…, 0, 2?m₄⁵}.

Проекты A₁,…,A_p рассматривались как точки метрического пространства мультимножеств и упорядочивались по близости к наилучшему (идеальному) проекту A_max. Итоговое упорядочение проектов по результативности, полученное таким образом, к примеру, по области знаний 01. Математика, информатика и механика, выглядит так: 23 проекта имеют самую высокую результативность, 23 проекта — высокую результативность, 1 проект — результативность, промежуточную между высокой и самой высокой.

Результаты апробации подтвердили эффективность предложенного подхода. Были выявлены проекты целевых фундаментальных исследований, имеющие высокую результативность, что обеспечивает расширение сферы практического применения результатов законченных работ.