Введение. 
Многокритериальный подход к оценке результативности научных проектов

Задачи инновационного и диверсифицированного развития отечественной экономики могут быть успешно решены при условии использования новых технологий, основанных в том числе и на научных разработках, имеющих фундаментальный характер. Для достижения этих целей необходимо отобрать научные разработки, представляющие интерес с точки зрения возможности их практического применения. Использование наиболее результативных проектов можно рассматривать как с точки зрения их непосредственного применения на практике (например, патентоспособность или взаимодействие с организациями, в которых предполагается использовать результаты проекта), так и для дальнейшей определенной доработки в случае формирования каких-либо целевых программ (например, программы по высокотемпературной сверхпроводимости [4], программы по нанотехнологиям и т. п.).

Фундаментальные научные исследования также можно трактовать с нескольких позиций. Первый аспект — культурно-образовательный. Результативная реализация проектов позволяет поддерживать (а в ряде случаев и просто сохранять) научные школы, готовить новые профессиональные научные кадры, привлекать молодежь в науку. Второй аспект — познавательный. Наиболее результативные проекты «генерируют» по-настоящему новые знания, без которых просто невозможно говорить о построении «экономики знаний». И, наконец, третий аспект — экономический. В такой трактовке целесообразна оценка наиболее результативных проектов исходя из возможности получения максимальной отдачи от внедрения новых технологий (например, рост производительности труда или экономия материалов) [5].

Анализ литературы. Значительный опыт в организации и проведении экспертизы целевых фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения в федеральных агентствах и ведомствах, накоплен в Российском фонде фундаментальных исследований (РФФИ). Отбор проектов на конкурсной основе с привлечением экспертов проводится в фонде, начиная с 1991 года. В качестве другого примера уместно привести активное развитие в последние годы в России системы венчурных фондов и создание различных технопарков. Проблемам планирования, экспертной оценки и отбора научных исследований посвящено достаточно много работ [3−5], [7], [8], [10].

Конкурсный отбор проектов относится к числу слабо структурируемых задач принятия решений. Для фундаментальных исследований вообще, и для проектов РФФИ в частности, характерна высокая степень неопределенности и риска, связанных с получением нового знания. Специфика задачи требует использования естественного языка описания проблемы на всех этапах отбора проектов, как при оценке экспертами, так и при получении объяснений принимаемых решений. Для эффективного использования результатов научных исследований необходимо формализовать понятие «результативность проекта» применительно к целевым фундаментальным исследованиям, выполняемым в интересах федеральных агентств и ведомств, на основе принятой в РФФИ системы критериев.

В соответствии с установленной в РФФИ методикой несколько экспертов оценивают завершающиеся проекты целевых фундаментальных исследований по восьми качественным критериям, имеющим порядковые шкалы оценок с вербальными описаниями, характеризуемыми небольшим числом градаций качества (2−5). Такой подход позволяет получить от экспертов более достоверную информацию и оперировать профессиональным языком с использованием терминологии, в определенной степени унифицированной для представителей разных областей знаний. Анкета оценки отчета о выполнении исследований состоит из двух больших разделов: оценка полученных результатов проекта и ожидаемые результаты завершающей стадии проекта. Эти аспекты играют существенную роль при формализации понятия «результативность проекта» и позволяет сформировать интегральный показатель результативности.

Существует несколько различных методологических подходов, которые позволяют конструировать интегральные показатели на основании агрегирования признаков, описывающих рассматриваемые объекты [1]. Однако, например, методы, использующие свертку многих критериев с применением весовых коэффициентов [2], не позволяют по агрегированным критериям восстановить исходные данные, т. е. получение объяснений принятых решений фактически невозможно. Кроме того, весьма затруднительно обосновать назначение весов критериев, особенно при наличии нескольких экспертов.

Во многих практических случаях разработку интегральных показателей целесообразно свести к задаче многокритериальной порядковой классификации. Интегральные показатели будут выступать в этом случае в качестве классов решений. Именно такой подход использован для формализации понятия «результативность проекта». Для разделения проектов на несколько упорядоченных классов (групп) можно воспользоваться одним из методов вербального анализа решений, ориентированного на построение классификации многопризнаковых объектов, например, методом ОРКЛАСС [6]. Вместе с тем при количестве критериев равном 8 и 2−5 оценках на шкалах критериев от эксперта потребуются достаточно большие временные затраты для построения полной непротиворечивой порядковой классификации.

Цель статьи — для преодоления указанных трудностей разработан метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний), основанный на последовательном снижении размерности признакового пространства, образованного дискретными качественными (вербальными) признаками [9]. Метод предоставляет в распоряжение лица, принимающего решение (ЛПР), инструментарий, дающий возможности агрегировать большое число исходных характеристик в небольшое число составных критериев, имеющих небольшие шкалы оценок, отражающих предпочтения ЛПР. При построении шкал составных критериев используются разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.