Современные методы оценки значимости научных журналов

Постановка и анализ состояния проблемы Работа выполнена при финансовой поддержке Российского гуманитарного научного фонда № 13−06−350 от 13.06.2013 в рамках темы «Мониторинг качества непрерывного образования». В настоящее время научно-педагогическое сообщество признаёт актуальность проблемы объективной оценки (диагностики) как продуктивности деятельности конкретного научного работника, так и значимости изданий (журналов) для научного сообщества [1−21]. Важнейшая задача внедрения наукометрических показателей для оценки значимости журналов — их стимулирование к повышению уровня (качества) издаваемых статей, а в целом — значимости для научного сообщества. Это связано с тем, что одна из важнейших функций науки — трансляция нового знания, создание условий для устойчивого развития всех сфер человеческой деятельности и общества в целом. Например, едва ли было бы возможно в бывшем СССР и современной России развитие науки о физической культуре и спорте (а также практики подготовки спортсменов высшего класса) без журнала «Теория и практика физической культуры» (существует с 1925 года, издаётся Российским государственным университетом физической культуры, спорта и туризма, недавно вошёл в международную наукометрическую базу Scopus). Актуальность вышеуказанной задачи возрастает в условиях бурного развития российской экономики, инновационного развития всех сфер человеческой деятельности, интеграции России в мировое поликультурное пространство.

В настоящее время общепризнанными показателями значимости научного издания (журнала) являются импакт-фактор и индекс оперативности. Последний отражает, насколько быстро реагирует научное сообщество на публикации в издании: это — отношение числа полученных журналом в некотором году ссылок на статьи, вышедшие в том же самом году, к суммарному числу статей, вышедших за этот же год в этом же журнале. Как было отмечено ранее [5], несовершенство данного показателя в том, что оперативность реакции на публикации зависит, помимо качества статей и респектабельности журнала, от многих других факторов. Кроме того, оперативность реакции научного сообщества на определённую публикацию не означает её высокого качества (даже если судить по формальным критериям, основанным на цитируемости): впоследствии публикацию могут перестать цитировать. В то же время, важное достоинство данного показателя — в том, что он позволяет судить о том, насколько значимо новое знание, транслируемое журналом, в научном сообществе, а также в том, что данный показатель в меньшей мере зависит от всевозможных вненаучных факторов.

Наиболее неоднозначным является первый показатель — импакт-фактор (для изданий, индексируемых в Scopus, используют параметры SJR и SNIP, которые по своей природе они мало отличаются от импакт-фактора). Напомним, что это — отношение ссылок на статьи журнала, изданных за предыдущие два года, полученных в текущем году, к количеству статей, изданных в том же журнале за те же два предыдущих года. С одной стороны, указанный показатель привлекает своей объективностью (данный показатель «оценивают» широкие круги научного сообщества, а не узкий круг экспертов). С другой стороны, возникает вопрос: в какой мере данный показатель отражает реальную значимость издания для научного сообщества?

Во-первых, различают импакт-фактор издания с учётом самоцитирований и без их учёта (последний показатель ценится значительно выше). Но самоцитированием считают ссылку на статью Х1, изданную в журнале А, из статьи Х2, изданной в том же журнале, А при этом самоцитированием для издания не считают ссылку на статью Х1 автора Y1, если она имеется в статье Х3 того же автора, но в другом журнале В. Такой подход вызывает вопросы. Если статья автора Y1 значима для другого научного работника Y2 (не являющегося даже соавтором Y1), издающегося в том же журнале А, то почему ссылка считается «не значимой» для журнала? С точки зрения авторов (настоящей статьи), в данном случае журнал выполняет функцию трансляции (распространения) научного знания, хотя традиционная методика расчёта импакт-фактора это не учитывает. И, наоборот, если автор цитирует свою же статью, но в другом журнале (т.е. статья имеет значение именно для него, а не для других научных работников), то почему ссылка является «значимой» для журнала? Имеет ли здесь место реальная трансляция научного знания?

При расчёте импакт-фактора учитывают ссылки на статьи (и сами статьи), изданные в журнале за предыдущие два года. Но где обоснование такого подхода (посему не за предыдущий год, или три года, или пять лет)? Даже в библиографических списках диссертационных работ не устаревшими считаются литературные источники за последние пять лет. Кроме того, и факторы ссылок на статьи могут быть различными, не всегда связанными с их (статей) реальной научной значимостью.

Природа импакт-фактора такова, что его повышение возможно лишь двумя способами: увеличение (в том числе искусственное) количества ссылок на статьи журнала и сокращение числа публикаций. С одной стороны, издание должно заботиться о том, чтобы публиковались статьи действительно высокого уровня. С другой стороны, чрезмерное стремление «сократить» знаменатель может привести к дегуманизации науки, к повышению риска отсеивания доброкачественных статей, к угасанию интереса научного сообщества к изданию.

Кроме того, импакт-фактор не позволяет выявлять высококачественные публикации, имеющие фундаментальное значение; на такие статьи поступают ссылки в течение нескольких лет после их издания. В качестве примера можно привести статьи (например, [3]) из журнала «Педагогика» (издаётся с 1937 года, издатель — Российская Академия Образования), которые содержат базовые сведения для научных исследований по педагогическим научным специальностям.

В целом, совокупное применение двух показателей не позволяет учитывать и другие аспекты значимости журнала. Для авторов нет сомнений, что любое издание — социальная система с «управляющей» составляющей (редакционной коллегией, редакционным советом, рецензентами, научными консультантами и т. д.) и «управляемой» — авторами статей. В ряде случаев авторитет журнала в научном сообществе обусловлен авторитетом, как членов редакционной коллегии, так и авторитетом авторов. Например, решающую роль в становлении авторитета журнала «Теория и практика физической культуры» сыграло то, что среди авторов его статей в различные годы и десятилетия были всемирно известные учёные в области физической культуры и биомеханики, а также выдающиеся тренеры, такие как В. К. Бальсевич, В. С. Фарфель, Л. В. Чхаидзе, И. М. Козлов, Н. Г. Озолин, Я. К. Коблев, Ю. В. Верхошанский, Л. П. Матвеев и др. А ведь устойчивость организации — один из важнейших показателей её зрелости [1, 2, 6, 8].

Парадоксальность ситуации особенно обозрима на фоне того, что современные информационные технологии открывают новые возможности для решения наукометрических задач (которые в настоящее время используются не полностью). И российские, и международные наукометрические базы позволяют получать значительные объёмы первичной информации о результатах деятельности, как конкретных научных работников, так и научных изданий (журналов). Таким образом, оценка значимости журналов для научного сообщества осуществляется по весьма ограниченному набору параметров, которые определяют на основе обработки первичной мониторинговой информации.

Из теории систем и системного анализа известно, что объективная оценка (и, как следствие, диагностика — важнейшая составляющая мониторинга — информационного механизма управления) должна быть многопараметрической (система критериев должна быть, прежде всего, операционной, т. е. указывать на целевой ориентир, и функциональной, т. е. отражать различные аспекты цели [2, 4, 5, 7, 8, 10]). Анализ практики управления (и мониторинга, как его информационного механизма) в различных сферах человеческой деятельности показал, что «абсолютизация» какого-либо показателя неизбежно приводит к печальным последствиям, что согласуется с законом Гурхарда: «когда какой-либо показатель становится самоцелью, он перестаёт быть хорошим показателем». Неизбежным следствием узости (однопараметричности) мониторинга является управленческий примитивизм с иными (сопряжёнными с ним) негативными последствиями. Отсюда следует, что диагностика значимости издания для научного сообщества должна быть мультипараметрической: только в этом случае она будет объективно отражать реальную значимость журнала для научного сообщества. В рамках статьи авторы сделали попытку ответить на вопрос: какими должны быть методы оценки значимости (влиятельности) журналов для научного сообщества, обладающие должной дифференцирующей способностью и объективностью? Цель исследования — разработка новых методов оценки значимости научных журналов. Достижение данной цели — промежуточный этап на пути к исследованию информативности выделенных параметров, отражающих значимость издания.

Методология исследования. Методологические основы исследования: системный подход (рассматривает науку как социальный институт в неразрывной связи с обществом в целом), метасистемный подход (рассматривает результаты научной деятельности как метасистему, т. е. систему с относительно независимыми компонентами), вероятностно-статистический подход (рассматривает исследовательскую деятельность как вероятностный процесс), синергетический подход (рассматривает науку как самоорганизующуюся систему), квалиметрический подход (рассматривает продуктивность научной деятельности как латентную переменную, отражаемую множеством критериев). Методы исследования: анализ научной литературы по наукометрии и практики оценки наукометрических показателей (в российских условиях), когнитивное и математическое моделирование, методы квалиметрии.

Результаты исследования. Не отрицая значимости и объективности признанных показателей значимости журналов, авторы считают целесообразным дополнить существующую систему критериев новыми параметрами, вычислимыми на основе использования первичной мониторинговой информации (например, с помощью РИНЦ).

Первый параметр — число высококачественных (с точки зрения цитируемости) статей, изданных в журнале. Высококачественной будем считать статью, если она за всё время с момента издания набрала индекс цитирования не менее 8. Индекс цитирования статьи рассчитаем следующим образом:. Здесь: N — число «сторонних» ссылок (не имеет значения, в анализируемом журнале или ином издании), М — число самоцитирований, L — число цитирований соавторами (любого из членов авторского коллектива). Как видно, данная формула делает бессмысленными попытки искусственного увеличения числа ссылок путём самоцитирования или «договорённости». В то же время, в одном самоцитировании и двух цитированиях соавторами нет ничего «предосудительного», если статья действительно имеет значение для обеспечения преемственности научной деятельности автора или его соавторов. Предложенный параметр не учитывает фактор времени, т.к. вероятность цитирования статьи убывает по мере появления новых публикаций в журнале. В то же время высококачественные статьи, имеющие фундаментальное значение (обычно служат теоретической основой выполнения диссертационных работ или грантовых исследований), будут цитироваться даже по истечении «двух лет».

Порог индекса цитирования статьи (равный 8) авторы объясняют тем, что доброкачественная (в плане цитируемости) статьи должна набрать не менее пяти «сторонних» цитирований. Это возможно при соблюдении одного из двух условий: либо статья интенсивно цитируется в течение короткого промежутка времени (быстро становится известной и значимой), либо в течение длительного времени стабильно цитируется, обладая фундаментальным значением (градация длительности в пять лет взята из соображений, что при выполнении литературного обзора по анализу состояния научной проблемы наибольшую значимость представляют источники не старше пяти лет).

Второй параметр — средний индекс цитируемости высококачественных статей (по методике авторов). Данный показатель не будет связан с первым корреляционной зависимостью, т.к. число ссылок на различные высококачественные статьи может быть различным. Например, в двух разных журналах изданы шесть высококачественных статей. Но в журнале, А их индексы цитирования 10, 10, 9, 8, 8 и 8, а в журнале В — 15, 14, 12, 12, 11 и 8 (как видно, различия статистически достоверны).

Третий показатель — интегративный индекс качества и разнообразия статей в журнале: данный индекс равен Z, если не менее Z статей, изданных в журнале, имеют индекс цитирования (вычисляемый по авторской методике) не менее Z. Все три вышеуказанных показателя имеют гуманистическое значение: они не «стимулируют» издание к искусственному сокращению статей, принимаемых к публикации. Оппоненты могут возразить: данные показатели ставят «новые» издания в неравное положение со «старыми». Но в науке есть такое понятие, как уровень зрелости организации (по аналогии в педагогической науке: устойчивость образовательной среды). Очевидно, организация (а журнал всегда издаёт научная, образовательная или иная организация) не может считаться зрелой (находиться на высших уровнях зрелости, согласно европейской классификации), если она моложе пяти лет. В то же время, пять и более лет — достаточный срок для того, чтобы определить, значимо издание для научного сообщества или нет.

Следующая группа показателей отражает широту влияния издания на научное сообщество, помогая преодолеть «провинциализм» науки (оторванность одного научного сообщества от другого). Данные параметры рассчитывают для конкретного отчётного года; в то же время по их динамике возможно судить об изменении влияния издания на научное сообщество, а также уровень зрелости издания (для совершенствующегося уровня все параметры должны только возрастать). Четвёртый параметр — коэффициент географической широты ссылок (со стороны научных работников) на статьи журнала — число регионов, в которых проживают и работают научные работники, сделавшие ссылки на статьи журнала. Если в публикации — источнике ссылок на статью анализируемого журнала — авторы из разных регионов (субъектов Российской Федерации), то учитываются все регионы. Пятый параметр — индекс географической широты: он равен Q, если не менее чем из Q регионов сделано не менее чем Q ссылок (из каждого) на статьи анализируемого журнала. Шестой параметр — коэффициент географической широты ссылок (со стороны научных изданий) на статьи журнала — число регионов, в которых издаются журналы — источники ссылок на статьи анализируемого журнала. Четвёртый и шестой показатели не следует путать. Авторы статьи (источника ссылок) могут проживать в регионах Х1, Х2, Х3, а опубликовать статью в журнале, издаваемом в регионе Х4. И, наоборот, автор статьи проживает в регионе А1, а публикует статьи (источники ссылок) в регионах А2, А3, А4 и т. д. Седьмой параметр — индекс географической широты журналов (источников ссылок): он равен W, если не менее чем из W регионов (в которых издаются источники ссылок) получено не менее чем W ссылок (от каждого) на статьи анализируемого журнала. Восьмой и девятый параметры — соответственно коэффициент и индекс широты ссылок со стороны организаций, десятый и одиннадцатый — со стороны сообщества авторов (при такой оценке, безусловно, следует исключать самоцитирования). значимость статья журнал индекс Широту влияния журнала на научное сообщество нельзя недооценивать. Например, журнал «Теория и практика физической культуры» читали и читают не только во всех регионах России, но и в других странах.

Не «исключая» импакт-фактор из системы критериев, авторы считают целесообразным предложить двенадцатый показатель. Алгоритм его расчёта следующий. Пусть издание (журнал) существует F лет. Тогда вычисляют F коэффициентов, при этом,. Здесь: sj — суммарное число ссылок (полученных в любом издании в любой период времени) на статьи журнала (исключая авторские самоцитирования, а не цитирования в том же журнале «сторонними» авторами по отношению к авторскому коллективу), изданные в j-м году (отсчитывая от текущего), Sj — суммарное число статей, изданных в анализируемом журнале в j-м году (отсчитывая от текущего). Например, если в 2009 году в неком журнале было издано 400 статей, на которые за все года (начиная с 2009) были получены 350 ссылок (исключая авторские самоцитирования), то именно это число учитывают в формуле (а не за мифические два года). Иначе говоря, показатель fi — среднее количество ссылок на статьи журнала, изданные за i лет и полученные за i лет. Тогда истинный индекс влиятельности журнала .

Следующая группа параметров будет отражать авторитетность (значимость) членов социальной системы (издания, журнала). Тринадцатый параметр — средний индекс Хирша управляющей подсистемы — членов редакционной коллегии и совета (а также научных консультантов). Четырнадцатый параметр — суммарный индекс неформальной значимости членов управляющей подсистемы:. Здесь: di — ненормированный весовой коэффициент (в зависимости от статуса) i-го члена редакционной коллегии или совета, D — число членов управляющей подсистемы (редакционной коллегии, редакционного совета, научных консультантов и т. д.). Например, следует различать весовой коэффициент доктора наук и двойного доктора наук (либо заслуженного деятеля науки) и т. д. Пятнадцатый параметр — суммарный индекс цитируемости членов управляющей подсистемы:. При подсчёте индивидуального индекса цитируемости конкретного члена управляющей подсистемы учитывают все периоды времени его научной деятельности, исключая самоцитирования, цитирования соавторами и даже сторонние цитирования в управляемой подсистеме (анализируемом журнале), т. е. учитываются только сторонние ссылки на статьи члена редколлегии, полученные в сторонних изданиях.

Определим теперь параметры, характеризующие управляемую систему — сообщество авторов анализируемого журнала. Шестнадцатый параметр — индекс Хирша авторского сообщества: авторское сообщество имеет индекс Хирша, равный Н, если не менее чем Н членов авторского сообщества имеют индивидуальный индекс Хирша, не меньший Н. Семнадцатый показатель — устойчивость (наличие авторского ядра) социального сообщества авторов журнала: она равна L, если не менее чем L авторов имеют не менее чем L статей в анализируемом журнале. Восемнадцатый показатель — индекс элитности авторов статей в анализируемом журнале (наличие сообщества авторов, имеющих устойчиво высокорейтинговые публикации): индекс элитности равен Е, если не менее чем Е авторов журнала получили сторонние (по отношению к ним) ссылки на статьи, изданные ими в анализируемом журнале (т.е. данный показатель отражает заслугу журнала в повышении цитируемости его авторов). Девятнадцатый показатель — широта географии авторов журнала — количество регионов, в которых проживают и работают авторы журнала. Данный показатель целесообразно определять для журнала не моложе пяти лет. Двадцатый показатель — мощность множества научных организаций, в которых работают члены авторского сообщества.

Известно, что значимость издания обусловлена его взаимодействием с остальным научным сообществом (сетью изданий), а «взаимодействие» означает «взаимное действие». Последние два показателя отражают степень использования авторским сообществом анализируемого журнала результатов исследований, опубликованных в других изданиях. Двадцать первый показатель — число изданий, на которые авторы данного журнала делали ссылки в пристатейном списке литературы. Двадцать второй показатель — индекс разнообразия пристатейных ссылок: он равен g, если не менее чем на g сторонних изданий имеются не менее чем g ссылок.

Возникает правомерный вопрос: следует ли авторитетность издающей организацией считать фактором-детерминантом авторитетности издаваемого журнала? Авторы считают, что нет. Именно авторитетность журнала в научном сообществе должна быть одним из факторов авторитетности издающей организации. В то же время, издающая организация должна создавать журналу (как её относительно автономной социальной подсистеме) условия для его развития, для взаимодействия с научным сообществом.

Чтобы диагностика значимости издания (журнала) для научного сообщества была объективной, она должна быть, прежде всего, мультипараметрической. Интегральную диагностику значимости издания (состояния его деятельности) возможно на основе универсальной методики, предложенной в монографии [2]; данная методика предполагает, что общее состояние диагностируют на основе градации оценки частных критериев и последующего применения «решающих правил»; при этом целесообразно ввести такие же градации для научной значимости журналов, как и для экономического состояния предприятий: «процветающее», «благополучное», «нормальное», «предкризисное» и «кризисное».

Авторы настоящей статьи считают целесообразным ещё раз напомнить: любую сферу деятельности губит не сама идея применения количественных показателей, а неадекватные методы диагностики и системы показателей. Авторы твёрдо стоят на позиции: критериально-диагностический аппарат любой системы мониторинга (в том числе системы мониторинга научной деятельности) должен быть спроектирован таким образом, чтобы его применение не способствовало ухудшению одних показателей за счёт искусственного «улучшения» других. Задача объективной оценки в любой сфере, в том числе научной, всегда разрешима; но оценка должна быть мультипараметрической, а набор критериев — постоянно пополняемым. Напомним также, что наукометрические показатели (как и любые показатели) должны быть операциональны (чётко показывать целевые ориентиры), а система показателей — функционально полной (отражать все аспекты объекта управления). Безусловно, предложенный набор параметров должен быть со временем уточнён и дополнен.

Заключение

Объективная оценка значимости научных изданий — не менее трудная задача, чем оценка продуктивности научного работника. Ведь социальные системы — всегда большие (очень сложные) системы, открытые, неравновесные, подчиняющиеся законам теории вероятностей. Но современные информационные технологии (типичный пример — Российская электронная научная библиотека) открывают новые перспективы для решения сколь угодно сложных задач, важно «всего лишь» подобрать адекватные методы первичной мониторинговой информации.

Перспективы исследования — анализ и всесторонняя интерпретация первичной фактической информации о значимости ряда журналов для научного сообщества, с целью выявления показателей, характеризующихся наибольшей значимостью и дискриминативностью. Анализ и обобщение результатов исследования позволили сделать следующие выводы:

• 1. Объективная диагностика значимости издания (журнала) для научного сообщества — одна из сложнейших метрологических задач. В соответствии с принципами системного анализа и требованиями квалиметрии, значимость издания для научного сообщества следует рассматривать как интегральный показатель (латентную переменную), который можно отразить с помощью набора частных критериев (индикаторных переменных).
• 2. Набор наукометрических показателей, отражающих значимость (прежде всего — востребованность) научного издания, должен в обязательном порядке учитывать не только ссылки (цитаты) на публикуемые статьи, но также другие аспекты, обусловленные научным сообществом.
• 3. Современные информационные технологии позволяют получать первичную информацию о значимости научного издания. Большинство предложенных авторами показателей возможно вычислить на основе обработки информации, получаемой в наукометрических базах.

Бронзова, О. Н. Социальное партнерство как условие развития инициативности студентов / О. Н. Бронзова // Среднее профессиональное образование. — № 6, 2013. — С. 38−40.

Казаковцева, Е. В. Нечеткие системы финансово-экономического анализа предприятий и регионов / Е. В. Казаковцева, А. В. Коваленко, М. Х. Уртенов. — Краснодар: КубГУ, 2012. — 300 с.

Лазарев, В. Критерии и уровни готовности будущего педагога к исследовательской деятельности / В. Лазарев, Н. Ставринова // Педагогика. — № 2, 2006. — С.51−59.

Луценко, Е. В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е. В. Луценко // Научный журнал КубГАУ, № 108 (04), 2015.

Романов, Д. А. Современные методы оценки продуктивности исследовательской деятельности / Д. А. Романов, О. Б. Попова, Ю. С. Носова // Научный журнал КубГАУ, № 108 (04), 2015.

Станулевич, О. Е. Вхождение образовательного учреждения в партнерскую сеть: критерии отбора / О. Е. Станулевич // Среднее профессиональное образование. — № 10, 2013. — С. 6−10.

Трофимов, П. И. Инновации в образовании как закономерный процесс развития педагогической науки / П. И. Трофимов, Я. А. Сорокина // Среднее профессиональное образование. — № 5, 2013. — С. 50−53.

Хлопова, Т. П. Мониторинг качества образования в современных условиях / Т. П. Хлопова, М. Л. Романова, Т. Л. Шапошникова. — Краснодар: КубГТУ, 2013. — 166 с.

Цыганов, А. В. Краткое описание наукометрических показателей, основанных на цитируемости / А. В. Цыганов // Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой», 2013. — С. 248−278.

Чеботарев, П. Ю. Наукометрия: как с её помощью лечить, а не калечить? / П. Ю. Чеботарев // Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой», 2013. — С. 14−31.