Квалиметрическая оценка интегрированности научного работника в научное сообщество, основанная на анализе цитирований

Квалиметрическая оценка интегрированности научного работника в научное сообщество, основанная на анализе цитирований

Постановка и анализ состояния проблемы. Известно, что исследовательская деятельность — одна из важнейших составляющих функционирования образовательного учреждения [1, 4, 5]. Качество и продуктивность (в целом — эффективность) исследовательской деятельности научных и (или) научно-образовательных организаций во многом зависит от результативности исследовательской деятельности научных работников (в современных условиях преподаватель высшей школы также должен быть высокоэффективным научным работником).

В настоящее время бурно развивается наукометрия как ветвь науковедения (оно, в свою очередь, является крупным направлением социологии). Современными специалистами выделены критерии значимости результатов исследовательской деятельности научного работника для научного сообщества; большинство наукометрических показателей основано на цитируемости [1, 4, 5]. Современные информационные технологии открывают широкие возможности для решения задач наукометрии [2, 3].

Очевидно, что научное сообщество, с точки зрения социологии, является социальной системой высшего порядка (научной мегасредой); научные коллективы различных уровней иерархии также считают социальными системами (научными микро-, мезои макросредами). В дальнейшем будем рассматривать именно соотношение научного работника с научной мегасредой (сообществом). Оценка интегрированности научного работника с научными микросредами, мезосредами и макросредами — совершенно иная метрологическая задача. Это обусловлено не только тем, что научная мегасреда аккумулирует больший социокультурный потенциал (больший объем и качество накопленного научного знания, более широкие возможности для расширения социальных контактов и т. д.), но, прежде всего, тем, что мегасреда предоставляет научному работнику принципиально иные возможности для самореализации. Например, даже если рассматривать научную макросреду (вуза или научно-исследовательского института), то весьма ограничено число журналов, в которых научный работник может «материализовать» результаты своих исследований. Научная мегасреда — не просто огромное множество научных работников (например, в РИНЦ зарегистрированы более 700 000 авторов), среди которых — научные работники с высшими достижениями в исследовательской деятельности (ученые), но и множество научных изданий (с различным уровнем авторитета в научном сообществе), которые следует рассматривать как арсенал возможностей для трансляции научным работником результатов собственных исследований; это также всевозможные научные фонды, осуществляющие финансирование исследовательских проектов и т. д.

Несомненно, что индивид — элемент социума как системы [1 — 5]. Возникает вопрос: в какой мере научный работник интегрирован с научной средой, частью которой является? Данный вопрос приобретает всё большую остроту в связи с ростом «теневой науки», числа псевдонаучных кадров и иными не ослабевающими негативными тенденциями в обществе.

С одной стороны, ответ на указанный вопрос очевиден. Анализируя современные достижения в области наукометрии (и науковедения в целом), отметим: в настоящее время в должной мере разработаны адекватные критерии, отражающие значимость результатов исследовательской деятельности научных работников, коллективов и изданий для научного сообщества [1, 4, 5]. Наиболее передовые способы учитывают также широту и интенсивность социальных связей научного работника, например, индекс социальной валентности (он равен W, если у научного работника не менее чем с W соавторами имеется не менее чем W публикаций с каждым); широту и интенсивность трансляции результатов исследований [4], например, индекс социальной трансляции результатов исследований (он равен Q, если не менее чем в Q изданиях с ненулевым импакт-фактором у научного работника издано не менее чем Q научных публикаций в каждом). Данные параметры — критерии взаимосвязи исследовательской деятельности научного работника с деятельностью его социального окружения.

Но известно, что эффективная исследовательская деятельность (получение её доброкачественных научных результатов, характеризующихся новизной, научно-практической значимостью и т. д.) невозможна без использования научным работником социокультурного потенциала научной мегасреды. Это, прежде всего, арсенал научного знания, накопленного социумом и «материализованного» в научных публикациях. В настоящее время в любой области получение новых научных и прикладных результатов возможно только в том случае, если научный работник опирается на уже существующие результаты (иначе говоря, ни в одной области в настоящее время невозможно быть «первопроходцем», «пионером»). В противном случае научного работника ожидает, в лучшем случае, повторение уже полученных результатов («изобретение велосипеда»), в худшем случае, заблуждения и ошибки в исследовательской деятельности. Не всегда в развитии современного научного знания имеет место синергетика: исследователи в разных регионах страны (или даже в разных учреждениях в пределах региона) повторяют одни и те же результаты (иногда это явление называют «параллельными ручейками»).

Существует и другой аспект проблемы. Достаточно непросто отличить научного работника от псевдонаучного кадра. Не всегда человек, добивающийся определенных «успехов» в науке (например, получение ученой степени), реально готов к исследовательской деятельности (по выражению вице-президента Российской Академии Образования Д. И. Фельдштейна, «вплетен в ткань науки»). Но современные специалисты в области педагогики и психологии выделяют такое личностно-профессиональное качество, как исследовательская компетентность — готовность к исследовательской деятельности [1, 5]. Как и все компетенции и личностно-профессиональные качества, она включает операционный, мотивационно-ценностный, рефлексивный и поведенческий компоненты. Известно, что поведенческий компонент (он же ведущий) — личный опыт индивида в исследовательской деятельности (его можно формально представить в виде портфолио). Исследовательская компетентность, как никакое иное личностно-профессиональное качество, неразрывно связана с профессиональной самоорганизацией. Операционный компонент включает не только знание методов научных исследований и умений их применять, владение методологией (логикой и структурой) исследовательской деятельности (умение ставить проблему и цель исследования, планировать их и т. д.), но также и умение производить анализ состояния научной проблемы, литературный обзор по проблематике и теме исследования, производить подбор научно-теоретической, методологической и нормативно-методической базы исследования. С точки зрения авторов настоящей статьи, умение делать литературный обзор — «точка пересечения» исследовательской компетентности и информационной культуры личности — готовности индивида к эффективной работе с информацией. Эффективный научный работник должен быть способен отбирать и систематизировать наиболее полезную научную информацию из огромных информационных потоков.

В то время, не всегда научные работники добросовестно производят обзор научно-методической литературы по проблематике исследования; все большее распространение получает так называемый «провинциализм» — оторванность (изолированность) одних научных сообществ от других. Например, сотрудники кафедры вуза могут ссылаться на труды в основном сотрудников своего вуза или, в лучшем случае, региона, а на научных работников из других регионов не ссылаются, не знают об их научных достижениях. Можно ли считать индивида интегрированным в научное сообщество, если он делает библиографические ссылки только на весьма узкий круг научных работников, слабо использует культурный потенциал социума (научной мегасреды), накопленное обществом научное знание?

Таким образом, в настоящее время не в должной мере разработаны модели интегрированности индивида в научное сообщество, тем более — методы и критерии оценки такой включенности. Проблема исследования: каковы критерии интегрированности научного работника с научным сообществом? Цель исследования: выделение критериев оценки включенности научного работника в научное сообщество. Объект исследования — исследовательская деятельность научного работника, предмет исследования — его интегрированность с научным сообществом.

Организация и методология исследования. Методологические основы исследования: системный подход (рассматривает исследовательскую деятельность научного работника как системный процесс, характеризующийся целями, задачами, содержанием, структурой и результатами, а также её взаимосвязь с системой более высокого порядка — функционированием научного сообщества), компетентностный подход (рассматривает интегрированность научного работника в научное сообщество как важный аспект его исследовательской компетентности), социологический подход (рассматривает научную среду как социальную метасистему и совокупность возможностей для личностно-профессионального развития научного работника), метасистемный подход (рассматривает результаты исследовательской деятельности научного работника как метасистему, включающую относительно независимые компоненты — научные публикации) и квалиметрический подход (провозглашает необходимость многопараметрической диагностики включенности научного работника в научное сообщество). Методы исследования: моделирование, методы квалиметрии, методы теории множеств, отношений и графов.

Результаты исследования. С точки зрения авторов, диагностировать включенность научного работника в научное сообщество (социальную мегасреду) возможно на основе анализа его деятельности, связанной с использованием (в качестве библиографических ссылок) научных источников литературы (монографий, статей и т. д.). Многоаспектность данного процесса требует создания первичных математических моделей такой деятельности (на основе теории множеств и отношений).

Пусть S — множество публикаций, изданных научным работником и индексируемых в наукометрической базе данных (например, РИНЦ), тогда число его публикаций, где Р — мощность множества. Множество библиографических ссылок, сделанных научным работником,, где Z_i — множество библиографических ссылок, сделанных в i-й публикации, U — символ объединения множеств. Множество Z — результат декартова произведения множеств S и W, где W — множество литературных источников, процитированных в публикациях научного работника (один и тот же литературный источник может быть процитирован в нескольких публикациях научного работника). Очевидно, что, где W_i — множество литературных источников, процитированных в i-й публикации автора. Очевидно, что, где, т.к. один и то же литературный источник может быть процитирован в нескольких публикациях научного работника. Декартово произведение множеств цитирующих и цитируемых публикаций — множество ссылок мощностью М — представляет собой, где, где w_m — m-й литературный источник (цитируемая публикация) внутри k-й цитирующей публикации. Иначе говоря, один и тот же литературный источник, процитированный в различных публикациях, соответствует различным ссылкам (ссылка — аффилиация цитирующей и цитируемой публикации, т. е. элемент декартова произведения множеств цитирующих и цитируемых публикаций, т. е. их комбинаций). Для оценки включенности автора в научное сообщество необходимо исключить самоцитирования, поэтому первый критерий интегрированности научного работника с научным сообществом, где L — общее число самоцитирований (самоцитирования, если они обоснованны, отражают внутреннюю преемственность исследовательской деятельности научного работника, а диагностика этой преемственности — другая задача). При оценке последующих показателей интегрированности (в научное сообщество) будем учитывать только ссылки, не являющиеся самоцитированиями (самоцитированиями будем считать ссылки, если среди авторов цитируемой публикации есть диагностируемый научный работник). Множество ссылок, отражающих включенность научного работника в научное сообщество, составляет (его мощность равна П₁), где — множество ссылок-самоцитирований.

Пример 1. Пусть научным работником изданы публикации А1, А2, А3, А4, А5, А6, А7, А8, А9 (всего 9). В них были процитированы публикации {В2, В3, В8}, {В1, В2, В4, В5, В24}, {В3, В6, В7, В8, В9, В10, В11}, {В1, В20, В22, В23, В24}, {В5, В12, В16, В17, В18, В19, В20}, {В10, В11, В15, В21}, {В7, В10, В13, В14, В22}, {В16, В17, В21, В22}, {В12, В24} соответственно (для простоты примера будем считать, что самоцитирования отсутствуют). Тогда множество публикаций, процитированных научным работником, составляет {В1, В2, В3, В4, В5, В6, В7, В8, В9, В10, В11, В12, В13, В14, В15, В16, В17, В18, В19, В20, В21, В22, В23, В24} (его мощность равна 24). Множество ссылок (т.е. аффилиаций цитирующих и цитируемых публикаций) составляет {"А1-В2″, «А1-В3», «А1-В8», «А2-В1», «А2-В2», …, «А9-В12», «А9-В24"}. Мощность множества ссылок составляет П₁=42. Напомним, что в наукометрических базах каждая публикация имеет уникальный номер. научный работник исследовательский профессиональный Вместе с тем, общее число цитирований (исключая самоцитирования), сделанных научным работником, не в полной мере отражает его включенность в научное сообщество, т. е. использование потенциала научной мегасреды для собственной исследовательской деятельности. О недостаточной интегрированности работника с научным сообществом свидетельствуют: преимущественное цитирование публикаций из одного и того же издания (пусть даже чрезвычайно авторитетного журнала), отсутствие (или очень малое число) цитирований из высокоавторитетных изданий (т.е. с высоким импакт-фактором и получивших признание в научном сообществе благодаря многолетней добросовестной деятельности), преимущественное цитирование одной и той же группы авторов (нередко, хотя и не всегда, это является искусственным повышением наукометрических показателей), «отставание от времени» (значительное число цитирований публикаций старше определенного срока, т. е. научный работник не «в курсе» последних достижений науки) и т. д.

Второй параметр отражает степень зависимости/независимости научного работника от малого социума, т. е. его соавторов (по наукометрической базе):. Здесь: F₁ — число ссылок, сделанных научным работником на «сторонних» авторов, F₃ — число ссылок, сделанных научным работником на своих соавторов (если в цитируемой публикации есть хоть один соавтор научного работника), F₂ — число ссылок, сделанных на «незнакомых» научных работников, которые являются соавторами для его (научного работника) соавторов.

Авторы настоящей статьи объясняет модель расчета второго параметра следующим образом. В последнее время стала распространенной тенденция цитировать публикации, в авторский коллектив которых входят соавторы научного работника, хотя сам анализируемый научный работник в авторский коллектив этих публикаций не входит. Иначе говоря, научный работник цитирует публикации тех членов научного сообщества, которых лично знает. «Опуская» этическую сторону проблемы (в случае запредельного числа цитирований соавторов), отметим: цитирование публикаций исключительно (или даже преимущественно) знакомых научных работников — свидетельство включенности научного работника в малый социум (чрезвычайно ограниченный круг научных работников), но серьезной оторванности (изолированности) от широкого научного сообщества.

Возможны также следующие ситуации. Пусть G — множество соавторов анализируемого научного работника (число соавторов), D_i — множество соавторов i-го соавтора анализируемого научного работника (исключая его самого), тогда множество соавторов всех соавторов анализируемого научного работника, их число. Если в публикации, цитируемой научным работником, есть хоть один научный работник из множества D, то цитату следует отнести ко второй категории (иначе говоря, действует принцип: «друг моего друга — мой товарищ»). Высокое значение показателя F₂ свидетельствует о высокой включенности работника в мезосоциум (социум среднего порядка), но не в социум высшего порядка (научное сообщество). Цитату анализируемого научного работника следует отнести к первой категории, если среди авторов цитируемой публикации нет ни научных работников из множества G, ни работников из D. Высокое значение показателя F₂ свидетельствует о высокой включенности работника в социум высшего порядка, т. е. научное сообщество (если иметь ввиду использование научным работником потенциала социокультурной среды для своей исследовательской деятельности). Третий параметр — широта множества цитируемых научных работников:. Здесь: f₁ — число авторов, процитированных научным работником, и не являющихся ни его соавторами, ни соавторами его соавторов, f₃ — число соавторов, процитированных научным работником, f₂ — число соавторов своих соавторов, процитированных научным работником. Параметры П₂ и П₃ могут не совпадать: во-первых, одна и та же публикация может быть процитирована несколько раз, во-вторых, авторами цитируемой публикации могут быть несколько научных работников.

Широкое множество цитируемых научных работников еще не означает полноценного использования (анализируемым научным работником) социокультурного потенциала научного сообщества. Например, научный работник может цитировать весьма узкий круг научных изданий (журналов), либо анализировать литературные источники только из изданий (журналов) с невысоким рейтингом и авторитетом в научном сообществе, либо «отставать от жизни» (цитировать преимущественно устаревшие публикации) и т. д.

Четвертый параметр отражает степень современности («свежести») цитат, сделанных научным работником. Иначе говоря, данный показатель отражает, в какой мере научный работник «не отстает от жизни». Например, если в 10 публикациях научного работника, изданных в 2015 году, 50 литературных источников старее 2010 года, то это явно свидетельствует о том, что он не в должной мере «идет в ногу со временем». В то же время, некоторое число «несвежих» ссылок обосновано и оправданно, если цитируемые публикацию имеют базовое (фундаментальное) значение. Предлагаемая модель расчета:,. Здесь: л — функция, отражающая степень «свежести» i-й ссылки. Очевидно, что «свежесть» библиографической ссылки определяется не годом цитируемой публикации, а разностью во времени цитирующей и цитируемой публикаций (напомним, что в контексте статьи ссылка — аффилиация цитирующей и цитируемой публикаций):, где [Т] - целая часть интервала времени (в годах) между цитирующей и цитируемой публикациями. Например, если разница по времени не превышает 12 месяцев, то, если не превышает 24 месяцев, то и т. д. Очевидно, что у зрелых научных работников, идущих в ногу с жизнью, значение П₄ не должно быть менее 1,0.

Пример 2. Пусть научным работником (за статистически значимый период) было издано 9 публикаций. У первой публикации разница (в годах) с цитируемыми публикациями составляет {0; 0; 2; 3; 3; 1}, у второй {5; 4; 2; 3; 3; 1; 1; 1}, у третьей {1; 6; 2; 1}, у четвёртой {1; 1; 1; 1; 2; 2; 2; 2; 2}, у пятой {1; 0; 0; 0; 3}, у шестой {5; 4; 4; 3; 3; 3; 3; 2; 2; 2; 2}, у седьмой {1; 1; 4}, у восьмой {2; 0; 1; 1}, у девятой {4; 2; 3}. Тогда степень современности цитат составит (в условных единицах):

.

Пятый параметр отражает широту арсенала научных изданий (напомним, что к ним относят и научные журналы), используемых научным работником в качестве источника цитируемых публикаций. Пусть Н — множество изданий, содержащих цитируемые научным работником публикации (исключая его собственные), тогда. Вместе с тем, широта арсенала используемых изданий ещё не означает полноценного использования потенциала социальной среды (научного сообщества). Например, если из журнала А1 научный работник процитировал 100 публикаций, а из журналов А2 — А10 — по одной публикации, то едва ли можно говорить о должном использовании потенциала социальной среды. Тогда параметр, где w — множество цитируемых публикаций в трудах научного работника, в которых он входит в авторский коллектив, м — индекс Херфендаля (коэффициент неравномерности) цитирования работником научных публикаций из изданий. Очевидно, что, где щ_i— число публикаций из i-го издания, процитированных научным работником. Шестой параметр адекватен: даже если научный работник процитирует только одну публикацию из еще одного («лишнего») издания, то это и числитель повысит, и индекс Херфендаля уменьшит. Седьмой параметр учитывает импакт-фактор изданий — источников цитируемых работником научных публикаций, делая бессмысленными повторные цитирования одной и той же публикации из изданий с низким импакт-фактором:, где С_i — импакт-фактор издания-источника i-й цитируемой публикации, b_i — число цитирований научным работником (в собственных публикациях) i-й публикации (если импакт-фактор издания варьировался по годам, то принимают его максимальное значение).

Восьмой параметр «стимулирует» к преодолению «провинциализма» — изолированности научных работников от научных социумов других регионов. Так, например, научный работник из Краснодарского края может цитировать публикации только из 15 изданий Южного федерального округа и Московской области (формально такой ассортимент не следует считать узким), но ничего не знать о достижениях научных работников других регионов. Параметр П₈ — число регионов (мощность их множества), в которых изданы публикации, цитируемые научным работником. Оппоненты могут возразить автору настоящей статьи: если научными работниками из регионов В1, В2, …, В90 получены доброкачественные научные результаты, достойные издания в высокорейтинговых (чрезвычайно авторитетных) изданиях, находящихся в одном конкретном городе (например, Москве), то почему их цитирование не может служить показателем преодоления провинциализма? Но автор настоящей статьи твердо стоит на позиции, что только широкомасштабный учет результатов исследований, полученных в крупном государстве, позволит объективно оценить (научному работнику) анализ состояния научной проблемы. Не следует также забывать, что и в регионах крупного государства могут издаваться авторитетные журналы. Например, при ведении исследований, посвященных технологиям дистанционного обучения, было бы неразумно игнорировать журнал «Открытое и дистанционное образование» (издается в Сибирском регионе), посвященных проблемам социально-экономического управления — журнал «Управленец» (издается в Уральском регионе) и т. д. Не следует также забывать, что при ведении исследований «на стыке наук» необходимо анализировать публикации, соответствующие всем интегрируемым областям научного знания, а они могут быть изданы в различных регионах (например, в Красноярском крае действует мощная научная школа, занимающаяся вопросами конструирования искусственных нейронных сетей и нейросетевой обработки информации).

Для авторов настоящей статьи очевидно, что использование научным работником социокультурного потенциала научной среды — не цель, а средство (или принципиально важный фактор) получения им доброкачественных научных результатов, признаваемых научным сообществом. Пусть М — число публикаций научного работника, изданных за статистически значимый период времени (интегрированность работника в научное сообщество может быть различной в различные периоды!), D_i — степень использования работником в i-публикации достижений научного сообщества (диагностируют на основе анализа библиографического списка), Q_i — научное качество i-й публикации; тогда интегральный показатель включенности работника в научное сообщество. Данный показатель учитывает обоюдную связь работника с научным сообществом: с одной стороны, он использует потенциал научной среды для получения результатов своей исследовательской деятельности, с другой стороны, его публикации (т.е. результаты исследовательской деятельности) обогащают научную среду, получают с её стороны признание.

С точки зрения авторов, показатель научного качества публикации можно определить по формуле:. Здесь: S — коэффициент, зависящий от статуса публикации (например, статья в международной наукометрической системе, статья в изданиях, рекомендованных ВАК Российской Федерации, патент, монография, тезис доклада и т. д., должен варьироваться от 0 до 1.0), Ц — индекс ее цитируемости, I — коэффициент, зависящий от наличия дополнительных сведений о публикации (должен варьироваться от 0 до 1.0, определяться на основе метода экспертных оценок), С — импакт-фактор научного издания, в котором нашла отражение публикация (на момент опубликования). Дополнительные сведения о публикации могут быть следующими: соответствие плановой (особенно финансируемой) научно-исследовательской или опытно-конструкторской работе, результаты участия в различных конкурсах и т. д. Возведение в квадрат величины обусловлено необходимостью четкой дифференциации изданий с низким и высоким импакт-фактором.

Индекс цитируемости публикации:. Здесь: N₁ — число внешних цитат на публикацию, N₃ — число цитат на публикацию её авторами (любым из членов авторского коллектива), N₂ — число цитат на публикацию научными работниками, не являющимися её авторами, но являющихся (по наукометрической базе) соавторами любого из членов авторского коллектива. Данную модель расчета авторы обосновывают необходимостью пресечения попыток искусственного «улучшения» библиометрических показателей.

Индекс использования работником потенциала научной среды (при получении конкретного результата исследовательской деятельности, т. е. написания публикации), составит. Здесь: f — число процитированных публикаций (не считая самоцитирования!), q_i — научное качество i-й цитируемой публикации (не считая цитаты со стороны научного работника), л_i — степень современности i-й цитируемой публикации (детерминируется целочисленной разницей в годах между цитирующей и цитируемой публикацией).

Пример 3. Пусть за статистически значимый период научный работник издал 15 публикаций; научное качество данный публикаций соответственно 1.8, 3.2, 2.3, 5.3, 4.5, 1.6, 2.7, 4.2, 1.9, 1.4, 6.1, 2.2, 4.3, 4.9 и 2.7 условных единиц; степень использования научным работником потенциала научной среды при их создании соответственно 13.6, 23.2, 12.9, 25.8, 33.5, 31.6, 32.7, 24.2, 21.9, 31.4, 26.1, 42.2, 34.3, 24.9 и 32.3 условных единиц; широта регионов цитируемых изданий равна 3, широта ассортимента цитируемых изданий равна 14. Тогда в течение анализируемого периода интегрированность работника в научное сообщество составляла.

условных единиц.

Безусловно, данный набор параметров включенности работника в научное сообщество не является полным. Но развитие когнитивных и математических моделей исследовательской деятельности позволит расширить и уточнить данную совокупность показателей.

Заключение

. Оценка (диагностика) включенности научного работника в научное сообщество — более сложная метрологическая (наукометрическая) задача, чем оценка значимости результатов его исследовательской деятельности. Для авторов настоящей статьи очевидно, что зрелый научный работник (обладающий высоким уровнем исследовательской компетентности) должен интенсивно использовать социокультурный потенциал научной мегасреды (сообщества) для своего личностно-профессионального развития, для повышения эффективности своей исследовательской деятельности и качества её результатов. Предложенные показатели можно считать группой индикаторных переменных, отражающих уровень поведенческого компонента исследовательской компетентности (научного работника).

Использование научным работником потенциала социальной среды — необходимое, но не достаточное условие продуктивной исследовательской деятельности, получения доброкачественных научных результатов. В данной ситуации более достоверным будет негативный прогноз: слабое использование научным работником потенциала социальной среды — «гарантия» низкой продуктивности его исследовательской деятельности и невысокого качества её результатов. Только сочетание высших уровней готовности к исследовательской деятельности (исследовательской компетентности) с высокими уровнями иных компетенций (а в целом — социально-профессиональной компетентности, предполагающей наличие умений профессиональной самоорганизации) могут быть факторами успешной исследовательской деятельности.

• 1. Гаврилова, Е. В. Трансляция научного опыта и личностное знание / Е. В. Гаврилова, Д. В. Ушаков, А. В. Юревич // Социологические исследования. — № 9, 2015. — С. 28−35.
• 2. Кушнир, Н. В. Искусственные иммунные системы: обзор и современное состояние / Н. В. Кушнир, А. В. Кушнир, Е. В. Анацкая, П. А. Катышева, К. Г. Устинов // Научные труды Кубанского государственного технологического университета. — № 12, 2015. — С. 382−391.
• 3. Лебедева, И. П. Мягкие модели как форма математизации социологического знания / И. П. Лебедева // Социологические исследования. — № 1, 2015. — С. 79−84.
• 4. Лойко, В. И. Современные модели и методы диагностики исследовательской деятельности научно-педагогических коллективов / В. И. Лойко, Д. А. Романов, О. Б. Попова // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета, № 112 (08), 2015. — С. 1906;1933.
• 5. Романова, М. Л. Современные модели исследовательской деятельности педагога / М. Л. Романова, О. В. Пучкина, Е. И. Судоргина, Л. В. Шендрик, А. С. Евмененко // Ученые записки университета имени П. Ф. Лесгафта.- № 12 (118), 2014. — С. 177−181.