Методика оценки уровня знаний специалистов УВД в АСОК

Определение критериев оценки знаний. Прежде всего, необходимо определить требования к уровню знаний специалистов УВД, обеспечивающих определенный вид обслуживания.

Органы диспетчерского обслуживания подразделяются на органы районного диспетчерского обслуживания, диспетчерского обслуживания подхода и аэродромного диспетчерского обслуживания.

Районное диспетчерское обслуживание обеспечивается:

• а) районным диспетчерским центром (РДЦ), районным центром (РЦ), местным диспетчерским пунктом (МДП);
• б) органом, предоставляющим диспетчерское обслуживание подхода (диспетчерский пункт подхода) в диспетчерском районе ограниченных размеров, который установлен главным образом для обеспечения диспетчерского обслуживания подхода, когда не создан РДЦ, районный центр и (или) МДП;

Диспетчерское обслуживание подхода обеспечивается: а) диспетчерским пунктом аэродрома (аэродромным диспетчерским центром) или районным диспетчерским центром, или районным центром, в случае объединения в рамках ответственности одного органа функции диспетчерского обслуживания подхода с функциями аэродромного диспетчерского обслуживания или районного диспетчерского обслуживания;

б) диспетчерским органом подхода (диспетчерский пункт подхода) в случае создания отдельного органа.

Аэродромное диспетчерское обслуживание обеспечивается одним или несколькими диспетчерскими пунктами аэродрома или аэродромными диспетчерскими центрами.

Каждый контрольный вопрос в базе знаний АСОК должен иметь свой оценочный критерий для специалиста, имеющего соответствующую квалификационную отметку (допуск к работе на диспетчерском пункте или рабочем месте).

В результате анализа задач, решаемых диспетчерами в различных зонах УВД, была определена взаимосвязь уровня знаний диспетчеров соответствующих диспетчерских пунктов (см. табл. 6.2).

При определении требований к уровню знаний специалистов УВД целесообразно использовать следующие оценочные критерии:

• — твердые знания (ТЗ) — точное (дословное) знание и глубокое понимание пункта, правила или статьи нормативных документов, регламентирующих работу диспетчера (правил полетов, процедур ОВД, фразеологии радиообмена и т. д.);
• — достаточные знания (ДЗ) — уровень знаний специальных дисциплин, необходимый для правильного решения задач УВД в каждом конкретном случае;
• — общие понятия (ОП) — уровень знаний, обеспечивающий общее представление о вопросах, входящих в перечень специальных дисциплин.

Таблица 6.2

Организация базы знаний АСОК

Квалификационная отметка Диспетчерский пункт		Диспетчер аэродрома			Диспетчер посадки	Диспетчер подхода			Диспетчер района
		ДПР	СДП (ВСДП)	«Вышка»	ПДП (ДПСП)	ДПК (ДПСП)	ДПП		РЦ ЕС ОрВД		мдп.
							РЛК	Е—.	РЛК	* U.
Дис; петчер аэродрома.	ДПР.
	СДП (ВСДП).
	«Вышка».

Квалификационная отметка Диспетчерский пункт

Диспетчер аэродрома

Диспетчер посадки

Диспетчер подхода

Диспетчер района

ДПР

СДП (ВСДП)

«Вышка»

ПДП (ДПСП)

ДПК (ДПСП)

ДПП

РЦ ЕС ОрВД

мдп

РЛК

РЛК

* (_

Дис; петчер посадки.

ПДП (ДПСП).

Дис; петчер подхода.

ДПК (ДПСП).

ДПП.

РЛК.

ГК.

Диспетчер района.

РЦ ЕС Орвд.

РЛК.

ГК.

мдп.

Критерии оценки знаний:

 — твердые знания (ТЗ);

 — достаточные знания (ДЗ);

 — общие понятия (ОП) На главной диагонали табл. 6.2 расположены контрольные вопросы, охватывающие предметные области, знание которых являются обязательными для соответствующего диспетчера (с критерием «ТЗ»), поскольку они составляют основное содержание его деятельности. Кроме непосредственно своих обязанностей каждый диспетчер должен знать порядок и особенности работы диспетчеров смежных диспетчерских пунктов, но при этом предъявляются менее жесткие требования (используются критерии «ДЗ» или «ОП»).

Например, диспетчер ПДП должен знать вопросы, относящиеся к диспетчеру «Вышки» с критерием «ДЗ», к диспетчеру ДПК — с критерием «ТЗ», к диспетчеру ДПП — с критерием «ОП», тогда как диспетчер ДПК должен знать вопросы, относящиеся к компетенции диспетчера ДПП — с критерием «ДЗ» табл. 6.2).

Таким образом, для диспетчера ДПК перечень контрольных вопросов будет включать кроме «своих» вопросов (разд. 5) вопросы из разд. 3 (для «Вышки»), из разд. 4 (для ПДП), из разд. 6 и 7 (для ДПП).

Определение требований к уровню знаний в процессе контроля. При контроле знаний специалистов УВД целесообразно использовать три уровня требований: минимально-допустимый, средний и высокий. Уровень требований характеризуется процентным соотношением количества контрольных вопросов с оценочными критериями: К_т, Кд, Kq — процентом контрольных вопросов с критериями «ТЗ», «ДЗ» и «ОП» соответственно.

В табл. 6.3 показано процентное соотношение и количество контрольных вопросов для различных уровней требований и режимов контроля.

Таблица 6.3

Определение уровня требований при контроле знаний

Уровень требований	Критерий оценки	Доля в процентах	Количество контрольных вопросов
Минимально- допустимый	ТЗ
	ДЗ
	ОП
Средний	ТЗ
	ДЗ
	ОП
Высокий	ТЗ
	ДЗ
	ОП

Например, в тест-программе, состоящей из 20 контрольных вопросов, средний уровень требований характеризуется следующим процентным соотношением: К_т = 70% = 14 вопросов, К_д = 20% = 4 вопроса, Kq = 10% = 2 вопроса (см. табл. 6.2.2).

Определение весовых коэффициентов контрольных вопросов. Весовые коэффициенты для контрольных вопросов, имеющих соответствующие оценочные критерии, могут быть получены методом экспертного опроса опытных специалистов или инструкторов: _т, _д, ₀ — коэффициенты веса вопроса с критериями «ТЗ», «ДЗ» и «ОП» соответственно. Например, _т = 0,1, д = 0,05, о = 0,025. Это означает, что ответ на вопрос с критерием «ДЗ» «весит» в два раза меньше, чем с критерием «ТЗ», а ответ на вопрос с критерием «ОП» — в четыре раза меньше, чем с критерием «ТЗ» и в два раза меньше, чем с критерием «ДЗ».

Разработка показателя для оценки уровня подготовленности. В качестве критерия оценки уровня подготовленности обучаемого (контролируемого) диспетчера по результатам выполнения программы контроля знаний можно использовать следующий показатель:

где i — весовые коэффициенты;

п, — количество правильных ответов;

п — общее количество контрольных вопросов в тест-программе;

к/ — процент вопросов с соответствующими оценочными критериями (ТЗ, ДЗ, ОП).

Преимущества использования данного показателя заключаются в простоте расчета и возможности получения точечной оценки на интервале [0,1], благодаря соблюдению условия нормировки. Численные значения показателя сохраняются при изменении длины «п» тест-программы и сохранении процентного соотношения вопросов с различными оценочными критериями.

Например, в ходе выполнения тест-программы длиной п = 20 обучаемый ответил правильно на 14 вопросов, в том числе на 10 вопросов с критерием «ТЗ», 3 вопроса с критерием «ДЗ» и 1 вопрос с критерием «ОП». Необходимо произвести оценку знаний специалиста при среднем уровне требований.

Подставляя исходные данные в формулу (6.1) с учетом процентного соотношения контрольных вопросов в соответствии с табл. 6.3.

При изменении уровня требований изменяются численные значения данного показателя. Предъявление высокого уровня требований приводит к снижению значения Z. В общем случае величина Z изменяется в пределах от 0 до 1 или от 0 до 100% (Z = 0 при отсутствии правильных ответов, Z = 1 при всех правильных ответах).

Проиллюстрируем на том же примере.

Звездочки в формуле заменить на точку (знакумножить).

Итоговая оценка уровня подготовленности — численное значение показателя Z, можно перейти от точечной оценки уровня подготовленности обучаемого к более привычным: бинарной («зачет — не зачет») или N-балльной оценкам. N-балльную оценку можно получить, поставив в соответствие шкалу оценок определенным границам изменения показателя Z е (0−1). Например, для пятибалльной шкалы оценки могут быть следующими (табл. 6.4).

Таблица 6.4

Итоговая оценка уровня подготовленности.

В приведенном выше примере значение Z = 0,712 соответствует оценке «хорошо».

При установлении более жестких требования к оценке уровня знаний персонала ОВД имеет место следующее квалификационное оценивание: проверка считается успешно завершенной, если при контрольном тестировании на ЭВМ проверяемый диспетчер УВД с учетом классной квалификации ответил правильно не менее чем на 75% вопросов по разделу (области), допускающему оценку 3 (три), не менее чем на 80% вопросов по разделу (области), допускающему оценку 4 (четыре), и не менее чем на 85% вопросов по разделу (области), допускающему оценку 5 (пять), или сдал экзамен (зачет) с оценками, предъявляемыми соответствующему классу классной квалификации.

Использование показателя Z позволяет также получить бинарную оценку типа «зачет — незачет». Для этого необходимо определить граничное значение показателя уровня подготовленности Z _> позволяющее отнести обучаемого к категории прошедшего или не прошедшего тест-контроль. Из педагогической практики известно, что оценка «зачет» выставляется при значении уровня подготовленности обучаемого более 0,7 или количестве правильных ответов на тест-задания более 70%. (Для сравнения при проверке знаний водителем Правил дорожного движения допустимое значение показателя уровня подготовленности составляет не менее 90%).

Для согласования оценок и возможных границ изменения показателя уровня подготовленности необходимо дополнительно провести экспертный опрос опытных специалистов. Окончательное решение о внедрении данной системы АСОК принимается после апробации ее непосредственно в авиапредприятиях и учебных центрах подготовки диспетчерского состава и детального анализа полученных результатов.

Дистанционное обучение специалистов УВД реализуется на базе Web-технологий и обеспечивает следующие возможности:

• 1) многопользовательский режим. Web-технология позволяет иметь централизованную базу данных и знаний АСОК на защищенном сервере. Все клиенты, желающие подключиться к системе, проходят обязательную процедуру авторизации. Система паролей реализует различные права доступа для разных групп пользователей АСОК;
• 2) централизация баз данных, позволяющая накапливать и хранить на сервере результаты обучения пользователей АСОК, формировать и выводить различные отчеты по результатам обучения;
• 3) возможность доступа к системе через Интернет, в том числе с шифрованием https. При этом можно организовать доступ специалистов УВД как к обучающим материалам, так и к результатам обучения;
• 4) встраиваемость в другие системы. При необходимости возможно встраивать web-страницы в любые другие системы АСОК с использованием стандартного компонента «web-браузер».

Система строится по принципу клиент-сервер, что позволяет:

• — реализовать централизованную базу данных с многопользовательским режимом;
• — осуществлять доступ к базе знаний/данных и результатам обучения через сеть Интернет, в том числе с шифрованием;
• — возможность подключения других технологий для расширения функциональности (flash, java, silverlight и т. п.) или же создание и использование собственного клиентского приложения в случае, если функционала стандартного браузера недостаточно.

Серверная часть. База знаний/данных находится на сервере и контролируется администратором. Администратор осуществляет контроль работоспособности базы знаний/данных, ее редактирование, распределение пользователей по группам с различными правами доступа.

Клиентская часть. Все клиенты, желающие подключиться к системе, проходят обязательную процедуру авторизации. В зависимости от группы пользователей, клиент может осуществлять доступ к различным обучающим материалам, тестам, отчетам по результатам обучения и вести заполнение/редактирование базы знаний/данных.

В настоящее время разработана и в течение ряда лет успешно используется при повышении квалификации персонала ОВД система дистанционного обучения (СДО) (реализованная на платформе «moodle») на основе web-технологий в Некоммерческом образовательном учреждении дополнительного профессионального образования «Институт аэронавигации» (www.aeronav.ru).