Существующая практика оценки образовательных программ

Качество бизнес-образования волнует не только потребителей образовательных услуг, но и профессионалов-преподавателей, руководителей образовательных организаций. При этом, независимо от того, как понимается качество образования, как правило, не оспаривается тезис о том, что оно определяется рядом характеристик:

• · образовательных целей;
• · образовательных стандартов и эталонов;
• · образовательных программ;
• · кадрового и научного потенциала;
• · обучающихся на входе;
• · выпускников на выходе;
• · образовательных технологий;
• · средств обучения;
• · системы контроля учебных результатов;
• · обратной связи по ходу и результатам образовательного процесса;

Считается, что качество обучения закладывается уже на этапе разработки программ, поскольку они в наиболее существенной степени влияют на результаты бизнес-образования. Хотя, как показали результаты проведенного нами опроса руководителей образовательных организаций, реализующих программы краткосрочного бизнес-образования, для них на качество обучения влияет в большей степени уровень квалификации преподавателей, а уже затем — применение эффективных технологий обучения и качество учебных программ (рис. 1).

Рис. 1. Факторы, в наибольшей степени влияющие, по мнению руководителей образовательных организаций, на качество обучения

Оценка способов возникновения новых учебных программ для сферы малого бизнеса в образовательных учреждениях руководителями приведена на рис. 2. Большая часть из них производится своими силами, хотя и практикуется разработка краткосрочных курсов по бизнес-образованию по заказу (рис. 3). Причем более распространенной является разработка по заказам: руководства организаций (43,6%); службы занятости (20,0%); органов власти в рамках программ поддержки предпринимательства (14,5%); донорских организаций в форме грантов (10,9%); общественных объединений предпринимателей (7,3%).

Рис. 3. Оценка руководителями источников заказов на разработку краткосрочных бизнес-курсов по заказу

При этом большинство руководителей образовательных организаций считает, что количество предлагаемых учебных программ по бизнес-образованию позволяет выбирать среди них наиболее качественные.

Какая программа может быть интересной и полезной? Сможет ли участник вчерашнего семинара работать более эффективно в своей организации, на практике применяя то, чему его учили?

Ответы на эти и другие вопросы чаще всего ищут в опоре на личный опыт и интуицию, то есть, ответы и суждения, как правило, субъективны. Например, 43,3% опрошенных нами руководителей образовательных организаций, утверждает оценка предлагаемых учебных программ обычно обоснована личным опытом оценивающего (рис. 4).

Рис. 4. Чем обычно обоснована оценка предлагаемых учебных программ

При этом считают, что можно дать прогноз эффективности учебной программы до ее реализации только около четверти опрошенных руководителей образовательных организаций (26,7%). Еще 30% руководителей уверены, что это возможно, но не всегда, а 13,3% - это возможно, но точность прогноза будет низкой. По мнению 3,3% руководителей, дать прогноз эффективности учебной программы до ее реализации невозможно, а еще 13,3% от всех опрошенных считают, что это не только невозможно, но и не нужно. При этом, по мнению десятой части опрошенных, первоначальная оценка учебной программы чаще всего не совпадает с последующей ее оценкой, экспертов.

Поэтому не теряют актуальности вопросы о том, как лучше проводить оценку обучения и каковы критерии оценки эффективности обучающих программ, которыми можно воспользоваться на практике?

Оценка качества образования может быть внутренней (даваемой самим обучаемым или учреждением, осуществляемым образовательный процесс) или внешней (даваемой государством через официальную процедуру аттестации, социумом, профессиональной средой и др.).

К сожалению, в научной и методической литературе по данной проблеме преобладают публикации, посвященные оценке именно результатов обучения, либо более или менее комплексно представленных условий реализации учебного процесса. Сами по себе учебные программы — их характеристики, роль в образовательном процессе, специфика разработки, реализации и оценки — освещены очень слабо.

В этой связи представляет определенный интерес анализ различных подходов и опыта применения разных критериев оценки качества обучения и различных аспектов образовательных процессов, который описан и реально использовался с целью совершенствования результатов и самого процесса обучения.

Если абстрагироваться от специфики предметного содержания и уровня образования, а рассматривать сами подходы, принципы и процедуры проведения оценки, то можно выделить наиболее важные, общие моменты, существенные и для оценки качества научно-методического сопровождения учебного процесса.

Одна из наиболее известных и практикуемых на сегодняшний день методик оценки эффективности программ обучения была разработана Дональдом Киркпатриком более 40 лет назад.

Согласно этой методике оценка производится по четырем уровням.

Уровень 1. Реакция слушателей на программу обучения, т. е. удовлетворенность участника программой и ходом обучения принимается в качестве критерия оценки.

Это самый простой для реализации уровень. Технология оценки может включать персональные интервью, заполнение слушателями анонимных анкет и т. д.

Традиционно организаторов тех или иных курсов интересует, понравилась ли слушателям программа, преподаватель, организация процесса обучения. Такой подход характерен, в основном, для корпоративного обучения и тренинговых центров, в которых практически 100% программ оцениваются на этом уровне. Однако все чаще данные технологии применяются и в вузах при анкетировании студентов.

Так, например, проведенное нами исследование Речь идет о социологическом исследовании субъективных представлений участников образовательного процесса о существующей практике оценивания учебных программ, проведенном ФПРПС в рамках данного проекта в 2003 году, охватившим руководителей, преподавателей и слушателей 30 образовательных учреждений из 6 регионов России, реализующих краткосрочные программы в сфере малого бизнеса. показало, что большинство слушателей считают обучение на выбранных ими курсах весьма полезным для себя: 44,3% утверждают, что оно очень полезно, а еще 42,9% - в основном полезно (рис. 6).

Рис. 6. Оценка слушателями степени полезности обучения на выбранных ими курсах

Работа преподавателей также, как правило, оценивается ими достаточно высоко (рис. 7).

Рис. 7. Оценка слушателями работы преподавателей

Несмотря на распространенность, подобный подход к оценке имеет существенный недостаток — результаты оценки на этом уровне субъективны, они говорят о том, понравилась ли слушателям программа, но никакой информации об ее успешности как для слушателя, так и для компании, где он работает, а так же о качестве полученных знаний и опыта он не дает.

Уровень 2. Оценка знаний и опыта, полученных слушателями по программе обучения.

Технология оценки по этому уровню подразумевает проведение собеседования, экзамена, опроса, тестирования и т. д. после процесса обучения. Есть мнение, что подобные действия следует производить через 2−3 недели после окончания курса, но на практике оценка знаний происходит непосредственно после процесса обучения.

Данный уровень повсеместно реализуется в учебных заведениях и представлен в виде системы зачетов, экзаменов, в том числе, с помощью тестирования и т. д. Согласно ряду опросов, эти же методы используются в 60% случаев корпоративного обучения.

Так, по результатам проведенного нами опроса преподавателей, наиболее используемыми формами контроля успешности освоения слушателями предлагаемого им содержания на краткосрочных курсах являются: опрос, беседа, контрольные задания и тестирование. Менее часто используется экзамен и написание выпускной работы.

Уровень 3. Оценка эффективности программ обучения по деятельности на рабочем месте. Здесь происходит попытка получить ответ на вопрос, как слушатели применяют полученные знания и навыки в рабочих условиях. Этот подход практически не практикуется учебными заведениями, и примерно только 30% корпоративных программ обучения оценивается на этом уровне. Сложность оценки заключается в отсроченности оцениваемых производственных результатов, которых иногда приходится ждать от месяца до полугода, и более.

Инструментом оценки могут являться интервью с руководителями и другими сотрудниками, сравнение некоторых производственных показателей до и после проведения тренингов и т. д. Часто применяется технология, при которой сравниваются показатели работы двух групп персонала — прошедшего и не прошедшего обучение. Но, несмотря на сложность и дороговизну оценки программ обучения на третьем уровне, именно здесь впервые отражается реальная полезность или бесполезность для сотрудника прохождения программы обучения.

Уровень 4. Оценка влияния программы обучения на бизнес компании. Это наиболее сложный для реализации уровень, и не только потому, что оценка весьма трудоемкая — для нее изучается финансовая и иная отчетность компании, опрашивается руководство, клиенты, иные участники рынка. Главная сложность состоит в выделении эффекта от обучения из огромного числа других факторов, так же влияющих на бизнес компании.

Перечисленные четыре уровня оценки выступают как базовые с точки зрения подхода к выбору объекта оценивания. Все имеющиеся методики фактически конкретизируют один из подходов, предлагая более или менее совершенные инструменты оценки.

Наиболее серьезно стали прорабатываться методы оценки результативности и эффективности корпоративных программ обучения. В этой области появились сразу несколько методик, отражающих попытки более детально представить затраты на обучение и его результаты, что необходимо для обоснования необходимости включения соответствующих расходов в бюджеты компаний.

Так, например, в 1982 году Касцио описал 4 главных шага модели эффективности затрат (Cost Effectiveness Model).

Шаг 1. Определение затрат на обучение.

Автор классифицировал затраты на постоянные, т. е. не изменяющиеся от числа слушателей, времени обучения и т. д. и переменные, как раз зависящие от этих факторов.

В числе главных затрат упомянуты:

• i разработка программы, учебных материалов;
• i сам процесс обучения;
• i потери от отсутствия обучаемых на рабочем месте.

Шаг 2. Результат обучения.

Здесь автор упоминает время необходимое на достижение нужного уровня компетенций, производительность, отношение к работе.

Шаг 3. Анализ результатов обучения. Здесь рекомендуется найти денежное выражение этих результатов.

Шаг 4. Оценка. Здесь сравниваются различные методы обучения по критериям, выделенным в предыдущих шагах.

В середине 90х годов в бизнесе особенно популярным стал инструмент ROI (возврат на вложенные инвестиции), что немедленно сказалось и на методах оценки программ обучения. В 1996 году Филлипс добавил к четырем уровням Киркпатрика пятый уровень, фактически развивающий подход к оценке с точки зрения экономической эффективности обучающих программ.

Уровень 5. Расчет коэффициента ROI, где сравнивается выгода от программы с расходами на ее проведение. Здесь же оценивается период времени возврата средств, затраченных на программу.

Формула расчета выглядит следующим образом:

где Д — доходы от программы;

З — затраты на программу.

Позднее, в 1997 году, Office of Training and Further Education (OTFE) предложил свой подход к оценке, который отличался от модели Киркпатрика.

Модель OTFE опиралась на выделение, так называемых, 4 стадий оценки.

• 1. Бюджетная стадия — наиболее простая форма оценки, детализирующая статьи расходов бюджета проекта обучения.
• 2. Стадия оценки изменения опыта. Здесь обучение рассматривается с точки зрения функциональных и операционных требований к сотруднику, которые должны быть реализованы за счет образовательных программ.
• 3. Проектная стадия — оценка вклада обучения в различные проекты компании.
• 4. Стратегическая стадия. Это наивысшая форма оценки, разработанная для достижения оптимального распределения образовательного ресурса по организации в целом.

Главным отличием данной модели от модели Киркпатрика является включение бюджетной и стратегической стадий в оценку программ обучения.

В 2000 году Крис Дуглас и Паскуаль Сгро трансформировали две названных базовых модели в четырехшаговую модель оценки.

Шаг 1. Сбор данных.

Авторы обозначили четыре главных категории данных: показатели производительности, показатели тренинга, затраты на проект обучения, выгоды от обучения.

Шаг 2. Preand post-training (сравнение производительности/деятельности до обучения и после него).

Оценка на этом шаге включает выявление: направлений изменений в производительности/деятельности, величину этих изменений, статистическую и экономическую значимость изменений.

Шаг 3. Многомерный анализ.

Здесь выявляются и анализируются другие факторы, влияющие на изменения в производительности/деятельности. Этот шаг помогает определить границы влияния тренинга.

Шаг 4. Расчет ROI.

На этом шаге сравниваются затраты и доходы проекта обучения. Здесь могут рассчитываться такие параметры как ROI, NPV, анализируются дисконтированные потоки наличности.

На сегодняшний день данная модель хотя и не используется так же широко как, например, модель Киркпатрика, но все же представляет значительный интерес для специалистов.

Невозможно выделить наилучшую или наихудшую модель оценки качества и эффективности образовательных программ. В научных публикациях встречается утверждение, что самое главное — это определить, для чего проводится оценка, и как будут использоваться ее результаты, поскольку от этого зависят основные требования к оценочному аппарату.

Как правило, оценка качества программ проводится для решения практических задач, которые могут быть определены через внутренне и внешне ориентированные функции.

При этом к внешним функциям относят:

аккредитацию;

сравнение с аналогичными программами (ранжирование);

отчетность (предоставление информации);

контроль качества.

К внутренне ориентированным функциям относят:

управление качеством и контроль качества;

саморегулирование и дальнейшее совершенствование программы.

Несомненно, подходы к оценке у образовательной организации, реализующей учебные программы, и у коммерческой структуры, где развитие персонала является важным, но всего лишь одним из направлений вложения средств, должны быть разными.

Корпоративные программы обучения неизбежно будут оцениваться с точки зрения эффективности произведенных затрат, и методики оценки будут совершенствоваться с целью более точного измерения финансового эффекта от обучения, поскольку именно эта составляющая оценки является наиболее слабой.

Что касается образовательных организаций, то здесь чаще всего оценка проводится с целью последующего совершенствования учебных программ и самого образовательного процесса для достижения более высокого качества обучения. В данном случае критерии оценки должны быть сопоставимы с целями обучения и планируемыми результатами.

Прежде всего, должны быть четко и однозначно зафиксированы результаты обучения — что значит человек «обучился», в чем это выражается. Из ответа на этот вопрос выводятся конкретные критерии оценки успешности обучения.

Если исходить из модели Киркпатрика, то можно зафиксировать общую установку при формулировке критериев — это ориентироваться не на удовлетворенность слушателей после завершения курса, а на результативность обучения, что ведет к обеспечению более высокого уровня оценки.

Конечно, тренинги, семинары и иные формы бизнес-образовании должны выполнять одну из главных своих задач — обеспечить возможность применения полученных знаний в практической работе. Однако, на наш взгляд, образовательные организации не должны оценивать само изменение деятельности, то есть, факт применения полученных знаний на практике, поскольку эта ситуация определяется многими факторами, среди которых подготовленность работника за счет обучающих программ может быть далеко не главным.

Задача образовательной организации — оценить способность, готовность выпускников к практическому применению новых знаний и способов деятельности. Эта способность и готовность должны присутствовать в виде целей и планируемых результатов обучения, а значит и подлежать итоговой оценке, отражаться в используемых критериях.

Наиболее развитые формы приобрела оценка качества бизнес-образования и соответствующих образовательных программ на уровне высшего образования. Прежде всего, это обусловлено проводимым во многих странах контролем со стороны государства, который осуществляется через процедуры аттестации и аккредитации, и имеет жестко закрепленную формальную процедуру оценки. Кроме того, в сфере высшего образования в России действуют государственные образовательные стандарты, которые тоже являются источником определенных требований к содержанию и форме образовательных программ.

Это задает основные требования к процедуре разработки программ, к их форме и содержанию, а также определяет цели и смысл их оценки. Кроме того, оценка эффективности обучения предполагает обязательный учет того, насколько преподавателями и руководством переносятся в образовательные программы миссии, цели и задачи образовательного учреждения.

Государственные образовательные стандарты выступают базой для формирования основных образовательных программ в вузах. Именно на примере основных образовательных программ (ООП) можно рассмотреть комплекс тех требований, которые формируют качества учебных программ и являются ориентиром при проведении оценки.

Программа по специальности представляет собой комплект нормативных документов, определяющий цели, содержание и методы реализации процесса обучения и воспитания.

На первом этапе проектирования ООП определяются конечные цели, которые должны быть достигнуты в ходе обучения и воспитания. Основанием для этого являются социальные ожидания общества к интеллектуальным, личностным и поведенческим качествам и умениям выпускника, определяющим его готовность к самостоятельной жизни, продуктивной профессиональной деятельности.

Цели обучения при этом формируются на основании требований к уровню подготовки выпускника, содержащихся в государственных образовательных стандартах, конкретизированных и дополненных, исходя из того, к каким из указанных в стандарте видам деятельности будет, в основном, готовиться выпускник данного вуза, что он должен приобрести из профессионального опыта в результате освоения вузовского компонента стандартов.

На втором этапе проектирования ООП в вузе разрабатывается ее содержательная часть и порядок реализации, которые в совокупности составляют программу действий по достижению установленных целей. На этом этапе необходимо решить следующие задачи:

• · определить полный перечень дисциплин ООП;
• · обеспечить необходимую целостность образовательной программы, сочетающую фундаментальность подготовки с междисциплинарным характером профессиональной деятельности специалиста;
• · определить соотношение между аудиторной нагрузкой и самостоятельной работой студента;
• · установить целесообразное соотношение между теоретической и практической составляющими содержания образования;
• · найти наиболее эффективные с точки зрения достижения поставленных целей виды учебных занятий, образовательные технологии и др.

Считается, что каждая программа учебной дисциплины, как правило, должна содержать:

• · цели изучения дисциплины, соотнесенные с общими целями ООП, в том числе имеющими междисциплинарный характер или связанными с задачами воспитания;
• · содержание дисциплины, структурированное по видам учебных занятий с указанием их объемов;
• · учебно-методическое обеспечение дисциплины, включая перечень основной и дополнительной литературы, методические рекомендации (материалы) преподавателю, и методические указания студентам, рекомендации по использованию информационных технологий;
• · требования к уровню освоения программы и формы текущего, промежуточного и итогового контроля.

Оценка программ производится обычно, исходя из их соответствия перечисленным требованиям, и прежде всего — государственным стандартам. При проверке соответствия содержания рабочей программы требованиям ГОС ВПО сравнивают формулировки дидактических единиц программы и дидактических единиц стандарта. Если все дидактические единицы стандарта входят в содержание программы, то последняя считается соответствующей стандарту. Если расхождение превышает 5% от числа дидактических единиц стандарта, то программа не соответствует стандарту.

Вообще же дидактические параметры учебной дисциплины (наименование дисциплины, ее объем, место в графике учебного процесса, структура учебной дисциплины, формы занятий и формы контроля) входят в состав показателей качества обучения, рекомендуемых при проведении экспертизы в вузах.

К прочим показателям относятся: кадровое обеспечение учебного процесса; материально-техническое обеспечение учебного процесса; методическое обеспечение учебной дисциплины; дидактическое обеспечение учебной дисциплины; организационное обеспечение учебного процесса; уровень освоения содержания учебной дисциплины.

Более развернутый вариант самой процедуры оценки и используемого при этом инструментария можно увидеть на примере мониторинга и оценки качества образовательных программ в рамках Президентской программы подготовки управленческих кадров для организаций народного хозяйства Российской Федерации. Этой оценке в обязательном порядке подлежат программы образовательных учреждений (консорциумов), претендующих на участие или уже участвующих в реализации Государственного плана по реализации Президентской программы.

Мониторинг программ осуществляет Комиссия по организации подготовки управленческих кадров для организаций народного хозяйства Российской Федерации с целью принятия решений о возможности подготовки специалистов в рамках Государственного плана по той или иной программе. Сведения об образовательных программах, прошедших процедуру оценки качества вносятся в Список образовательных учреждений и программ и публикуются в изданиях Комиссии. Состав критериев является открытым. Он определяется и утверждается экспертным советом Комиссии, который впоследствии рассматривает материалы мониторинга и оценки образовательных программ, и утверждает заключение об оценке каждой программы.

Судя по официальным документам Комиссии, под качеством программ подготовки управленческих кадров понимается способность учебных заведений разрабатывать и реализовывать программы переподготовки, которые обеспечивают участников необходимыми знаниями, навыками и умениями для решения стоящих перед ними реальных управленческих проблем.

Оценка качества программ представляет собой анализ собранной в ходе мониторинга информации для определения степени соответствия программы, поставленным целям, а также возможностей ее совершенствования и развития.

Единая система мониторинга и оценки создает основу для обоснованного принятия решения о дальнейшем развитии и совершенствовании программы на основе анализа и обобщения практического опыта.

Система мониторинга и оценки качества предполагает:

• · разработку критериев, показателей и индикаторов качества программы;
• · определение принципов организации системы;
• · выделение основных этапов мониторинга и оценки качества;
• · разработку документационного сопровождения системы.

Оценочный аппарат включает систему критериев, показателей и индикаторов качества программы, которые приводятся ниже.

Основными критериями качества программы в данной системе мониторинга и оценки являются:

• · Соответствие программы общим целям и задачам Президентской программы, а также «Методическим рекомендациям»;
• · Соответствие программы образовательным потребностям слушателей;
• · Соответствие программы образовательным потребностям направляющих предприятий;
• · Эффективность реализации программы.

Для каждого критерия предлагается набор показателей и индикаторов, с помощью которых производится экспертная оценка качества программы.

По критерию соответствия программы общим целям и задачам Президентской программы, а также «Методическим рекомендациям» — это:

• Ш Миссия, цели и задачи программы
• § Соответствие структуры и содержания программы сформулированной миссии и целям.
• § Соответствие программы специфике обучающейся группы слушателей.
• Ш Структура и содержание программы
• § Концептуальная взаимосвязанность, целостность и сбалансированность курсов.
• § Логика построения и последовательности курсов
• § Сбалансированность теоретической и практической подготовки слушателей
• § Охват тематики, заданной в «Методических рекомендациях»
• § Адаптация программы к образовательным потребностям конкретной группы слушателей
• § Обеспечение заявленной специализации в рамках реализуемой программы
• Ш Преподавательский состав
• § Квалификация и компетентность преподавателей программы
• § Опыт практической и консультационной деятельности преподавателей
• Ш Методы обучения и учебно-методическое обеспечение программы
• § Сбалансированность методов преподавания/обучения, развитие практических управленческих навыков
• § Качество учебно-методических материалов, их соответствие потребностям обучающейся группы
• Ш Оценка качества обучения слушателей
• § Организация текущего и итогового контроля
• § Связь выпускных работ с практическими проблемами направляющего предприятия
• § Организация и методика проведения государственного выпускного экзамена, их соответствие «Методическим рекомендациям»
• § Участие слушателей в процессе анализа и совершенствования качества программы

По критерию соответствия программы образовательным потребностям слушателей — это:

• Ш Анализ образовательного уровня, образовательных потребностей и ожиданий слушателей
• § Анкетирование слушателей в начале программы
• § Изменения и дополнения учебно-методического плана и содержания отдельных курсов в соответствии с выявленными образовательными потребностями и пожеланиями слушателей
• § Организация обратной связи со слушателями для учета и анализа их мнений, пожеланий и рекомендаций
• Ш Практическая направленность программы
• § Определение практических умений и навыков, которые должны приобрести слушатели в результате изучения каждого курса
• § Развитие практических умений и навыков в ходе обучения
• Ш Результативность программы и удовлетворенность слушателей
• § Оценка программы и ее результатов слушателями
• § Карьерный рост выпускников как результат участия в программе

По критерию соответствия программы образовательным потребностям направляющих предприятий:

• Ш Сотрудничество программы с направляющими предприятиями
• § Регулярность и эффективность контактов программ с направляющими предприятиями
• § Анализ образовательных потребностей направляющих предприятий
• § Управленческое консультирование как форма сотрудничества программ с предприятиями
• Ш Участие представителей направляющих предприятий в реализации программы
• § Связь тематики и проблематики выпускных работ с практическими проблемами направляющих предприятий
• § Вовлечение представителей направляющих предприятий в учебный процесс, а также в процесс анализа и совершенствования программы
• Ш Практическая направленность программы
• § Связь содержания программы с современной российской практикой
• § Использование учебных материалов, учитывающих местную специфику
• § Связь содержания программы с конкретными управленческими задачами, стоящими перед слушателями
• § Возможность практического использования результатов выпускных работ на направляющих предприятиях
• Ш Результативность программы и удовлетворенность направляющих предприятий
• § Оценка программы руководителями направляющих предприятий
• § Оценка качества подготовки выпускников руководителями направляющих предприятий
• § Продвижение выпускников по служебной лестнице как результат участия в программе

По критерию эффективности реализации программы:

• Ш Организационно-методическое обеспечение программы на этапе подготовки
• § Совершенствование учебных программ, содержания курсов, учебно-методических материалов
• § Совершенствование информационного и материально-технического обеспечения программ
• Ш Организационно-методическое обеспечение программы на этапе проведения
• § Гибкость и эффективность организации учебного процесса
• § Возможность корректировки программы в ходе ее реализации
• Ш Управление программой
• § Место программы в учебно-методической деятельности образовательного учреждения
• § Механизмы координации программы
• § Система управления качеством программы
• Ш Результативность программы
• § Результаты обучения слушателей
• § Результаты отбора выпускников на зарубежные стажировки
• Ш Межорганизационные связи
• § Контакты программы с Федеральной и региональной комиссиями
• § Взаимоотношения партнеров по консорциуму

Используемая методика предполагает, что оценка программ проводится по двум основным направлениям: содержательному и организационному.

Оценку организационных аспектов реализации программы (что в основном соответствует критериям эффективности реализации программы и частично соответствия образовательным потребностям слушателей и направляющих организаций) будут осуществлять мониторы-аналитики на основе результатов двух стадий мониторинга и предоставленной руководством программы дополнительной информации.

Оценка содержательных аспектов программы (критерии соответствия «Методическим указаниям» и частично соответствия образовательным потребностям слушателей и руководителей предприятий) и выведение итоговой оценки (если необходимо) будет осуществляться экспертами Федеральной комиссии на основании собранной мониторами информации, представленной руководством программы документации, а также оценок и комментариев мониторов.

В области краткосрочного обучения предпринимателей для сферы малого бизнеса столь же формализованные внешние требования к образовательным программам отсутствуют, и их качество во многом определяется сложившейся практикой работы и организационной культурой образовательной организации, ее приверженностью российским или международным стандартам, если они существуют.

Однако, как показал проведенный нами опрос, сложившаяся практика оценки учебных программ в сфере бизнес-образования в основном, приемлема для, более чем, четверти опрошенных руководителей образовательных организаций, реализующих краткосрочное обучение предпринимателей (рис. 8). Около трети опрошенных считают, что она нуждается в небольших изменениях. Как требующую серьезных изменений, ее оценивают 13,3% руководителей, и еще для 3,3% она абсолютно неприемлема.

Своего мнения на эту проблему не имеет достаточно большая группа руководителей учреждений, реализующих программы бизнес-образования. Это 26,7% от общего количества участников опроса.

Рис. 8. Оценка руководителями сложившейся практики оценки учебных программ в сфере бизнес-образования

Еще один пример, заслуживающий внимания с точки зрения выбранного набора критериев оценки образовательных программ, разработан для конкурсной оценки программ в области педагогического образования, разрабатываемых в рамках программы модернизации российского образования.

Здесь взяты за основу три базовых показателя — актуальность программы, технологичность и ее потребительские характеристики, отражающие то, что программа является определенным формальным инструментом организации образовательного процесса. Каждый из критериев включает определенный набор показателей, по которым и происходит балльная оценка.

оценка образовательный программа валидизация Критерии и показатели качества включают:

Актуальность:

• — соответствие целям и направлениям модернизации, задачам развития российской системы образования;
• -уточнение задачи развития системы образования, которые решает образовательная программа;
• — фиксирование профессиональных проблем педагогов или управленцев, которые будут решены в результате обучения по программе;
• — прогноз востребованности.

Технологичность:

• — фиксированность образовательного результата (знаний, умений, навыков, способов деятельности, компетенций);
• — представление способа его достижения, в т. ч. пошаговая реализация (содержание учебного материала, формы организации и способы деятельности обучающихся, содержание и формы промежуточного и итогового контроля);
• — наличие и непротиворечивость концептуальных идей, положенных в основу Программы;
• — кадровое обеспечение;
• — материально-техническое обеспечение;
• — дидактическое и организационно-методическое обеспечение деятельности преподавателей и обучающихся.

Потребительские характеристики:

• — оформление в соответствии с принятыми требованиями;
• — четкость и последовательность изложения.

Представляет интерес опыт разработки конкретного инструментария оценки качества учебно-методического сопровождения процесса бизнес-образования, предпринятый в рамках проекта Фонда Евразия. Проект был направлен на проведение экспертизы учебно-методических материалов по экономике и бизнесу, профинансированных Фондом Евразия в период с 1996 по 2001 год.

Для оценки учебной программы по экономике и бизнесу в данной методике используются 4 интегральных показателя, раскрываемых через определенный набор параметров.

Это:

уровень значимости учебной программы;

уровень качества учебной программы;

уровень ее учебно-методического потенциала;

конкурентные преимущества.

Итоговая экспертная оценка представляет собой сумму оценок каждого из перечисленных интегральных показателей, каждый из которых, в свою очередь, предстает как сумма значений входящих в него параметров.

Интегральные показатели включали следующий состав параметров оценки.

Уровень значимости учебно-методического материала:

— актуальность (ориентированность на наиболее значимую проблематику в рамках определенной тематической группы);

практическая направленность (возможность применения результатов обучения в практической деятельности);

прогностичность (ориентированность на решение проблем будущего этапа формирования рыночных отношений в России);

адаптированность (применимость к специфике российских экономических и хозяйственных условий);

новизна (использование собственных разработок, обладающих признаками научной новизны).

Уровень качества учебно-методического материала:

полнота (степень раскрытия заявленной темы);

конкретность (степень детализации, оптимальная для понимания учебной программы);

доступность (степень соответствия уровня сложности учебной программы уровню обучаемых);

структурированность (степень оптимальности выделения единиц материала для раскрытия и усвоения темы);

технологичность (наличие ссылок, тематических указателей, схем и т. п. для удобства работы пользователей).

Уровень учебно-методического потенциала:

контролируемость результатов обучения (наличие заданий или тестов для входного, промежуточного и итогового контроля усвоения материала);

инновационный потенциал (ориентированность на современные технологии обучения);

комплектность (степень полноты учебно-методического обеспечения — наличие не только учебной программы, но и учебного пособия для учащихся, а также методических рекомендаций для преподавателей);

мотивационный потенциал (наличие средств, обеспечивающих учебную мотивацию — проблемность изложения, понятность, интересность, языковой стиль, нестандартность подачи материала, практические примеры и т. д.);

развивающий потенциал (ориентированность не только на передачу обучаемым «готовых» знаний, но и на самостоятельное получение ими части знаний).

Конкурентные преимущества:

адресность (ориентированность учебной программы на определенную целевую аудиторию и соответствие ей);

уникальность (отсутствие аналогов по содержанию и целевой аудитории);

качество издания (дизайн, бумага, цвета, переплет и т. д.);

доступность приобретения (тираж, информация о возможности приобретения и т. д.);

научный уровень авторов.

Для оценивания по каждому из принятых параметров используется 10-балльная шкала, что позволяет в максимальной степени дифференцировать результаты экспертизы. Каждый из интегральных показателей может получить оценку в пределах от 0 до 50 баллов, а максимальная итоговая оценка может составить 200 баллов.

Результат оценки — это ранжирование учебных программ, прошедших экспертизу, по степени их перспективности.

По итогам ранжирования выделяются следующие группы:

Наиболее перспективные учебные программы.

Это программы, набравшие более 60% максимально возможных баллов (от 120 до 200 баллов). Они могут быть рекомендованы для дальнейшего использования при обучении различным аспектам экономики, бизнеса и менеджмента, и возможного с этой целью тиражирования, переиздания и распространения.

Имеющие перспективу, но требующие доработки.

Это учебные программы, набравшие от 40 до 60% максимально возможных баллов (от 80 до 120 баллов). Они могут иметь, например, высокую тематическую значимость или высокий уровень качества с учебно-методической точки зрения, но включать частично устаревшие материалы или иметь другие устранимые недостатки.

Кроме того, сюда могут быть включены работы, получившие по каким-либо параметрам наивысшую оценку, то есть 10 баллов, что может отражать их потенциальную привлекательность при условии доработки по тем параметрам, которые были оценены низко.

Не имеющие значимой перспективы.

В эту группу входят учебные программы, набравшие менее 40% максимально возможных баллов (то есть менее 80 баллов). Они не могут быть рекомендованы не только для переиздания и дальнейшего распространения, но и для эффективного обучения различным аспектам экономики, предпринимательства и менеджмента.

В заключение рассмотрим также факторы, которые при оценке учебных программ считают необходимым учитывать сами руководители образовательных организаций.

Как показал анализ результатов их опроса (рис. 9), наиболее важными при оценке учебных программ для них являются такие факторы как максимальная полезность программы для слушателей (так считает 16,4% руководителей), четкая формулировка общей цели программы (13,4%), определенность всех результатов, которые будут получены при обучении (11,9%), соответствие содержания программы заявленным целям (10,4%), ориентация на современные методы и технологии обучения (9,7%), наличие требований к уровню квалификации преподавателя (9,0%),.

Менее важными оказались: обоснование выбора технологии обучения (5,2%), наличие требований к уровню подготовки слушателей (4,5%) и наличие системы объективного контроля результатов обучения (4,5%), а также наличие учебного плана (3,7%) и обоснованность тематики курса (3,0%).

Рис. 9. Распределение важности учета отдельных факторов при оценке учебных программ (по оценкам руководителей образовательных организаций)

Мнения руководителей относительно того, позволяет ли существующая практика оценки программ сделать обоснованный вывод о таких их характеристиках, как: качество содержания обучения, соответствие технологии обучения целям программы, ожидаемые результаты обучения, готовность образовательного учреждения реализовать данную программу, актуальность заявленной тематики, коммерческую выгоду от реализации программы, — приведены на рисунке 10.

Больше всего положительных оценок дано возможностям сделать обоснованный вывод при существующей практике об актуальности заявленной тематики и готовности образовательного учреждения реализовать данную программу (соответственно 33,3% и 30% опрошенных), меньше всего — ожидаемым результатам обучения и соответствию технологии обучения целям программы.

Почти четверть экспертов считает, что могут обоснованно оценить качество содержания обучения, а пятая часть — коммерческую выгоду от реализации программы.

Рис. 10. Распределение оценок руководителями возможности при существующей практике оценки программ сделать обоснованный вывод об их характеристиках

Для преподавателей, участвовавших в проведенном нами опросе, среди факторов, снижающих эффективность оценки программ, первое место занимает отсутствие качественных методик оценки, которое отметили 30,6% преподавателей (рис. 11).

На втором месте — стремление руководства к сокращению затрат на обучение (16,9%). Далее следуют: недостаток квалифицированных преподавателей (10,6%), незаинтересованность преподавателей в экспертизе своих программ (10,0%); отсутствие выбора из имеющихся обучающих программ (9,4%).

Рис. 11. Оценка преподавателями факторов, снижающих эффективность оценки программ

При этом большинство преподавателей ничего не знают о том, существуют ли в настоящее время методики оценки учебных программ, позволяющие делать обоснованный адекватный прогноз эффективности обучения (рис. 12).

Рис. 12. Оценка преподавателями возможности существования в настоящее время методик оценки учебных программ, позволяющих делать обоснованный адекватный прогноз эффективности обучения