Помощь в написании студенческих работ
Антистрессовый сервис

Разработка модели и технологии оценки системы менеджмента качества вуза и ее применение для целей государственной аккредитации

ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

С целью выработки единых подходов при построении систем качества вузов для поддержки внешних процедур оценивания по решению Совета по координации управления качеством высшего профессионального образования в рамках сетевого проекта консорциумом вузов (ЛЭТИ, МИСиС, ТПУ) была разработана типовая модель системы качества вуза, обеспечивающая отраслевую конкретизацию требований к процессам… Читать ещё >

Разработка модели и технологии оценки системы менеджмента качества вуза и ее применение для целей государственной аккредитации (реферат, курсовая, диплом, контрольная)

Содержание

  • Введение.5 !
  • 1. Обзор и анализ моделей оценки систем менеджмента качества и методов их применения
    • 1. 1. Использование базовых стандартов и моделей для оценки систем менеджмента качества
    • 1. 2. Требования Стандартов и Директив для гарантии качества высшего образования ENQA
    • 1. 3. Модели оценки систем менеджмента качества для образовательных учреждений
      • 1. 3. 1. Классификация моделей.33 !
      • 1. 3. 2. Модель Малкольма Болдриджа (MBNQA) для образовательных учреждений
      • 1. 3. 3. Модели совершенства EFQM для высшего образования
      • 1. 3. 4. Модель конкурса Минобрнауки России «Системы обеспечения качества подготовки специалистов»
      • 1. 3. 5. Модель внутривузовской системы менеджмента качества высшего профессионального образования ЛЭТИ
    • 1. 4. Методы применения моделей оценки систем менеджмента качества.43 !
      • 1. 4. 1. Назначение самооценки
      • 1. 4. 2. Методы и инструменты самооценки
        • 1. 4. 2. 1. Классификация методов
        • 1. 4. 2. 2. Метод имитации участия в конкурсе
        • 1. 4. 2. 3. Проформа
        • 1. 4. 2. 4. Метод рабочего совещания
        • 1. 4. 2. 5. Метод использования матрицы
        • 1. 4. 2. 6. Метод анкетирования (вопросник)
      • 1. 4. 3. Достоинства и недостатки методов самооценки.61 !
    • 1. 5. Разработка концептуальной модели
  • 2. Разработка модели оценки системы менеджмента качества
    • 2. 1. Оценка соответствия применяемых моделей и методов оценки систем менеджмента качества заданным характеристикам
    • 2. 2. Синтез фундаментальных концепций TQM с требованиями Стандартов и Директив ENQA
    • 2. 3. Выбор показателей модели и их составляющих
    • 2. 4. Определение степени интеграции модели оценки с требованиями Стандартов и Директив ENQA
    • 2. 5. Оценка уровня взаимосвязей между показателями модели
    • 2. 6. Расчет весовых коэффициентов
    • 2. 7. Выводы
  • 3. Разработка методики самооценки для вузов
    • 3. 1. Требования, предъявляемые к самооценке
    • 3. 2. Выбор методов и инструментов самооценки
    • 3. 3. Проектирование процесса самооценки и показателей его результативности
    • 3. 4. Разработка опросных листов
    • 3. 5. Использование диагонального подхода к анкетированию
    • 3. 6. Агрегирование результатов анкетирования и оценка взаимосвязей
    • 3. 7. Апробация методики самооценки в КубГТУ
      • 3. 7. 1. Разработка целевых программ «Качество»
      • 3. 7. 2. Участие в конкурсе администрации Краснодарского края в области качества
      • 3. 7. 3. Оценка соответствия моделям ЛЭТИ и МИСиС и участие в конкурсе Минобрнауки России в области качества
      • 3. 7. 4. Оценка соответствия модели EFQM «Признанное совершенство»
      • 3. 7. 5. Сравнительные результаты апробации методов самооценки в
  • КубГТУ
    • 3. 8. Выводы
  • 4. Разработка методики оценки для экспертов
    • 4. 1. Уровни зрелости и их содержание
    • 4. 2. Проектирование процесса экспертизы и показателей его результативности
    • 4. 3. Оценка показателей группы «Возможности»
    • 4. 4. Разработка шкалы оценки и содержания характеристик рейтингов
    • 4. 5. Определение уровня зрелости системы менеджмента качества
    • 4. 6. Организация работы экспертной группы
    • 4. 7. Выводы

Актуальность темы

исследования.

Вступление России в ВТО предполагает тщательное выполнение правил и процедур, установленных в ВТО, что обязывает не только работать по международным правилам, но и заботиться о защите национальных интересов. В этой связи, одной из стратегий государственной политики определено поддержание качества интеллектуальных ресурсов общества, недопущение снижения темпов интеллектуального развития за счет опережающего развития науки, а значит, за счет прироста знаний [74]. В этих условиях российскому бизнес-сообществу предстоят значительные затраты на обучение и переобучение специалистов. Образовательное сообщество отреагировало на это бурным ростом количества высших образовательных учреждений, что свидетельствует о привлекательности образования как бизнеса. Однако бизнес-компании готовы инвестировать в университеты, при условии обеспечения ими гарантии качества образовательных услуг на уровне мировых стандартов. В этой связи государство, в лице регулирующих органов — Федерального агентства по образованию и Федеральной службы по надзору в сфере образования и науки, целенаправленно проводит политику в целях интеграции российского высшего образования в мировую образовательную систему. Болонская «Декларация о Европейском пространстве для высшего образования», подписанная Россией в 2003 году и «Концепция модернизации российского образования за период до 2010 года» основными целями образования определяют «повышение его качества, доступности, эффективности и требуют создания системы гарантий качества». Для полноценного участия России в Болонском процессе российской высшей школе предстоит в 2005 — 2010 годах предпринять ряд мер, среди которых создание условий для функционирования сопоставимой с требованиями европейского сообщества системы обеспечения качества образовательных учреждений и образовательных программ вузов, а также внутривузовских систем контроля качества образования. Это налагает определенные требования как на национальную систему гарантии качества образования, так и на механизмы внутренних гарантий качества образования, реализуемых посредством внутривузовской системы менеджмента качества. Так, частью проводимой политики государства в области обеспечения гарантий качества образования является более активная поддержка вузов на законодательном уровне, путем включения в показатели государственной аттестации и аккредитации вузов в 2000 году показателя 1.2.4 «Внутри-вузовская система качества» [45], измененного в 2006 году на показатель «Результативность внутривузовской системы обеспечения качества». Более того, Минобрнауки России финансирует проекты в рамках реализации государственной политики в области модернизации высшего образования, ищет пути объективной оценки систем качества вузов и получения надежных результатов оценивания, понимания, что от этого зависит уровень доверия к российскому образованию со стороны студентов, представителей работодателей и общественности стран, подписавших Болонскую декларацию, а также аккредитационных агентств ENQA, которыми были разработаны Стандарты и Директивы для гарантии качества высшего образования в Европейском регионе [87].

Реакция вузов на действия регулирующих органов усилила внимание к проблемам определения и измерения качества образования. По этим направлениям в вузах ведется целенаправленная работа, результатом которой является создание разнообразных современных и перспективных методических, организационных и управленческих решений. Существенный вклад в области управления качеством высшего образования внесли ученые Н. А. Селезнева, А.И. Су-бетто, В. И. Байденко, Е. Н. Геворкян, В. И. Круглов, В. П. Соловьев, А. И. Кочетов, Б. В. Бойцов, В. Н. Азаров, В. В. Левшина, Е. Б. Гаффорова, М. В. Коровкин,.

Ю.П. Адлер, В.П., С. А. Степанов, B.C. Соболев, В. Н. Нуждин, В. А. Качалов и др. В течение последних лет среди вузов России растет интерес к стандартам серии ISO 9000:2000 (42 вуза России из 620-ти аккредитованных вузов Российской Федерации получили сертификат на СМК), применению модели конкурса Рособрнадзора и Рособразования «Системы обеспечения качества подготовки специалистов» (МИСиС) [80], экспресс-моделей МИСиС [14, 81, 96] и ЛЭТИ [82, 85] для образовательных учреждений, экспресс-модели EFQM для высшего образования, разработанной консорциумом европейских вузов TRIS в 2003 году [65], модели EFQM для университетов, разработанной Шеффилд Халам Университетом в 2003 году [37, 60], базовой модели совершенства EFQM [35, 36], модели премии Правительства РФ в области качества и других моделей, разработанных и используемых вузами (ИГЭУ, ЯрГУ) для целей совершенствования [62, 88]. Ряд вузов России проводят исследования моделей оценки качества, основанных на сопоставительном сравнении показателей аккредитационных агентств — Австралийская модель бенчмаркинга для университетов [55], модель | аккредитационного агентства QAA Framework (Великобритания), модель международной аккредитационной сети INQAANE для университетов [20].

Существующее разнообразие подходов и методов ни в коей мере не идет вразрез с провозглашенными целями моделей. Однако следует отметить, что различное применение моделей, основанных на единых фундаментальных концепциях, затрудняет проведение анализа реальной ситуации относительно эффективности систем обеспечения качества образования, несмотря на наличие соответствующего показателя государственной аккредитации, что сказывается на выработке регулирующими органами механизмов гарантии качества образо- | вания, главная задача которых — не обеспечение единообразия в подходах к СМК, а обеспечение уверенности в действенности СМК, посредством внедрения сопоставимых критериев и надежных и точных оценочных процедур. В этой связи вопросы оценки систем качества образования будут всегда актуальны и востребованы, что и определило цели настоящего диссертационного исследования.

Что касается применения стандартов серии ISO 9000:2000, то здесь наблюдается разнообразие подходов, что послужило препятствием в той или иной степени их однозначного понимания и применения вузами. В то же время Ро-собрнадзор не без оснований с осторожностью относится к сертификатам на системы качества, полученных вузами, и не учитывает наличие сертификата на СМК при оценке показателя 1.2.4 государственной аттестации и аккредитации. Эта осторожность основана на данных о том, что практическая сертификация систем менеджмента качества в России, к сожалению, реализуется не без недостатков, являющихся следствием отхода некоторых органов по сертификации от принципов, на которых она должна строиться. Одним из главных проявлений этих недостатков является выдача сертификата соответствия стандарту на СМК при фактическом отсутствии такого соответствия. Речь идет о формальном внедрении стандарта, когда все требования выполнены, более того, система сертифицирована, а результат работодателями и студентами не ощущается. Следовательно, в современных условиях, наличие в вузе сертификата на систему менеджмента качества не может обеспечить гарантии потребителям в качестве предоставляемых вузом образовательных услуг.

С целью выработки единых подходов при построении систем качества вузов для поддержки внешних процедур оценивания по решению Совета по координации управления качеством высшего профессионального образования в рамках сетевого проекта консорциумом вузов (ЛЭТИ, МИСиС, ТПУ) была разработана типовая модель системы качества вуза [95], обеспечивающая отраслевую конкретизацию требований к процессам, показателям, процедурам и продукции системы качества вуза. Решением Совета по координации управлением качества образования [79], применение типовой модели системы качества вуза носит рекомендательный характер. Однако, несмотря на рекомендательный характер, типовая модель предполагает выработку модели и методики оценки ее применения в вузах для целей государственной аккредитации. В ситуации неопределенности оказались вузы, имеющие сертификаты на свои СМК, и использующие иные методологические подходы и методы при построении своих СМК. В этой связи регулирующими органами (постановление международного форума «Гарантии качества образования» от 06.12.2006 г.) принято решение о необходимости разработки модели оценки системы качества вуза, основанной на лучшем отечественном и зарубежном опыте.

Возвращаясь к национальной системе оценки качества образования, необходимо отметить, что несмотря на то, что оценка наличия внутривузовской системы качества введена в процедуру аккредитации, критерии ее оценки в показателях аккредитации четко не определены, что затрудняет проведение внешней экспертизы при государственной аккредитации. Используемые методики оценивания вузов [57, 58] в рамках этой процедуры направлены не на оценку вуза, как системы, а на оценку отдельных его показателей и соответствие их пороговым значениям показателей аккредитации. Однако представляется, что с современных позиций менеджмента качества, вуз должен больше управлять взаимосвязями составных частей своей системы качества, нежели управлять своими показателями, как результатами работы составных частей этой системы, ибо нельзя исследовать систему, изолируя и оценивая один ее элемент, например, какой-нибудь процесс или деятельность, игнорируя его взаимодействие с другими элементами системы.

Так, в настоящее время, требования к качеству регламентируются в Государственных образовательных стандартах высшего профессионального образования. Механизм осуществления государством гарантии качества образования устанавливает статус образовательного учреждения по типу и виду и состоит из трех этапов: лицензирование, аттестация и аккредитация, которые с 1 января 2000 года объединены. В процедуру государственной оценки качества входит самооценка и отчет по ней, выполняемые вузом до начала работы экспертов по внешней оценке [75].

Формальное представление требований национальной системы качества образования выражается в виде показателей государственной аккредитации. Несмотря на то, что начиная с 2003 года, учитывая мировой опыт и требования Болонского процесса, были введены новые показатели (воспитательная деятельность, научно-исследовательская работа студентов и пр.), исследования этого перечня [85] показывают ряд существенных недостатков с точки зрения современных принципов менеджмента качества, а именно:

— многие показатели, описывающие общие возможности вуза и его позиционирование на рынке образовательных и научно-исследовательских услуг имеют констатирующий характер и не позволяют судить о том, насколько актуальны и соответствуют требованиям работодателей учебные планы и рабочие программы преподаваемых дисциплин, насколько влияют результаты научно-исследовательской деятельности на содержание образовательного процесса, какова направленность структуры подготовки кадров по основным образовательным программам, достаточна ли учебно-лабораторная база, насколько лаборатории оборудованы средствами, поддерживающими современные технологии обучения;

— показатели также не отвечают на вопросы, насколько удовлетворены студенты и преподаватели качеством информационно-методического обеспечения образовательного процесса, насколько эффективно и удобно для студентов и преподавателей вуза используются компьютерные ресурсы вуза, насколько студенты удовлетворены внеучебной работой и социальным обеспечением и пр.

В то же время показатели самообследования вуза, предшествующего аттестационной экспертизе, существенно дополняют и расширяют области и глубину оценки и непосредственно связаны с базовыми принципами менеджмента качества. Они четко отражают ориентацию на потребителей (студентов и работодателей) и механизмы измерения их удовлетворенности (в т.ч. анкетирование), в большей степени ориентированы на процессы вуза, а не только на его потенциальные возможности и результаты, т. е. они в определенной степени отвечают на вопрос, как организован сам процесс (обучения, научно-исследовательской деятельности и т. д.), позволяют проследить динамику развития вуза по основным показателям.

Таким образом, отсутствие комплексной системы сбалансированных показателей, привело к тому, что в практике комплексной оценки вузов наблюдаются нежелательные явления, связанные со стремлением контролируемых вузов улучшить не саму работу, а ее показатели. Что касается содержания оценочных процедур, то накопленный регулирующими органами и вузами опыт оценочной деятельности предполагает введение в технологию комплексной оценки экспертные методы, применяемые при оценке в рамках конкурса «Системы обеспечения качества подготовки специалистов». Пока не стали применяться критерии модели этого конкурса, не многие вузы когда-либо оценивали свои системы менеджмента целиком. Во-первых, не существовало эффективного инструмента оценки. Во-вторых, поиск путей совершенствования редко обнаруживал необходимость оценки системы. Проблемы относились к отдельным видам деятельности и их результатам, а не к системе в целом. По мнению исследователей Е. А. Князева и Н. В. Дрантусова, отсутствие продуманной и действительно pai ботающей системы оценки объясняется тем, что нет специалистов в этой сложной сфере, соответствующих структур, методик и, в целом, культуры этой деятельности в учреждениях образования. Логика экономических процессов и изменений в обществе свидетельствует, что вузы обречены на все большую самостоятельность и автономию, они должны развивать потенциал самоуправления и саморегуляции и поэтому — овладевать методикой внутренней оценки, как одной из важнейших областей управленческого процесса [44].

Когда движение за качество в вузах стало набирать силу, и вузы начали применять стандарты ISO серии 9000 и модели национальных, отраслевых и | региональных премий по качеству, появилось осознание того, что проблемой является система, и им не безразлично то, в каком состоянии она находится.

Высшее руководство вузов охотно участвует в борьбе за эти премии, когда оно полагает, что результаты позволят получить награду, которая является весомым аргументом при прохождении комплексной оценки. Полученные баллы и ранжирование финалистов представляет наибольший интерес больше для высшего руководства, поэтому результат конкурса больше похож на внешний аудит, т.к. особых перемен в вузе, как правило, не происходит. Следовательно, для процедуры оценивания в рамках государственной аттестации и аккредитации, внешняя атрибутика наград за качество должна быть заменена тщательным и планомерным самообследованием вуза при условии личного участия высшего руководства и руководителей среднего звена. По мнению руководителя Технического Секретариата Совета премии Правительства РФ в области качества Галеева В. И. [21], по мере расширения представлений о путях развития современной организации будут совершенствоваться и модели оценки. При этом можно предположить, что будет возрастать значение творческого начала в работе, социальных и этических аспектов, безопасности в широком смысле, взаимосвязи разных направлений менеджмента.

Таким образом, оценка системы менеджмента качества вуза для целей государственной аккредитации должна базироваться на известных премиальных моделях, основанных на моделях совершенства EFQM, соответствующих современным принципам TQM, учитывать требования Стандартов и Директив ENQA и представления об открытых «мягких» системах, каковой является вуз. Эффективная оценка должна сопровождаться процессами самооценки, базирующимися на методах, приводящим к надежным результатам. Это разрешит проблемы неопределенности критериев и шкал их оценки и повысит эффективность процедуры государственной аккредитации.

Таким образом, проблематика исследования состоит в разработке оптимальной модели оценки системы менеджмента качества и ее конфигурации, как сложного набора элементов, составляющих процессы вуза, организационную структуру, документы, методики и ресурсы. Взаимодействие этих элементов это то, что заставляет систему работать, но это одновременно является причиной того, что оценка становится сложной. По этой причине эффективная оценка системы имеет три составляющие:

— модель оценки системы, т. е. перечень показателей оценки, обеспечивающих системный подход;

— команды, взявшие на себя труд по оценке системы;

— приемлемые для культуры вуза методы и инструменты, которые они могут использовать, чтобы произвести глубокую и объективную оценку системы, от выбора которых зависит то, как применяется модель оценки. Практика показывает, что в большинстве случаев, неэффективность применения очень хороших моделей кроется в их неправильном применении и отсутствии эффективных и приемлемых технологий этого применения [48].

Основной целью исследования является решение проблемы получения надежных результатов внешнего оценивания системы менеджмента качества вуза при прохождении им процедуры государственной аккредитации. В ходе исследования выделены три подцели с соответствующими задачами:

— разработка модели оценки системы менеджмента качества вуза и ее показателей на основе лучших отечественных и зарубежных моделей третьего поколения, используемых для высшего образования с учетом аккредитационных показателей и требований Стандартов и Директив ENQA, включаемых в модель на уровне фундаментальных концепций, показателей и их содержания;

— определение, выбор методологических подходов, разработка и апробация технологии применения модели оценки для вузов;

— определение, выбор методологических подходов и разработка технологии применения модели оценки для экспертов.

Объектом исследования являются модели оценки систем менеджмента качества и методы их применения (внедрения) как внутри организаций, включая вузы, так и для целей внешнего независимого оценивания.

Предметом исследования является система менеджмента качества вуза, ее элементы и отношения, возникающие внутри вуза при реализации его миссии: системные факторы и процессы системы менеджмента качества вуза, приводящие к реализации его основных целей, степень их взаимодействия и сбалансированности, гарантирующая в конечном итоге удовлетворенность обучаемых, работодателей, преподавателей и сотрудников и заинтересованных сторон в лице партнеров, поставщиков, государственных органов и представителей общества.

Теоретической и методологической основой исследования послужили труды отечественных и зарубежных специалистов, научные публикации, посвященные разработке и применению моделей оценки систем менеджмента, методам оценки качества объектов и систем, методологических подходов к применению методов самооценки и проведению экспертных работ Э. Деминга, Т. Конто, П. Друкера, Дж. Джурана, Г. Ватсона, Дж. Дальгаарда, Т. Петерса, В. Г. Версана, В. И. Галеева, К. В. Пичугина, В. В Окрепилова, В. И. Круглова, В. П. Соловьева, А. И. Кочетова, О. В. Богдановой, В. В. Левшиной, М. В. Коровкина, С. А. Степанова, B.C. Соболева, Е. Б. Гаффоровой, Ю. П. Адлера, Т.М. Полхов-ской, В. Н. Нуждина, Д. В. Маслова, К. Стид, А. Л. Шестакова, Н.Б. Ольховико-вой, В. Е. Швеца, В. А. Качалова, материалы научных конференций и семинаров, методические рекомендации по применению моделей оценки в премиальных конкурсах (конкурсе на Европейскую премию по качеству, премию Правительства РФ в области качества и премию Минобрнауки России в области качества), методические рекомендации по применению моделей экспресс-самооценки ЛЭТИ и МИСиС для высшего образования.

На различных стадиях работы применялись разновидности экспертных методов (метод рангов и балльный метод) и методы бенчмаркинга, логический системный анализ и синтез, причинно-следственный и корреляционный анализ. Анализ возможностей использования и практическая апробация методик составили значимую часть настоящего исследования. Выводы диссертационной работы строились на анализе нормативной базы в области гарантий качества образования, экспертных оценках, опросах фокус-групп, опыте автора и лучших практиках экспертов и специалистов по проблематике исследования.

Эмпирической базой исследования послужили данные по апробации экспресс-моделей самооценки ЛЭТИ и МИСиС, фактические материалы результатов самооценки в КубГТУ, собранные, обобщенные и агрегированные при подготовке отчетов непосредственно соискателем в рамках участия в конкурсах КубГТУ на премию администрации Краснодарского края в области качества (2003), конкурса Минобрнауки России в области качества (2005), в признании КубГТУ на соответствие модели «Признанное совершенство» EFQM (2006), результаты экспресс-самооценок КубГТУ по моделям ЛЭТИ и МИСиС (2005), результаты индивидуальных и коллективных экспертных оценок в рамках премиальных конкурсов по качеству на этапах заочной экспертизы и обследования (премии Правительства РФ и Минобрнауки России) за 3 года, полученные автором благодаря участию в этих конкурсах в качестве эксперта.

Информационную базу исследования наряду с монографической и научно-технической литературой отечественных и зарубежных авторов составили нормативные документы Минобрнауки России, устанавливающие требования к показателям комплексной оценки деятельности вуза в рамках процедуры государственной аккредитации, Стандарты и Директивы ENQA, а также информация из сети Интернет по данной тематике.

Глубина и масштаб исследования позволила провести сопоставительное сравнение применяемых моделей оценки систем менеджмента качества в России, Европе и Америке, как на базовом, так и на отраслевом (в высшем образовании) уровне, процессов самооценки и экспертных работ, документирования процессов и операций и представления их результатов с учетом ключевых внутренних и внешних факторов, наиболее сильно влияющих на результат оценки вуза, включая психологические аспекты.

Научная новизна диссертационного исследования, в отличие от опубликованных работ, посвященных данной тематике, заключается в качественно-новом методологическом подходе к разработке модели оценки, включая постановку задачи и методы ее решения, в результате которого была разработана новая модель оценки для целей государственной аккредитации с включенными требованиями ENQA, типовой модели системы качества вуза и аккредитацион-ными показателями, основанная на проработке теоретических концепций TQM, концептуальных и прикладных моделей оценки систем менеджмента в высшем образовании.

Выявлен наиболее существенный системный фактор, оказывающий влияние на другие системные факторы вуза и запускающий внутренние процессы вуза, приводящие к отличным результатам — лидерство и ее модель, реализуемая в вузе. Этот фактор в настоящее время во всех моделях недооценивается.

Впервые выявлено, что применение различных методов в разной мере способствует выработке поддерживающих мероприятий в вузе и свидетельств оценки, что позитивно сказывается на инновационном развитии вузов. На основе системного анализа и синтеза наиболее результативных подходов и лучшего опыта апробации известных моделей оценки, исследования процессов самооценок, впервые разработаны новые технологические средства применения модели оценки, не имевшие ранее методического решения. Новые методы и схемы оценки для целей внутренней и внешней экспертизы ориентированы, прежде всего, на решение проблемы получения достоверных, объективных и надежных результатов с акцентом на участие высшего руководства вузов во внутренней оценочной деятельности.

Научная новизна работы находит отражение в следующих основных положениях, выносимых на защиту:

— сравнительном анализе применяемых моделей оценки и методов самооценки на уровне фундаментальных принципов, содержания критериев и их весомости, оказывающих влияние на развитие высшего образования, содержания оценочных процедур и уровней зрелости, выработке концептуальной модели, пригодной для целей государственной аккредитации;

— разработке модели оценки системы менеджмента качества в вузе (показателей оценки и их содержания) на основе синтеза лучших моделей оценки систем менеджмента качества для образовательных учреждений и требований Стандартов и Директив сети европейских аккредитационных агентств ENQA с включенными требованиями типовой модели системы качества вуза и аккреди-тационными показателями;

— разработке методики и технологии самооценки для вузов, сочетающей в себе проформу и анкетирование (открытый вопросник), разработку показателей результативности процесса самооценки;

— разработке методики оценки системы менеджмента качества для экспертов на основе применения метода подсчета баллов и определения уровня зрелости системы менеджмента качества по пяти градациям;

— разработке показателей результативности процесса внутренней и внешней оценки и рекомендаций по оцениванию показателей и проведению диагностики с помощью определения областей адекватности.

В целом, изложенный в работе методологический подход к оценке систем менеджмента качества вузов позволит реализовать механизм реализации государственной политики в области обеспечения качества высшего образования, в частности, мероприятий по развитию и внедрению систем обеспечения качества образования, развитию новых форм и механизмов оценки и контроля качества деятельности образовательных учреждений по реализации образовательных программ.

Апробация и реализация результатов исследования проведены в Кубанском государственном технологическом университете в течение 3-х лет (2003, 2005, 2006 г. г.) в рамках участия КубГТУ в трех различных премиальных конкурсах и проведения пяти самооценок. Методика проведения самооценки и описания процессов отражена соискателем в вузовских целевых программах.

Качество" и документах системы менеджмента качества КубГТУ, утвержденных ректором КубГТУ, что подтверждено актами внедрения. Проведенный сравнительный анализ моделей и методов самооценки использован соискателем при проведении обучающих семинаров руководящего состава КубГТУ (ректорат, руководители подразделений служб управления), сопровождающих процессы самооценки, внутренних курсов повышения квалификации по программе «Менеджмент качества в вузе» для подготовки менеджеров по качеству на факультетах и в структурах проректоров (с выдачей документов государственного образца), что подтверждено учебно-методическими материалами и программой обучения, утвержденной первым проректором КубГТУ. В учебном процессе КубГТУ материалы диссертационного исследования были использованы при разработке учебно-методических комплексов дисциплин «Сертификация систем качества» (гриф УМО), «Разработка документов СМК», проведении лекций, практических занятий и консультирования по выполнению курсовых и дипломных работ для студентов специальности высшего профессионального образования 220 501 — «Управление качеством». Работы по самооценке КубГТУ проводились в соответствии с договором на выполнение научно-исследовательских работ № 1 от 20.01.2005 г. по теме «Разработка научно-методического комплекса организации и совершенствования СМК КубГТУ», финансируемым за счет собственных средств КубГТУ (акт приемки-сдачи от 20 января 2006 г.).

Основные положения работы отражены в 13 научных публикациях, включающих 7 статей в реферируемых журналах, 5 тезисов докладов и одно учебное пособие с грифом УМО.

Основные положения исследования докладывались и обсуждались на международных и всероссийских научно-практических конференциях: «Внутриву-зовские системы обеспечения качества подготовки специалистов» (Краснодар, КубГТУ, 2002), «Проблемы обеспечения качества университетского образования» (Кемерово, КемГУ, 2004), «Качество. Инновации. Образование» (Москва,.

МИЭМ, 2004), «Инновационные процессы в высшей школе» (Краснодар, Куб-ГТУ, 2005, 2006 г.), международном форуме «Гарантии качества образования» (Москва, РАГС, 2006). Часть исследований, посвященных анализу отечественного и зарубежного опыта применения моделей оценки систем менеджмента качества в образовательных учреждениях в рамках внутренних и внешних оценочных процедур, была выполнена автором в составе творческой группы под руководством ректора КубГТУ Петрика А. А. по Государственному контракту № П 495, заключенному с Федеральным агентством по образованию (договор от 24 ноября 2006 года № 1-ЦОК, акт приемки-сдачи работ от 8 декабря 2006 г.).

Практическая ценность результатов исследования обуславливается тем, что, разработанная совокупность концептуальных положений, методологических решений и рекомендаций будет способствовать получению надежных результатов внешнего оценивания, обеспечивающих таким образом признание этих результатов мировым образовательным и бизнес-сообществом, и, следовательно, повышению конкурентоспособности российских вузов и их выпускни- | ков и рейтинга России по результатам международных обследований гарантий качества образования, как со стороны аккредитующих органов, так и со стороны представителей общественности. Изложенные положения диссертации и положительный опыт по применению модели оценки и методики самооценки в Кубанском государственном технологическом университете могут использоваться в других вузах Российской Федерации для целей совершенствования.

Результаты внедрения модели оценки позволят реализовать возможность дальнейшего структурного анализа информации о результатах оценки систем менеджмента качества вузов с тем, чтобы получать объективную картину соj стояния всей системы российского высшего образования и извлечь наиболее полезную информацию о развитии, тенденциях, лучшем опыте, проблемных областях. Такой анализ послужит инструментом развития государственной политики в сфере улучшения качества образования и приведет в действие механизмы взаимодействия, применяемые Рособрнадзором и Рособразования по отношению к вузам, а также с Международной (INQAAHE) и Европейской (ENQA) сетями аккредитационных агентств с целью дальнейшей интеграции российского высшего образования в мировое научно-образовательное пространство.

Кроме информационно-аналитической функции, предлагаемая модель может выполнять также и просветительскую функцию. Результаты работы могут быть использованы в вузах России, а также в Рособрнадзоре: I.

— в качестве методических рекомендаций при создании и внедрении систем менеджмента качества;

— в качестве методической основы для разработки собственных моделей оценки и диагностирования системы менеджмента качества вуза;

— в качестве основы при формировании систем управления базами данных результативности функционирования системы менеджмента качества вуза;

— при создании системы подготовки кадров в области управления качеством в образовательных учреждениях России;

— в учебном процессе при подготовке специалистов, бакалавров и магист- ' ров по специальностям «Управление качеством», «Стандартизация и сертификация», «Менеджмент организации», «Государственное и муниципальное управление» и при подготовке кадров высшей квалификации по научной специальности 05.02.23 «Сертификация и управление качеством продукции»;

— в учебном процессе в системе переподготовки и повышения квалификации специалистов образовательных учреждений и работников системы образования;

— при создании системы обучения специалистов в области управления качеством образовательного учреждения, руководителей образовательных учреж- ' дений и экспертов-аудиторов систем менеджмента качества образовательных учреждений.

На основе разработанной модели оценки и технологии ее внедрения могут разрабатываться нормативные акты и руководящие документы Федеральной службы по надзору в сфере образования и науки, а также руководящие документы по разработке, внедрению и эффективному функционированию систем менеджмента качества в образовательных учреждениях высшего профессионального образования Российской Федерации.

4.7 Выводы.

Соответствие характеристик разработанной методики оценки характеристикам, определенным в концептуальной части исследования, показано в таб- 1 лице 40. Степень соответствия определялась в баллах по следующей шкале: j.

— 1 балл — полное соответствие требованиям- ,.

— 0,5 баллов — неполное (частичное) соответствие требованиямi.

— 0 баллов — соответствие минимальное.

Заключение

.

1. В ходе исследования предложено решение актуальной проблемы оцени-, j вания результативности системы менеджмента качества вуза для целей признаi ния результатов оценивания мировым научно-образовательным сообществом путем разработки модели оценки системы менеджмента качества вуза, методи-. ки самооценки для вузов и методики оценки для экспертов.

2. Методом сопоставительного сравнения выявлен наиболее существенный системный фактор, оказывающий влияние на другие системные факторы вуза и запускающий внутренние процессы вуза, приводящие к отличным результатам — лидерство и ее модель, реализуемая в вузе.

3. Исследован гибкий характер различий в методах, зависящий от органи-,. > зационной культуры, типа и размера вуза, а также целей проведения самооцен-. !, ки. На основе анализа опыта организаций подтверждена гипотеза о наличии за- ¦: висимостей между применяемыми различными методами самооценки, полу- ¦ | (чаемыми результатами оценивания и их использованием для принятия реше-. ний, как для совершенствования деятельности, так и для внешней оценки вуза.

4. Проведено теоретическое обоснование структуры и показателей модели оценки. В разработанную модель оценки включены требования ENQA, типовой модели системы качества образовательного учреждения и аккредитацион-, ные показатели.. {.

5. Подтверждена гипотеза об интеграции модели с требованиями ENQA и: i, корреляционной зависимости между показателями модели и их составляющи- - '.

МИ. «'» I.

11 • I i.

6. Сравнительные результаты выходов методов самооценки подтвердили гипотезу о низкой сходимости методов самооценки, высокой точности метода участия в конкурсе (или его имитации) и соответственно низкой точности и надежности матричных методов для целей государственной аккредитации.

7. Процедуры внутренней и внешней оценки разработаны с учетом отраслевой специфики, методов логического системного анализа, использующих опыт экспертов и применяемых средств, развивающих действующий в настоящее время институт оценочной деятельности в российском высшем образовании.

8. Процесс управления самооценкой доведен до операционного уровня. Отсутствие недостоверных данных гарантировано процедурой ответственности и показателями результативности.

9. Разработанная методика самооценки экспериментально проверена. Эффективность ее определяется тем, что результаты самооценки отражают реалистичную картину текущего состояния системы менеджмента качества, а итоговый отчет содержит достоверную информацию. Апробация методики самооценки позволила откорректировать показатели результативности процесса самооценки.

10. Разработаны показатели результативности процесса внешней оценки, рекомендации по оцениванию показателей и проведению диагностики с помощью определения областей адекватности.

11. Изложенный в работе методологический подход к оценке систем менеджмента качества вузов позволит реализовать механизм реализации государственной политики в области обеспечения качества высшего образования, что обеспечит благоприятные условия для вхождения российского высшего образования в Болонский процесс.

Показать весь текст

Список литературы

  1. Е.К., Иванова Г. Н., Казмировский E.JI. Оценка уровня интег-рированности систем менеджмента // Методы менеджмента качества. 2006.9. С. 13−18.
  2. Е.К., Швец В. Е. Самооценка организационного профиля компании и СМК // Методы менеджмента качества. 2005. — № 1. — С. 4 — 10.
  3. Ю. Должна ли страна быть бедной? Текст.: пер. с англ. / Ю. Адлер, JI. Моховикова. Тольятти.: Современник, 1998. — 112 с. — 10 000 экз. -ISBN 5−85 234−088-Х.
  4. Ю.П., Аронов И. З., Шпер B.JI. Что век текущий приготовил? Менеджмент XXI века продолжение краткого обзора основных тенденций // Методы менеджмента качества. — 2004. — № 1. — С. 10 — 11.
  5. Г. Г. Определение значений коэффициентов важности // Методы менеджмента качества. 2000. — № 2. — С. 28 -33.
  6. Г. Г. Теория и практика оценки качества товаров. Основы ква-лиметрии. М.: Экономика, 1982.
  7. Анатолий Востриков, Надежда Никитина. Новосибирский государственный технический университет: путь к созданию системы качества // Стандарты и качество. 2002. — № 4. — С. 57 — 60.
  8. А.Н. Методы экспертных оценок. Уч. пособие. Обнинск: Издательство Обнинского института атомной энергетики, 1996 г.
  9. О. Побеждает предприятие выигрывает регион // Стандарты и качество. — 2002. — № 10. — С. 56 — 58.
  10. В.И. Качество образования как ключевая цель болонского процесса // Качество образования: Материалы V Международной научно-методической конференции. Новосибирск: Изд-во НГТУ, 2003. — Том 1. — С. 26−28.
  11. Е. Оценка эффективности и качество обучающей программы // Стандарты и качество. 2003. — № 9. — С. 95 — 96.
  12. М.Г. Проблемы качества образования в условиях реформы высшей школы // Стандарты и качество. 2002. — № 4. С. 20 — 21.
  13. С.Д., Гурвич Ф. Г. Математико-статистические методыэкспертных оценок. М.: Статистика, 1980. 263 с.
  14. О.В. Разработка модели и критериев самооценки вузов для совершенствования деятельности: Автореф. дисс. канд. техн. наук. -М.: Изд-во МИСиС, 2006.-32 с.
  15. Болонский процесс силами вузов // Платное образование. 2006. — № 11.-С. 26−27.
  16. В., Винокуров А. Качество управления как фактор укрепления рыночных позиций предприятия // Стандарты и качество. 2005. — № 12. -С. 68−73.
  17. В.Г. Высшее руководство предприятий и стандарты ИСО 9000 версии 2000 года: суть конфликта и его последствия // Сертификация. 2005. -№ 1. — С. 2 -5.
  18. В. Высшее руководство предприятия и результативность систем менеджмента качества // Стандарты и качество. 2005. — № 11. — С. 28 — 31.
  19. Vroeijenstijn A. I. Towards A Quality Model for Higher Education / IN-QAANE 2001 Conference on Quality, Standards and Recognition, March 2001. Электронный ресурс. — Режим доступа: www.inqaane.org/conferences
  20. В.И. Премии Правительства РФ в области качества: пять лет и далее // Стандарты и качество. 2002. — № 10. — С. 54 — 56.
  21. Гарднер Роберт. Преодоление парадокса процессов // Стандарты и качество. 2002. — № 1. — С. 82 — 88.
  22. Е.Б., Балабан В. А., Кравченко И. Ф. Проблемы формирования целей вузовской системы качества // Стандарты и качество. 2002. — № 4. -С. 38−40.
  23. ГОСТ Р ИСО 9004−2001 Системы менеджмента качества, рекомендации по улучшению деятельности. М.: Изд-во стандартов, 2001. — 45 с.
  24. Э. Роль первого лица в системах менеджмента качества // Стандарты и качество. 2005. — № 3. — С. 70 — 73.
  25. А.В. Постоянное улучшение. Подходы, методы, приемы //' Методы менеджмента качества. 2003. -№ 2. — С. 30 — 36.
  26. В. Системное представление качества образования // Стандарты и качество. 2002. -№ 4. — С. 30 — 34.
  27. С. Как научиться говорить на языке, понятном высшему руководству // Европейское качество. Дайджест. Приложение к журналу «Стандарты и качество». 2003. — № 4. — С. 30 — 37.
  28. П. Эффективное управление. М.: ФАИР-ПРЕСС, 1998
  29. Друкер Питер Ф. Задачи менеджмента в XXI веке.: пер. с англ.: М.: Издательский дом «Вильяме», 2003. — 272 с. ¦
  30. EFQM Levels of Excellence / European Quality Award Information Brochure 2004. European Foudation for Quality Management, 2004 !
  31. EFQM Excellence Model Higher Education Version 2003. Centre for Integral Excellence, Sheffield Hallam University, 2003
  32. С.Ф., Новиков Е. С., Поспелов В. Я. Статистические методы в современном менеджменте качества. М.: Фонд «Новое тысячелетие», 2001.' -208 с.
  33. Ю. Актуальность самооценки по критериям премии Правительства Российской Федерации в области качества // Стандарты и качество. 2002. -№ 10.-С. 60.
  34. Ю. С. Всеобщее управление на основе качества / Ю.С. Кара-басов, А. И. Кочетов, В. П. Соловьев, Л. А. Дубровина: Учеб. Пособие. М.: МИСиС, 2003.- 145 с.
  35. В.А. Проблемы управления качеством в вузах. Заметки менеджера по качеству. Ч. 3. Эволюция основополагающих принципов менеджмента качества и их использование в образовательных системах // Стандарты и качество. 2000. — № 7. — С. 68 — 73.
  36. Качество образования в Новосибирском государственном техническом университете: ежегод. докл. / Под общ. ред. Н. Ш. Никитиной, Г. Б. Скок: Новосибирск: Изд-во НГТУ, 2001, 79с.
  37. Е.А., Дрантусова Н. В. Оценка качества как необходимый элемент (этап) управления в высшем образовании // Университетское управление: практика и анализ. 1999. — № 1. — С. 18−20.
  38. Комплексная оценка высших учебных заведений: Учебное пособие / Наводнов В. Г., Геворкян Е. Н, Мотова Г. Н., Петропавловский М. В. Москва -Йошкал-Ола: Изд-во Научно-информационного центра государственной аккредитации, 2001,-192 с.
  39. М.Г. Один стратегический подход к использованию самооценивания и бенчмаркинга // Избранные труды 40-го конгресса Европейской организации по качеству. Берлин, сентябрь 1996. М.: ГП «Стандарты и качество», 1997.-С. 148- 157.
  40. Т. Возможности и риски при использовании моделей делового совершенства // Стандарты и качество. 2003. — № 1. — С. 76 — 81.
  41. Т. Система заинтересованных сторон: стратегическая ценность // Методы менеджмента качества. 2003. — № 1. — С. 4 — 13.
  42. Т. Почему не полностью используется потенциал самооценки? // Методы менеджмента качества. 2003. — № 3. — С. 4 — 11.
  43. С.В., Солонин С. И. Качество образования: проблемы и задачи изменения внутренней среды вуза // Университетское управление: практика и анализ.-2003,-№ 2.-С. 12−15.
  44. С. Самооценка и ее роль в развитии и совершенствовании менеджмента качества // Стандарты и качество. 2002. — № 10. — С. 61 — 63.
  45. Г., Панасюк В., Щербаков Н. Применение методов самооценки для совершенствования системы качества // Стандарты и качество. -2002.-№ 10.-С. 64−66.
  46. Е.А., Кузьмин A.M. Методика системного анализа функций // Методы менеджмента качества. 2003. — № 8. — С. 33 — 39.
  47. В.В., Бука Э. С. Формирование системы менеджмента качества вуза. Красноярск: Изд-во ГОУ ВПО СибГТУ, 2004. — 322 с.
  48. Д.В., Вылгина Ю. В. Современные инструменты управления: модель совершенства EFQM: учебное пособие / Иван. Гос. Энерг. Ун-т. Иваново, 2006.-107 с.
  49. Д.В., Мазалецкая А. Л., Стид К. Модель EFQM в российском университете // Методы менеджмента качества. 2005. — № 12. — С. 21 — 25.
  50. Д.В., Шестаков А. Л., Мидхерст Д. Полезная модель EFQM // Методы менеджмента качества. 2006. — № 7. — С. 34 — 39.
  51. Материалы проекта MANRU «Повышение качества управления в российском университете», JEP 24 090 Электронный ресурс.: сайт консорциумавузов Образовательной сети совершенствования. Режим доступа: vAvw.manru.uniyar.ac.ru
  52. Менеджмент качества в сфере образования // ИСО 9000+14 000. Дайджест. Ежеквартальное приложение к журналу «Стандарты и качество». 2003.- № 3. С. 24−32.
  53. Методические рекомендации по применению стандартов серии ГОСТ Р ИСО 9000−2001 в высших учебных заведениях / Пузанков Д. В., Олейник А. В., Соболев B.C., Степанов С. А. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. — 220 с,
  54. Method for Quality Improvement of Higher Education, TRIS EFQM — model version 4.2, May 2003, TRIS — group Электронный ресурс.: официальный сайт Eu-ropees Platform Onderwijs Kwaliteit (EPOK).- Режим ограниченного доступа: www.epok.org
  55. Модель оценки качества CAF для организаций общественного сектора Электронный ресурс.: официальный сайт Ростехрегулирования.- Режим доступа: www.caf.gost.ru
  56. Н.А., Темкин Д. М., Полховская Т. М. Оценка эффективности и совершенствование системы качества предприятия // Методы менеджмента качества.-2001.-№ 10.-С. 18−23.
  57. В. М. Управление качеством Текст.: Учебник / В. М. Мишин.- 2-е изд. М.: Юнити-Дана, 2005. — 463 с. — 20 000 экз. — ISBN 5−238−857−0.
  58. B.C. Статистические методы управления качеством продукции. М.: Финансы и статистика, 1982.
  59. Н.Б. Логика RADAR и ее роль в системах менеджмента // Сертификация. 2006.-№ 3. — С. 29 — 32.
  60. К.В. Постоянное улучшение: что улучшать // Сертификация. -2001.-№ 4.-С. 22−24.
  61. Т., Адлер Ю., Назарова И., Хунузиди Е., Шпер В. Система менеджмента качества организации: почему она не дает отдачи? // Стандарты и качество. 2004. — № 5. — С. 76 — 82.
  62. Приказ Рособрнадзора от 30.09.2005 № 1938 «Об утверждении показателей деятельности и критериев государственной аккредитации высших учебных заведений».
  63. Премии Правительства Российской Федерации в области качества: Руководство для организаций- участников конкурса 2006 года / Совет по присуждению премий Правительства Российской Федерации в области качества. Москва: Ростехрегулирование, 2006. — 28 с.
  64. Премия по качеству Правительства РФ Электронный ресурс.: официальный сайт Всероссийского научно-исследовательского института сертификат ции. Режим доступа: www.vniis.ru
  65. Решение Совета по координации управления качеством высшего профессионального образования от 21.12.2005 года «О создании в вузах систем качества и их элементов и совершенствования механизмов контроля качества подготовки специалистов».
  66. Руководство для участников конкурса 2006 года «Системы обеспечения.,. качества подготовки специалистов» / В. П. Соловьев, А. И. Кочетов, О.В. Блин-'- >! кова, В. И. Галеев Москва: Изд-во МИСиС, 2006. — 25 с.. , '
  67. Самооценка вуза с использованием Интернет-технологий Электрон?.,. .л ¦ ||ный ресурс.: федеральный портал «Качество и образование».- Режим доступа:' ,'tfwww.tqm.spb.ru/smk. •
  68. Сари Шайнберг. У истоков современного менеджмента российской,, промышленности // Стандарты и качество. 2002. — № 10. — С. 82 — 84.
  69. В., Кочетов А., Шестаков А., Шадриков В., Богданова О. Стимул и инструмент повышения качества деятельности вузов // Стандарты и каче-:¦" ство. 2002. — № 4. — С. 52 — 56.
  70. Стандарты и Директивы для гарантии качества высшего образования в, Европейском регионе Электронный ресурс.: федеральный портал «Качество и образование».- Режим доступа: www.tqm.spb.ru/smkpage.shtml ' !
  71. Стратегия и тактика управления качеством образования: Методическое пособие / В. Н. Нуждин, Г. Г. Кадамцева, Е. Р, Пантелеев, А. И. Тихонов / Иван/, гос. энерг. ун-т.- Иваново. Изд-во ИГЭУ, 2003.- 252с. :
  72. В.Н., Яницкий В. Е. Статистические методы в управлении качеством. М.: «Европейский центр по качеству», 2002. — 164 с.
  73. А.И. Качество образования: проблемы оценки и мониторинга //. Стандарты и качество. 2000. — № 2. — С. 62 — 66.
  74. Н. Инновационная модель управления самооценкой // Стандарты и качество. 2005.-№ 3. — С. 88 — 92.
  75. И.М. Система показателей эффективности и качества. М.: Экономика, 1980. — С.15.
  76. И.М. Планомерность. Планирование. План (теоретические очерки). М.: Экономика, 1996.
  77. Типовая модель системы качества вуза Электронный ресурс.: федеральный портал «Качество и образование».- Режим ограниченного доступа-www.tqm.spb.ru/srnkpage.shtml
  78. Х.А., Крахмалева А. В., Тарифов А. Г. Оценка качества и конкурентоспособности комплектующих и запасных частей автомобилей // Методы оценки соответствия. 2007. — № 2. — С. 8 — 12.
  79. Р. Россия и ВТО: системный анализ // Стандарты и качество. 2005. — № 4. — С. 56−60.
  80. В.К. Основы квалиметрии: измерение качества продукции: Учебное пособие. М.: Филинъ, 2004. — 296 с.
  81. P.M. Квалиметрия для менеджеров. Экспертные методы квалиметрии. (Ч. Ш V). — М.: Академия экономики и права, 1998.
  82. Шафранов-Куцев Г. Ф., Деревнина А. Ю. Качество образования в стратегии управления классическим университетом // Университетское управление: практика и анализ. 2002.-№ 2. — С. 28 — 33.
  83. В.Е. Реальные антитезы современного менеджмента качества и их разумное сосуществование // Стандарты и качество. 2002. — № 7. — С. 87 -90.
  84. В.Е. Качество «исчезает»? // Европейское качество. Дайджест. Приложение к журналу «Стандарты и качество». 2003. — № 3. — С. 18−21.
  85. A.JI. Главный конкурс в области качества: точка зрения экспертов // Методы менеджмента качества. 2003. — № 2. — С. 52.
  86. АЛ. Конкурс Минобразования России 2000 года «Внутри-вузовские системы обеспечения качества подготовки специалистов» // Сертификация. 2000.-№ 4. — С. 15 — 17.
  87. Р. Премия Болдриджа: имеет ли она по-прежнему отношение к проблемам качества? // Стандарты и качество. 2003. — № 1. — С. 96 — 98.
  88. О.С. Самооценка в малом бизнесе // Методы менеджмента качества. 2003. — № 4. — С. 22 — 26.
Заполнить форму текущей работой