Помощь в написании студенческих работ
Антистрессовый сервис

Оценка качества образования в управлении вузом: институциональный подход

ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Сложившаяся система общеуниверситетской оценки качества является следствием принудительного изоморфизма, связанного с деятельностью государственных органов по контролю образования. Вследствие того, что контролеры используют индустриальный порядок оценки качества, именно этот порядок навязывается руководством университета и техноструктурой (учебный отдел, учебно-методический совет университета… Читать ещё >

Оценка качества образования в управлении вузом: институциональный подход (реферат, курсовая, диплом, контрольная)

Содержание

  • Глава 1. МЕТОДОЛОГИЧЕСКИЕ ОСНОВАНИЯ ИССЛЕДОВАНИЯ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ В УПРАВЛЕНИИ ВУЗОМ
    • 1. 1. Качество образования как объект социологического исследования
    • 1. 2. Институциональный подход к исследованию оценки качества образования
    • 1. 3. Оценка качества образования в управлении вузом. ^
  • Глава 2. ЭМПИРИЧЕСКОЕ ИССЛЕДОВАНИЕ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ В УПРАВЛЕНИИ ВУЗОМ на примере классического регионального университета)
    • 2. 1. Институциональный анализ оценки качества образования на уровне общего управления вузом
    • 2. 2. Особенности оценки качества образования в управлении подразделением вуза

Актуальность проблемы оценки качества высшего образования связана с тем, что институт образования является основополагающим в развитии современного общества. Он оказывает влияние на социальную структуру общества, инновационные процессы, на развитие науки и экономики в целом.

В современной ситуации интерес к оценке качества образования актуализируется в связи с процессами интернационализации и глобализации, которые требуют сопоставимости национальных образовательных систем, в том числе и критериев качества.

В России проблема оценки качества образования стоит особенно остро еще и потому, что интенсивное развитие рынка образовательных услуг ведет к обострению конкуренции между вузами, и это не может не волновать общественность. Проблема качества образования, особенно его оценки, привлекает внимание всех субъектов образовательного процесса.

Вуз является специфическим видом организации, он производит блага, которые, во-первых, имеют нематериальный характер, а, во-вторых, обладают большой социальной значимостью. Данные обстоятельства помещают оценку качества образования в проблемное поле социологии, то есть, заставляют анализировать взаимодействие субъектов образовательного процесса, предъявляющих различные требования к деятельности образовательных учреждений.

Оценка качества образования является, с одной стороны, элементом управления, обеспечивающим обратную связь в системе, с другой стороны, именно в процессе оценки проявляются различные критерии, предъявляемые к образованию заинтересованными сторонами. В задачи управления вузом входит согласование противоречивых интересов всех субъектов, включенных в образовательный процесс. Исследование того, как в организационной среде вуза функционируют различные критерии качества, представляется важным с практической точки зрения.

Теоретическое осмысление и исследование практики оценки деятельности образовательных организаций вносит вклад в развитие социологии управления. Сегодня в вузах идут активные процессы построения систем менеджмента качества образования, однако, сами правила оценки, факторы, на них влияющие, а также социальные группы в вузе, заинтересованные в их воспроизводстве, подвергаются недостаточному осмыслению. Исследование данных вопросов позволит выявить условия, при которых оценка будет эффективным механизмом управления и повышения качества образования.

Степень разработанности проблемы. В современной научной литературе проблемы образования, его влияния на все сферы общественной жизни, разработаны глубоко. Также достаточно хорошо описана роль высшего образования как в исторической перспективе, так и в современной ситуации. Многочисленная литература посвящена исследованию проблем качества образования, построению методик и техник его оценки. Однако в литературе мало внимания уделяется тому, как во внутривузовской среде взаимодействуют субъекты, имеющие разные представления о критериях качества образования. В целом проблема управления вузом недостаточно изучена в социологии управления.

Общесоциологические вопросы образования представлены в работах: Б. С. Гершунского, Г. Е. Зборовского, А. Ж. Кусжановой, В. Я. Нечаева, A.M. Осипова, В. В. Тумалева, А. Ф. Филлипова и т. д.

Исследованию проблем развития высшего образования посвящены работы В. И. Бакштановского, В. В. Васильковой, М. А. Гусаковского,.

A.А. Гусейнова, И. Д. Демидовой, В. Жукова, Е. С. Захарова, Т. М. Клячко, Я. Кузьминова, М. В. Ларионовой, Э. Ливни, И. В. Ляховича, Т. А. Мешковой,.

B.Н. Мининой, Н. Е. Покровского, Л. Полищук, В. В. Радаева, Н. Л. Титовой, Е. А. Шуклиной и др.

Проблемы управления образованием, в том числе качеством образования, освящены в работах А. И. Вроейнстийна, М. Гладковой, И. К. Кащеевой, А. А. Нестерова, Ю. Похолкова, Н. А. Селезневой,.

A.И. Субетто, А. Чучалина, Н. В. Щипачевой и д.р.

Вопросам оценивания качества образования посвящены труды Г. А. Бордовского, Н. В. Бордовской, О. Боева, В. Васильева, Е. Э. Смирновой,.

B.C. Соболева, С. А. Степанова, Ю. С. Трапицына и др.

Конкретные исследования проблем управления вузом представлены в работах JI. Видович, А. О. Грудзинского, Д. Каменса, А. К. Клюева, Е. А. Князева, Дж. Сарупа, А. Ю. Смоленцевой, H.JI. Титовой, О. Б. Томилина и др.

Идеи организационного подхода содержатся в работах Г. Минцберга, А. И. Пригожина, П. Романова и др.

Основные постулаты неоинституционального подхода представлены в трудах классиков Д. Норта, О. Уильямсона, Н. Флигстина, Дж. Ходжсона и др. Феномен контроля на уровне организации описан в работах JI. Болтански, Р. Дим, Дж. Мейера, Б. Ровена, В. Р. Скотта, Т. Скотта, Б. Стенсакера, JI. Тевено, Н. Флигстина, концепция изоморфизма — в работах К. Генелль, П. ДиМаджио, В. Пауэла, Б. Чернявска.

Проблема, требующая научного исследования, состоит в том, что наблюдается несоответствие между практикой построения систем оценки качества образования в российских вузах и уровнем теоретического осмысления оценки качества образования как социального процесса, в который вовлечены различные социальные группы.

Основная гипотеза исследования — во внутривузовской системе управления качеством образования одновременно существуют несколько моделей его оценки, различающихся по критериям, целям, процедурам и результатам оценивания.

Рабочие гипотезы:

• Несовпадение целей и процедур оценки в рамках модели приводит к тому, что она перестает быть инструментом повышения качества образования.

• Объективные условия, в которых реализуется образовательная программа, определяют доминирующую на данной программе модель оценки качества образования.

Объект исследования — оценка качества образования в вузе. Предмет исследования — правила оценки качества образования, складывающиеся во внутривузовской системе управления образовательным процессом.

Цель диссертационного исследования — выявить факторы, определяющие правила оценки качества образования в вузе и условия, при которых оценка является инструментом повышения качества образования.

Достижение поставленной цели обусловливает необходимость решения следующих задач:

1. Рассмотреть теоретико-методологические подходы к исследованию качества образования, охарактеризовать особенности социологического подхода к изучению качества образования в высшей школе.

2. Опираясь на неоинституциональный подход, построить теоретическую модель исследования оценки качества образования.

3. Выявить и описать интересы субъектов образовательного процесса и их влияние на формирование правил оценки качества образования в вузе.

4. На основе сопоставления практик оценки качества образования на разных образовательных программах определить факторы, влияющие на формирование правил оценки качества.

5. Выявить условия, позволяющие использовать оценку качества образования как инструмент повышения качества.

Теоретико-методологическую основу исследования составляет неоинституциональный подход к исследованию организаций, который позволяет рассматривать оценку качества образования в вузе как набор внутриорганизационных правил, соотнесенных с интересами различных социальных групп. Он также дает возможность изучать влияние различных концепций контроля на установленные правила оценки и поведение заинтересованных групп в вузе. Использование теории изоморфизма организаций, развивающейся в русле неоинституционального подхода, позволяет анализировать процесс проникновения концепций контроля из внешней во внутреннюю среду вуза.

Эмпирическая база исследования. Работа написана на материалах конкретного социологического исследования, проведенного автором в 20 082 009 гг. в региональном классическом университете. В качестве исследовательской стратегии выбрана стратегия case-study. В качестве основных методов сбора информации использовались полуформализованные интервью с представителями академического персонала и с представителями административного персонала вуза, находящимися на разных уровнях управления. Применялся метод анализа документов, в которых отражена деятельность вуза в целом, а также его подразделений (приказы и распоряжения, протоколы заседаний советов, отчеты и планы работы подразделений и преподавателей, материалы официального сайта вуза и подразделений и т. д.). Также использовался метод неструктурированного наблюдения.

Научная новизна исследования определяется тем, что впервые в социологии управления при изучении практики оценки качества образования применен неоинституциональный подход. Данный подход позволяет исследовать влияние субъектов образовательного процесса на правила оценки качества образования.

Элементами научной новизны обладают следующие результаты диссертационного исследования:

1. Доказана необходимость социологического изучения оценки качества образованияв диссертации оценка качества образования рассматривается как объект согласования интересов участников образовательного процесса.

2. Раскрыт эвристический потенциал неоинституционального подхода в исследовании оценки качества образованияданный подход позволяет анализировать влияние интересов субъектов образовательного процесса на правила оценки.

3. Выявлены и описаны модели оценки качества образования, вскрыты противоречия между ними, охарактеризованы факторы, влияющие на формирование конкретной модели.

4. Доказано, что положение субъекта в системе управления вузом обусловливает его интерес к формированию и изменению правил оценки качества образования.

5. Определены условия, при которых оценка становится инструментом повышения качества образования в вузе.

Теоретическая значимость диссертационной работы заключается в разработке и апробации социологической концепции исследования оценки качества образования в вузе, основанной на ключевых идеях представителей неоинституционального подхода. Выявленные модели могут выступать основой для дальнейшего изучения практик оценки качества образования.

Практическая значимость работы. Результаты работы могут быть использованы представителями администрации вуза всех уровней управления для анализа существующей системы оценки качества образования и повышения ее управленческого потенциала. Материалы исследования могут быть использованы при построении внутривузовской системы оценки качества образования. Также материалы данного исследования могут быть использованы в лекционных курсах: «Социология образования», «Социология управления», «Социология организации». Основные положения, выносимые на защиту:

1. В отличие от экономического, педагогического, системного и производственно-управленческого социологический подход к изучению качества образования предполагает, что оно является результатом согласования интересов социальных групп, участвующих в образовательном процессе. В ходе переговоров формируются правила оценки качества образования.

2. Согласно идеям неоинституционального подхода, оценка качества образования является набором институциональных правил, при этом в вузе существует несколько порядков, в соответствии с которыми могут выстраиваться данные правила. Каждый порядок соотносится с легитимной моделью образования и функционирует в организации как концепция контроля. Доминирующая концепция контроля определяет модель оценки качества образования. Преобладание той или иной концепции контроля определяется конфигурацией властных отношений в вузе.

3. Правила оценки формируются в зависимости от доминирующей модели оценки качества образования. Существует четыре модели: профессиональная — осуществляется экспертом по критериям профессионального сообщества, индустриальная — оценка на основе стандартизованных критериев, рыночная — оценка качества по критериям удовлетворенности потребителя, гражданская — оценка качества по критериям социализации и личностного развития.

4. Факторами доминирования профессиональной модели оценки качества образования являются: тесные связи с профессиональным сообществом, наличие академической традиции и научной школы на образовательной программе. Факторами доминирования индустриальной модели выступают: использование данной модели контролирующими государственными органами, наличие финансовых ресурсов в подразделении и необходимость их распределять, а также развитие рыночной модели. Фактором доминирования рыночной модели является формирование бюджета подразделения преимущественно на рыночной основе. На выраженность гражданской модели могут влиять такие факторы как теснота связи вуза с местным сообществом, с локальным рынком труда.

5. В профессиональной модели оценки качества заинтересован академический персонал вуза: преподаватели, заведующие кафедрами и деканы — в порядке убывания экспертной власти. В индустриальной модели оценки качества — администрация и техноструктура вуза/подразделения. В воспроизводстве рыночной модели заинтересованы руководители подразделений, имеющих финансовую самостоятельность, а также проводники рыночноориентированных систем менеджмента качества в вузе.

6. Профессиональная модель оценки является инструментом повышения качества образования в случае, когда кафедра или факультет являются ключевым субъектом оценивания. Индустриальная модель оценки становится инструментом повышения качества образования, если достижение показателей качества преподавателями и администрацией связано с материальным поощрением. Рыночная модель становится инструментом повышения качества при наличии материальных ресурсов у подразделения и при наличии рыночной конкуренции преподавателей. Гражданская модель проявляет себя слабо, поэтому ее описание затруднительно, однако можно предположить, что для того, чтобы она стала инструментом повышения качества необходимо создание механизмов взаимодействия вуза с институтами гражданского общества и работодателями.

7. Система оценки качества, функционирующая в вузе, может быть эффективной, если используемые процедуры оценки качества образования соответствуют целям оценки.

8. Построение единой системы оценки качества образования в вузе невозможно при децентрализованной системе распределения внебюджетных средств.

9. Рыночная модель оценки качества образования не может существовать самостоятельно, поскольку в ее рамках обучающийся является клиентом и не оценивается. В ходе исследования были выявлены примеры, когда данное противоречие разрешатся посредством усиления индустриальной модели, и пример использования гражданской модели.

Апробация работы. Основные выводы данной работы представлены на конференциях: XI-ой международной научной конференции «Молодежь России: проблемы образования, воспитания, занятости» (Екатеринбург, 2008), III Всероссийском социологическом конгрессе (Москва, 2008). Идеи и результаты работы обсуждались на кафедре социального управления и планирования СПбГУ. Основные положения работы обсуждались на специализированном курсе «Качественные методы в социологическом исследовании: теория и практика» (Москва, 2006). Также результаты работы были представлены на Летней школе институционального анализа «Институты, образование и рост» (Москва, 2009).

Тематика диссертационного исследования соответствует п. 6 и п. 15 паспорта специальности 22.00.08 — «Социология управления».

Заключение

.

Массовизация высшего образования ставшая причиной усиления влияния института высшего образования на все сферы общественной жизни, привела к тому, что проблема качества образования стала волновать самые широкие круги общественности. Задачи оценки, управления и улучшения качества ставят перед собой государство, гражданское общество и ученые. Не удивительно, что данная проблема изучается в рамках различных наук и подходов, каждый из которых фокусирует внимание на своем аспекте. Например, экономический подход акцентирует внимание на эффективности функционирования образовательной системы, в рамках педагогической науки данная проблема изучается на уровне личности, и исследуются, главным образом, способы измерения качества и воздействия на личность с целью его улучшения. Также можно выделить «производственно-управленческий» подход и изучение проблемы качества с точки зрения системологии и квалитологии. В данной работе предлагается социологический подход к проблеме, в рамках которого, качество образования рассматривается как конвенциональный феномен, а объектом исследования становятся процессы и механизмы согласования интересов заинтересованных сторон по поводу критериев его оценки.

Проблема согласования интересов рассматривается в работе на организационном уровне, то есть на уровне вуза. Для анализа взаимодействия акторов в процессе оценки качества образования используется неоинституциональная теория. Оценка качества образования в вузе рассматривается как набор институциональных правил (формальных и неформальных), которые базируются на определенной концепции контроля [Флигстин 2002]. При этом взаимодействие между акторами в вузе характеризуется борьбой за право навязывать свои правила оценивания и выгодные концепции контроля. Право диктовать свои правила оценивания является ресурсом, который позволяет одним акторам контролировать деятельность других и воспроизводить свои привилегированные позиции.

Концепции контроля, с одной стороны, связаны с определенным представлением о качестве образования, с другой стороны, влияют на правила оценивания качества образования и воспроизводятся данными правилами. Основанием для выделения концепций контроля являются порядки значимого [Тевено 2001], которые представляют собой некоторые общие ориентиры, связанные с имеющимися у людей представлениями о справедливости и моральных нормах [Тевено 2001]. К данным порядкам значимого люди прибегают в случае, когда речь идет о некотором общем благе. В случае, когда речи идет об образовании, порядки значимого соотносятся с легитимными моделями образования. Мы выделяем четыре порядка обоснования, в соответствии с которыми могут выстраиваться правила оценки качества.

1. Гражданский порядок. Источником критериев оценки является коллективный интерес. Сами критерии апеллируют к «вечным ценностям» и интересам развития всего сообщества. Легитимная модель качества образования — это модель социализации индивида. Первостепенным является личностное развитие студента, присвоение определенных культурных ценностей и норм.

2. Рыночный порядок. Источником критериев оценки является частный интерес. Критерий качества связан с удовлетворенностью конкретного потребителя. Легитимная модель образования — это предоставление услуги, где студент выступает в роли клиента.

3. Профессиональный порядок. В данном порядке источником формирования критериев является профессиональное сообщество. Критерием оценки является заключение эксперта о соответствии качества объекта некоторым профессиональным стандартам. Соответствующая модель образования — это присвоение профессиональных знаний, умений, навыков и компетенций.

4. Индустриальный порядок. Здесь источником критериев качества являются некоторые стандартные критерии и требования. Отличие данного порядка от предыдущего заключается в том, что для того чтобы оценить качество оценивающий субъект не обязательно должен являться экспертом. Критерием качества является соответствие процесса и результата определенным стандартам и нормативам. Легитимная модель образования — присвоение некоторого стандартного набора знаний и умений.

Данные порядки обоснования, которые функционируют в организации как концепции контроля, могут проникать в вуз из внешней среды и насаждаться наиболее влиятельными подразделениями и акторами внутри вуза. Проникновение концепций контроля из внешней среды связано со стремлением образовательных организаций доказать легитимность собственной деятельности, посредством изоморфизма [DiMaggio, Powell]. Это выражается в поиске сигналов качества и ориентации на деятельность наиболее легитимных и успешных организаций, находящихся в поле деятельности вуза. Изоморфизм может быть принудительным (связан с давлением внешних структур) и нормативным (связан с осознанным выбором) [Чарнявска, Генелль].

Оценка качества образования обеспечивает достижение организационных целей, а ее практики и механизмы различаются в зависимости от того, какой цели она служит. Поэтому разные модели оценки качества образования будут выполнять различные роли в управлении вузом и соотноситься с интересами различных заинтересованных сторон.

Ключевое место в системе управления вузом занимает индустриальный порядок оценки качества, поскольку стандартизация сама по себе является методом управленческого контроля, так как она позволяет контролировать поведение основных организационных субъектов, посредством задания стандартов их деятельности. Основную роль стандартизатора во внешней среде играет государство, а именно, органы управления образованием, которые навязывают индустриальный порядок в оценке качества образования. Основные механизмы, с помощью которых Минобрнауки осуществляет стандартизированную оценку качества — это Госстандарты и процедуры лицензирования, аттестации и аккредитации. Стремление вуза соответствовать стандартам, транслируемым государством, является примером принудительного изоморфизма, поскольку выполнение требований государства является для вузов не только источником ресурсов, но и сигналом качества, способом обоснования легитимности собственной деятельности, например, посредством получения юридического статуса.

Во внутренней структуре вуза проводником индустриального порядка является техноструктура (подразделения определяющие формы стандартизации в организации) — учебный отдел, учебно-методические советы, аналитические центры. Помимо техноструктуры проводником индустриального порядка выступает стратегический апекс (руководство) вуза. Данные акторы заинтересованы в выполнении государственных требований, однако они могут выступать с самостоятельными инициативами усиления индустриального порядка с целью повышения управляемости организации.

В рамках данной модели координация взаимодействия участников образовательного процесса достигается при помощи трех форм стандартизации:

1. Стандартизация процессов и результатов реализации образовательной программы (содержание программы, методическое обеспечение дисциплин и практик, методические материалы оценки студентов и т. д.).

2. Стандартизация условий реализации образовательной программы (результативность деятельности преподавателей, административного персонала и подразделений).

3. Стандартизация организационных форм (реализуется посредством внедрения систем менеджмента качества).

Индустриальный порядок в оценке качества образования входит в противоречие с профессиональным порядком, поскольку представитель техноструктуры не обладает легитимной властью с точки зрения профессионального порядка. Объем власти профессиональной оценки обратно пропорционален позиции актора в административной структуре вуза. Наибольшей властью обладает сам преподаватель и заведующий кафедрой, а наименьшей властью обладает ректор, поскольку, чем выше позиция актора в организационной иерархии, тем меньшим экспертом он может считаться. Таким образом, основными проводниками профессионального порядка в оценке качества внутри университета являются преподаватели, заведующие кафедрами и деканы — в порядке убывания профессиональной власти.

Целью осуществления оценки качества образования в рамках профессиональной модели является повышение компетентности представителей профессионального сообщества, воспроизводство и развитие профессиональных стандартов. Данная модель позволяет координировать взаимодействие участников образовательного процесса посредством признания компетентности. Поэтому главным элементом профессиональной оценки качества является процедура принятия преподавателя в профессиональное сообщество.

Рыночная модель оценки качества образования связана с функционированием вуза как рыночной организации и преследует цель привлечения наибольшего количества материальных ресурсов. Координация взаимодействия участников образовательного процесса строится на принципах экономической эффективности и целесообразности. Логика функционирования и распространения рыночного порядка в вузе зависит от распределения внебюджетных средств. Проводниками рыночного порядка будут выступать руководители подразделений, имеющих финансовую автономию, и заинтересованные в максимизации прибыли. Сегодня в вузах активно внедряются системы менеджмента качества, основанные на идеологии TQM и ИСО. Данные системы построены на принципах клиентоориентированности, поэтому в случае использования данной системы вузом, проводниками рыночного порядка могут выступать подразделения, контролирующие выполнение требований данных СМК.

Рыночный порядок в оценке качества образования содержит в себе несколько противоречий:

• Студент, выступающий в роли клиента в рамках данной модели оцениваться не должен.

• Свойство образования как товара увеличивать издержки не только производства, но и потребления при повышении его качества [Полищук, Ливни] затрудняют объективную оценку потребляемых услуг обучающимися.

• Последнее противоречие разрешается, если в качестве потребителя рассматривается работодатель, однако в этом случае не действуют рыночные механизмы. Только в ситуации потребления образовательной услуги студентом работает основной рыночный механизм обеспечения качества — конкуренция. В случае с работодателем этот механизм не действует, поскольку вуз непосредственно не «продает» студента.

Одна из наиболее важных задач управления образовательной организацией — это задача выполнения социального заказа. Реализации именно этой цели служит гражданский порядок оценки качества образования. Координация участников образовательного процесса в рамках данного порядка строится на принципах коллективной солидарности.

В воспроизводстве гражданского порядка, связанного с оценкой качества по критериям личностного развития и социализации, заинтересованно как все общество и государство, так и сами обучающиеся.

Необходимо отметить, что механизмы влияния гражданских институтов на критерии оценки качества образования развиты слабо. К формам, в которых может реализовываться данное взаимодействие можно отнести: создание системы коллегиальных экспертно-аналитических органов включающих широкий круг субъектов, создание коллегиально-общественных форм управления вузом, создание инновационных структур на основе взаимодействия науки, бизнеса и образования.

Недостаточное участие институтов гражданского общества в формировании социального заказа вузу лишь отчасти компенсируется государственным участием, поскольку гражданский порядок отражен в государственных стандартах образования.

Среди проводников гражданского порядка во внутренней структуре вузов можно отметить советы или отделы по внеучебной, воспитательной работе, центры социальной работы или управления по социальному развитию. В структуре ректората есть должность проректора или помощника проректора по внеучебной, воспитательной или социальной работе. Данные подразделения связаны с моделью качества образования, суть которой заключается в социализации. Формально данные подразделения воспроизводят гражданскую модель оценки качества образования, следят за культурным развитием студентов, однако чаще всего их деятельность касается организации развлекательных, в крайнем случае, спортивно-оздоровительных мероприятий. Именно поэтому необходимо создавать структуры совместного управления и участия сообщества в формировании критериев качества, поскольку отсутствие проводников гражданской модели во внутренней структуре вуза приводит к тому, что данный порядок не проникает в вуз из внешней среды.

Исследование того, как функционируют данные порядки оценки качества, как они трансформируют реальные правила оценки качества, какие факторы и группы интересов влияют на распространение тех или иных порядков, проводилось в ходе эмпирического исследования классического регионального университета. Использовалась исследовательская стратегия case-study, в которой основными методами получения информации были полуформализованные интервью, анализ документов и неструктурированное наблюдение. Информантами выступали представители академического персонала и представители административного персонала вуза, находящиеся на разных уровнях управления университетом. В ходе анализа документов использовались источники, в которых отражена деятельность вуза в целом, а также его подразделений (приказы и распоряжения, протоколы заседания советов, отчеты и планы работы подразделений и преподавателей, материалы сайтов вуза и т. д.).

Исследование проводилось в два этапа. На первом этапе анализировалась система оценки качества образования функционирующая на уровне всего университета.

Сложившаяся система общеуниверситетской оценки качества является следствием принудительного изоморфизма, связанного с деятельностью государственных органов по контролю образования. Вследствие того, что контролеры используют индустриальный порядок оценки качества, именно этот порядок навязывается руководством университета и техноструктурой (учебный отдел, учебно-методический совет университета, информационно-аналитический отдел и центр менеджмента качества). Большинство общеуниверситетских инициатив в области оценки качества либо непосредственно связаны с необходимостью выполнять государственные требования, либо с желанием повысить управляемость вуза для увеличения показателей качества заданных государством. В университете внедрена система менеджмента качества основанная на стандартах ИСО. Однако академический персонал сопротивляется инициативам внедрения стандартизованной оценки, поскольку руководство и техноструктура не обладают властью с точки зрения профессионального порядка.

Государственные требования и требования системы менеджмента качества позволяют отчасти преодолевать противоречия между индустриальным и профессиональным порядками в оценке качества, и позволяют руководству легитимировать усиление стандартизации и контроля. Данный фактор развития индустриального порядка в вузе может быть отнесен к внешним, но есть и внутренний — необходимость распределять ресурсы, которая связана с переходом на новую систему оплаты труда. На уровне руководства университета ориентация на рыночный порядок оценки качества выражена слабо. Это следствие существующей в вузе децентрализованной системы распределения финансовых ресурсов. Рыночная ориентация перемещается на уровень обладающих финансовой автономией подразделений. При этом наиболее экономически успешные подразделения заинтересованы в том, чтобы их оценивали по критериям данного порядка.

Наличие децентрализованной финансовой политики, а также различные исторические (наличие научной школы и традиций) и социально-экономические условия (различная конкурсная позиция специальностей и уровень фундаментальности предоставляемых знаний), в которых существуют подразделения вуза, приводит к тому, что системы оценки качества на специальностях существенно различаются. Поэтому на втором этапе, для более детального анализа, позволяющего учесть данную специфику, было выбрано несколько подразделений и специальностей.

Экономический факультет. Централизованная система распределения финансовых ресурсов приводит к созданию на факультете единой системы оценки качества. Большая доля (50%) студентов обучающихся на коммерческой основе детерминирует развитие рыночного порядка в оценке качества. Данный порядок превращается в механизм управления за счет создания конкуренции академического персонала и за счет наличия ресурсов, позволяющих удовлетворять потребности обучающихся. Развитие рыночного порядка, а также массовый характер обучения (выпуск ведется по восьми специальностям) приводят к усилению стандартизации в оценке знаний студентов.

В рамках факультета для изучения были выбраны специальности различающиеся фундаментальностью предоставляемых знаний и конкурсной позицией: «Экономическая теория» и «Бухгалтерский учет, анализ и аудит». Предоставление более фундаментальных знаний на специальности «Экономическая теория» и одновременная ориентация на потребности клиентов, которые желают получать более специализированные знания, приводит к противоречиям. Специальность «Бухгалтерский учет, анализ и аудит» сталкивается с внутренним противоречием рыночного порядканеобходимость опережения потребностей клиентов. Данная проблема усугубляется тем, что создание специалиста — процесс более длительный, чем производство товаров.

Исторический факультет. Децентрализованная система распределения финансовых ресурсов приводит к отсутствию на факультете единой системы оценки качества. В структуре факультета фактически находятся несколько автономных подразделений, различающихся годом открытия, конкурсной позицией и характером предоставляемого знания.

Для исследования была выбрана специальность «История». Низкая конкурсная позиция и небольшой процент внебюджетных обучающихся не создают условий для развития рыночного порядка. Фундаментальный характер предоставляемых знаний детерминирует развитие гражданского порядка в оценке качества. Наличие собственной научной школы и академических традиций приводит к тому, что основным порядком в оценке качества является профессиональный. Профессиональная оценка качества делегирована на уровень преподавателя. Необходимые условия для того, чтобы данная модель являлась механизмом улучшения качества — это, во-первых, наличие свободы студенческого выбора как способа выражения признания преподавательской компетентности, во-вторых, узкая специализация преподавателя, которая усилит его экспертные позиции.

Еще одна специальность, находящаяся в структуре исторического факультета и ставшая объектом исследования — «Социальная работа». Данная специальность была открыта в начале 2000;х годов на базе бывшей общеуниверситетской кафедры педагогики и психологии. Система оценки качества, существующая на специальности, представляет собой комбинацию рыночного, гражданского и профессионального порядков. Наличие большого процента внебюджетных студентов детерминирует развитие рыночного порядка. Развитие гражданского порядка является примером нормативного изоморфизма, где в качестве образца выступает традиция активных методов обучения, существующая в педагогике. Профессиональный порядок здесь делегирован на уровень кафедры, что позволяет ему быть механизмом улучшения качества.

Факультет международного бизнеса. Факультет является одним из самых молодых подразделений университета, он позиционирует себя как «элитный». Модель качества образования на данном факультете является примером нормативного изоморфизма, где образцом выступают западные бизнес-школы. Ориентация на западные стандарты входит в противоречие с гражданским порядком, согласно которому необходимо ориентироваться на потребности российской экономики. Можно сказать, что на факультете доминирует рыночная модель оценки качества, но вместо материальных ресурсов используются сигналы качества связанные с ценностями активности и успеха. Наличие ресурсов на факультете создает стимулы для развития рыночной конкуренции среди преподавателей других подразделений, обеспечивающих учебный процесс на данном факультете.

В Таблице 8 обобщены основные особенности функционирования рассматриваемых порядков в оценке качества.

Показать весь текст

Список литературы

  1. Р.Н. Профессиональный комплекс в социальной структуре общества (по работам Т. Парсонса) // Социологические исследования. 2005. № 1. С. 54−67.
  2. Дж. Рынок «лимонов»: неопределенность качества и рыночный механизм // THESIS. 1994. Вып. 5. С. 91−104.
  3. Аналитический доклад по высшему образованию в Российской Федерации / Под ред. Н. В. Ларионовой, Т. А. Мешковой. М.: Издательский дом ГУ ВШЭ, 2007. 317с.
  4. Н.В. Оценка результативности системы менеджмента качества в организациях на основе баланса потребностей заинтересованных сторон. Автореф. дисс. канд. эконом, наук. Санкт-Петербург, 2007. 25 с.
  5. Г. В. Системы оценивания преподавателей студентами: управленческие инновации в российских вузах // Вопросы экономики. 2007. № 6. С. 106−115.
  6. И. В. Система управления качеством образования в вузе // Оценка качества образования в Российских вузах. Опыт и проблемы. СПб., 2004. С. 16−25.
  7. В.А., Ефремов Н. Ф. Системы оценки качества образования: Учебное пособие. М.: Университетская книга- Логос, 2007. 192 с.
  8. Большой толковый словарь русского языка / Под ред. С. А. Кузнецова. Спб.: Норинт, 2003. 1536 с.
  9. Г. А., Нестеров А. А., Трапицын С. Ю. Управление качеством образовательного процесса: Монография. Спб: Изд-во РГПУ им. Герцена, 2001.360 с.
  10. В.И., Красилъников В. В., Плаксий С. И., Тягуиов Т. Н. Оценка качества деятельности образовательного учреждения. М.: Издательство ИКАР, 2005. 320 с.
  11. В., Шапоренкова Г. Анализ основных подходов к определению качества образования // Высшее образование в России. 2006. № 11. С. 49−52.
  12. А.И. Оценка качества высшего образования: рекомендации по внешней оценке качества в вузах. М.: Изд-во МНЭПУ, 2000. 180 с.
  13. .С. Философия образования для XXI века (в поисках практико-ориентированных образовательных концепций) М.: Совершенство, 1998. 608 с.
  14. М. Качество высшего образования в рыночном обществе предмет дискурса // Журнал социологии и социальной антропологии. 2007. Т. 10. С. 50−65.
  15. И. Качество образования и этика преподавателя // Высшее образование в России. 2006. № 5. С. 117−121.
  16. С.И., Демина Л. Д. О показателях квалиметрии оценки качества обучения и воспитания студентов в вузе // Известия Алтайского государственного университета: Социология 1999 № 2(12). URL: http://izvestia.asu.ru/l999/2/ (дата обращения: 20.10.2008).
  17. А. О. Социальный механизм управления инновационным университетом. Автореф. дисс. докт. социол. наук. Санкт-Петербург, 2005. 36 с.
  18. А. О. Университет как предпринимательская организация II Социологические исследования. 2003. № 4. С. 113−120.
  19. В. Качество образования: диалектика позиций и уровней // Высшее образование в России. 2005. № 5. С. 25−28.
  20. М.А. Идея университета // Самоопределение университета: нормативные модели и отечественные реалии. Ведомости. Вып. 27, специальный / Под ред. В. И. Бакштановыского, Н. Н. Карнаухова. Тюмень: НИИ ПЭ, 2005. С. 88−97.
  21. А. А. Имя обязывает // Самоопределение университета: нормативные модели и отечественные реалии. Ведомости. Вып. 27, специальный / Под ред. В. И. Бакштановыского, Н. Н. Карнаухова. Тюмень: НИИ ПЭ, 2005. С. 79−88.
  22. Дим Р. «Новый менеджериализм» и высшее образование: управление качеством и продуктивностью работы в университетах Великобритании // Вопросы образования. 2004. № 3. С. 44−56.
  23. В. И., Нечаев В. Я. Общество и образование. М.: ИНФРА-М, 2003. 124 с.
  24. Е. А. Риски корпоративного управления в контексте реструктуризации. Автореф. дисс. канд. экон. наук. Москва, 2008. 25 с.
  25. Л. А. Очерки истории возникновения и развития экономического факультета // Вестник Омского университета. 1999. Вып. 3. С. 25−28.
  26. В. Я., Овсянников В. Г. Прикладная социология: Очерки методологии. / 2-е изд., испр. и доп. СПб.: Издательство С.-Петербургского государственного университета, 1999. 296 с.
  27. В. Университетское образование: история, социология, политика. М.: Академический Проект, 2003. 384 с.
  28. И., Ляхович Е. Дж. Ньюмен и его модель идеального университета // Вестник Высшей Школы. Alma mater. 1993. № 1. С. 3645.
  29. Г. Е. Образование от XX к XXI веку. Екатеринбург: Изд-во Урал. гос. пед. ун-та, 2000. 301 с.
  30. Г. Е., Шуклина Е. А. Социология образования: Учебное пообие. М.: Гардарики, 2005. 383 с.
  31. Г. Е., Шуклина Е. А. Профессиональное образование и рынок труда// Социологические исследования. 2003. № 4. С. 99−106.
  32. С. Исследовательское интервью. / Пер. с англ. М. Р. Мироновой. М.: Смысл, 2003. 301 с.
  33. Г. Р. Процесс самооценки: Руководство по самооценке для высшего образования / 4-ое издание, Пер. с англ. в сокр. О. Бухиной.
  34. М.: Московский общественный научный фонд- ООО «Издательский центр научных и учебных программ», 1999. 152 с.
  35. С.Г. Социокультурный и институциональный подходы как основа позитивной социологии в России // Социологические исследования. 2002. № 12. С. 23−32.
  36. Г. Б. Эволюция институциональных систем / Г. Б. Клейнер- ЦЭМИ РАН. М.: Наука, 2004. 240 с. (Экономическая наука современной России)
  37. А. К. Новые модели управления вузом: шаг вперед или два назад? // Университетское управление: практика и анализ. 2004. № 5−6. С.53−61.
  38. Е. А. Стратегический менеджмент для университетов // высшее образование сегодня. 2004. № 1. С. 2−7.
  39. Козина И. Case study: некоторые методические проблемы // Рубеж. № 10−11. С. 177−189.
  40. Э. М. Управление качеством образования: учебное пособие для вузов / 2-е издание. М.: Академический проект, 2007. 320 с.
  41. И. К. Качество образования как социологическая проблема. Автореф. дисс. канд. социол. наук. Екатеринбург, 2003. 17 с.
  42. О.Ю. Неоинституциональная экономика: Учеб. пособие для студ. эконом, спец. Саратов: Изд-во Сарат. ун-та, 2002. 104 с.
  43. Ю. В., Кузнецов М. А. Философия качества. М.: Вузовская книга, 2004. 304 с.
  44. Я. Образование и реформа // Отечественные записки. 2002. № 2. С. 7−28.
  45. Я., Юдкевич М. Академическая свобода и стандарты поведения // Вопросы экономики. 2007. № 6. С. 80−93.
  46. Ю., Свистунов И. Система оценки качества учебного процесса // Высшее образование в России. 2006. № 5. С. 57−60.
  47. Н.А. Физико-математические институты Омска: история становления и развития // Философия науки. Новосибирск, 2003. № 2. С. 74−89.
  48. Кусэ/санова А. Ж. Проблема выявления социальной сущности образования и ее практическое значение// Теоретический журнал CREDO NEW. 1997. № 2. URL: http://www.credonew.ru/ (дата обращения: 14.08.2008)
  49. Е.И. Как это было // Вестник Омского университета. 1999. Вып. З.С. 10−13.
  50. Н.С. Философия и практика университетского образования. Ижевск: Изд-во Удмуртского ун-та, 1995. 256 с.
  51. Менеджмент качества в вузе/ Под. ред. Ю. П. Похолкова и А. И. Чучалина. Томск: Изд-во ТПУ, 2004. 252 с.
  52. Менеджмент, маркетинг и экономика образования: Учебное пособие / Под ред. А. П. Егоршина. Н. Новгород: НИМБ, 2001. 624 с.
  53. Г. Структура в кулаке: создание эффективной организации / Пер. с англ. Под ред. Ю. Н. Каптуревского. Спб: Питер, 2004. 512 с.
  54. Л. Идея университета // Вестник Высшей Школы. Alma Mater. 1991. № 9. С. 85−90.
  55. Э. И. Образование // Большая советская энциклопедия / 3-е издание. Гл. ред. Прохоров A.M. URL: http://slovari.yandex.ru/dict/bse/ (дата обращения: 14.08.2008).
  56. В. Я. Социология образования. М.: Изд-во МГУ, 1992. 200 с.
  57. Д. Институты и экономический рост: историческое введение // THESIS. 1993. Вып. 2. С. 69−91.
  58. Д. Институты, институциональные изменения и функционирование экономики/ пер. с англ. А.Н. Нестеренко- предисл. и науч. ред. Б. З. Мильнера. М.: Фонд экономической книги «Начала», 1997. 190 с.
  59. О социальном партнерстве в сфере образования / А. М. Осипов, П. Карстанье, В. В. Тумалев и др. // Социологические исследования. 2008. № п. С. 108−115
  60. Обеспечение и оценка качества высшего образования / Ю. П. Похолков, А. И. Чучалин, С. Б. Могильницкий, О. В. Боев // Высшее образование в России. 2004. № 2. С. 12−27.
  61. A.M. Социология образования: очерки теории. Ростов н/Д.: Феникс, 2006. 504 с.
  62. A.M., Тумалев В. В. Социология образования в России: проблемы развития и перспективы // Социологические исследования. 2004. № 7. С. 120−126.
  63. И.В. Управление университетом в условиях новой рыночной ситуации // Вопросы образования. 2004. № 3. С. 57−65.
  64. В.П. Системное управление качеством образования в школе/ Под ред. А. И. Субетто. 2-е изд. СПб.- М.: Исследовательский центр проблем качества подготовки специалистов, 2000. 239 с.
  65. А. О структуре управления и принятии решений в российских вузах // Вопросы экономики. № 6. 2007. С. 94−105.
  66. Н.Е. Трансформация университетов в условиях глобального рынка // Журнал социологии и социальной антропологии. 2004. Том VII. № 4. С. 152−161.
  67. Л., Ливни Э. Качество высшего образования в России: роль конкуренции и рынка труда // Вопросы образования. 2005. № 1. С. 7086.
  68. В.Р. Высшее учебное заведение как социальная система // Управленческое консультирование. 2008. № 4. С. 126−136.
  69. А.И. Социология организаций / АН СССР. ВНИИ систем, исслед. ГК по науке и технике. М: Наука, 1980. 257 с.
  70. Рабинович М. И, Степанов Ю. С. О проблемах получения рейтинговых оценок деятельности преподавателей, кафедр и факультетов во внутривузовской системе управления качеством образования // Университетское управление практика и анализ. 2006. № 6. С. 53−57.
  71. В. Основные направления развития современной экономической социологии // Экономическая социология: новые подходы к институциональному и сетевому анализу / Сост. и науч. ред.
  72. B.В. Радаев- пер. М. С. Добряковой и др. М.: РОССПЭН, 2002. С. 3−18.
  73. В.В. Новый институциональный подход: построение исследовательской схемы // Экономическая социология. 2001. Т. 2. № 3.1. C. 5−27.
  74. П. Власть, управление и контроль в организациях: антропологические исследования современного общества. Саратов: СГУ, 2003. 402 с.
  75. Российский университет в европейском научно-образовательном пространстве: Болонская перспектива: Материалы научного отчета / Под. ред. И. Д. Демидовой, В. Н. Мининой, В. В. Васильковой. СПб.: Борей Арт, 2006. 240 с.
  76. Ю., Емельянов А. Стандартизация как фактор конкурентоспособности высшего образования // Высшее образование в России. 2005. № 11. С. 28−42.
  77. И.А. Качество высшего образования как объект системного исследования. Лекция-доклад. М.: Исследовательский центр проблем качества подготовки специалистов, 2001. 79 с.
  78. Т. Конкурирующие логики в здравоохранении: профессиональная, государственная и менеджериальная // Экономическая социология. 2007. № 1. Т. 8. С. 27−45.
  79. А.Ю. Организационный подход в изучении проблем вуза (зарубежный опыт) // Социологические исследования. 1999. № 6. С. 8388.
  80. С. К, Кортов С. В. Качество образования: проблемы и задачи изменения внутренней среды ВУЗа // Университетское управление: практика и анализ. 2003. № 2. С. 64−69.
  81. Г. Качество // Большая советская энциклопедия. URL: http://slovari.yandex.ru/dict/bse (дата обращения 12.06.2007).
  82. Стратегии адаптации высших учебных заведений: экономический и социологический аспекты / Под ред. T. JL Клячко. М.: ГУ ВШЭ, 2002. 324 с. (Библиотека развития образования).
  83. Стратегии развития российских вузов: ответы на новые вызовы / Под науч. ред. Н. Л. Титовой. М.: МАКС Пресс, 2008. 667 с.
  84. Л. Какой дорогой идти? Моральная сложность «обустроенного человека» // Журнал социологии и социальной антропологии. 2000. Т.З. № 3. С. 84−111.
  85. JI. Множественность способов координации: равновесие и рациональность в сложном мире // Вопросы экономики. 1997. № 10. С. 69−84.
  86. Л. Организованная комплексность: конвергенции координации и композиция экономических образований // Экономическая социология: новые подходы к институциональному и сетевому анализу/ сост. и науч. ред. В. В. Радаев. М., 2002. С. 19−41.
  87. Л. Рациональность или социальные нормы: преодоленное противоречие? // Экономическая социология. 2001. Т. 2. № 1. С. 80−123.
  88. Л., Болтански Л. Социология критической способности // Журнал социологии и социальной антропологии. 2000. Т.З. № 3. С. 6683.
  89. Н.Л. Модель гармонизации интересов вуза и его подразделений. Вопросы образования. 2005. № 2. С. 80−93.
  90. О.Б. «Оптимистическая трагедия» университетского менеджмента // Университетское управление: практика и анализ. 2006. № 1.С. 7−14.
  91. О.И. Поведенческие предпосылки современного экономического анализа // THESIS. 1993. Вып. 3. С. 39−49.
  92. Университетские инновации: опыт Высшей школы экономики / Г. Г. Канторович, Я. И. Кузьминов, В. В. Писляков, В. В. Радаев и др.- под ред. Я. И. Кузьминова. М.: Изд. дом ГУ ВШЭ, 2006. 288 с.
  93. Управление в высшей школе: опыт тенденции и перспективы развития. Аналитический доклад / Национальный фонд подготовки кадров- Руководитель авторского коллектива В. М. Филлипов. М.: Логос, 2005. 540 с.
  94. Управление качеством образования: Практико-ориентированная монография и методическое пособие / Под. ред. М. М. Поташника. М.: Педагогическое общество России, 2000. 448 с.
  95. Управление организацией: энциклопедический словарь. / Под ред. А. Г. Поршнева, А .Я Кибанова, В. Н. Гунина. М.: Инфра-М, 2009. 822 с.
  96. Управление современным университетом: Коллективная монография/ Под. общ. ред. проф. Г. И. Лазарева. Владивосток: Изд-во ВГУЭС, 2005. 324 с.
  97. И.М. Высшая школа в современном российском обществе. Саранск: Изд-во Мордов. ун-та, 2004. 232 с.
  98. А.Ф. Утопия образования // Отечественные записки. 2002. № 1. С. 10−24.
  99. Философские и социальные аспекты качества / Б. С. Алешин, Л. А. Александровская, В. И. Круглов, A.M. Шолом. М.: Логос, 2004. 438 с.
  100. . О недоразумениях, связанных с кейс-стади // Социологические исследования. № 4. 2005. С. 110−120
  101. Н. Поля, власть и социальные навыки // Экономическая социология: новые подходы к институциональному и сетевому анализу/ сост. и науч. ред. В. В. Радаев. М., 2002. С. 119−153.
  102. Н. Рынки как политика: политико-культурный подход к рыночным институтам // Экономическая социология. 2003. Т. 4. № 1. С. 45−64.
  103. Дж. Привычки правила и экономическое поведение // Вопросы экономики. 2000. № 1. С. 39−55.
  104. В. Д. Факультет международного бизнеса // Вестник Омского университета. 1999. Вып. 3. С. 31−36.
  105. А.Е. Новая институциональная экономическая теория / 3-е изд., перераб. и доп. М.: Экономический факультет МГУ, ТЕИС, 2002. 591 с.
  106. С. Е., Калъней В. А. Мониторинг качества образования в школе. М.: Педагогическое общество России, 1999. 320 с.
  107. М. Эффективное руководство в сфере высшего образования / пер. с англ. И.А. Григорьевой- отв. ред. И. М. Григорьев и Г. Т. Тюнь. СПб.: Издательство С.-Петерб. ун-та, 2008. 196 с.
  108. Н.В. Качество образования в системе высшей школы: социологический аспект. Автореф. дисс. канд. социол. наук. Екатеринбург, 2005. 16 с.
  109. Эмар-Дюверне Ф. Конвергенции качества и множественность форм координации // Вопросы экономики. 1997. № 10. С. 104−116.
  110. В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М.: Добросвет, 1999. 596 с.
  111. Currie J., Vidovich L. Centralisation and Devolution through Corporate Managerialism in American and Australian Universities // Australian Association for Research in Education. 1997. 30 November 4 December.
  112. DiMaggio P., Powell W. W. The iron cage revisited: Institutional isomorphism and collective rationality in organizational fields // American Sociological Review, 48, 1983, pp. 147−160.
  113. Fligstein N., Brantley P. Bank control, owner control, or organizational dynamics: Who controls the large modern corporation? // The American Journal of Sociology. 1992. Vol. 98. No. 2. pp. 280−307.
  114. Kamens D. H., Sarup G. Departmental organization, legitimacy, and faculty militancy: Structural Sources of Pro Union Sentiment in a Public University // Research in Higher Education. 1980. Vol. 13. No. 3. pp. 243−259.
  115. Meyer J.W., Rowan B. Institutionalized Organizations: Formal Structure as Myth and Ceremony // American Journal of Sociology. 1977. Vol. 83. No. 2. pp. 340−363.
  116. Power M. Evaluating the Audit Explosion // Law & Policy. July 2003. Vol. 25. No. 3. pp. 187−202.
  117. Raines J. P., Leathers Ch.G. The Economic Institutions of Higher Education: Economic Theories of University Behavior. Cheltenham (UK), 2003. pp. 251.
  118. Scott W. R. Approaching adulthood: the maturing of institutional theory // Theory and Society. 2008. 37. pp. 427−442.
  119. Stensaker B. The Transformation of Organisational Identities. Interpretations of policies concerning the quality of teaching and learning in Norwegian higher education, 2004, 252 c.
  120. Weick К. E. Educational Organizations as Loosely Coupled Systems //Administrative Science Quarterly, Vol. 21, March, 1976.
  121. Welsh J.F., Metcalf J. Faculty and administrative support for institutional effectiveness activities: a bridge across the chasm? // The Journal of Higher Education, No.4, V.74, Jul/Aug 2003. pp. 445−468.
Заполнить форму текущей работой