Оценка качества методического, математического и программного обеспечения распределенных обучающих систем

Актуальность. В настоящее время одной из важнейших задач, стоящих перед образованием во всем мире, является развитие новых образовательных форм и технологий и повышение качества образования.

Наиболее перспективным и быстроразвивающимся направлением в последние годы является обучение с использованием компьютерных технологий и сетевых коммуникаций, одна из форм которого получила название дистанционное обучение. В этом случае используются принципиально новые формы представления учебной информации в виде компьютерных учебников, виртуальных лабораторных практикумов, тренажеров, предметно-ориентированных сред, контролирующих программ, справочников и баз данных учебных материалов. Доставка учебной информации осуществляется с помощью локальных и корпоративных сетей, так и телекоммуникаций, например сети Интернет. Формы обратной связи между учащимися и преподавателями и учащимися между собой также изменяются: все большей популярностью пользуются теле-, видеои почтовые конференции, чаты и форумы, доски объявлений и системы электронного голосования, электронная почта и заполнение активных электронных форм. Контроль знаний осуществляется с помощью специальных тестирующих компьютерных программ. Таким образом, появляются новые образовательные технологии, опирающиеся на телекоммуникации и компьютерные средства представления информации.

Используя в качестве критерия возможность доставки информации, т. е. способ коммуникации преподавателей и обучаемых, новые образовательные технологии можно классифицировать следующим образом.

• Методы обучения посредством взаимодействия обучаемого с образовательными ресурсами при минимальном участии преподавателя и других обучаемых (самообучение).

• Методы индивидуализированного преподавания и обучения, для которых характерны взаимоотношения одного студента с одним преподавателем или одного студента с другим студентом (обучение «один к одному»).

• Методы, в основе которых лежит представление студентам учебного материала преподавателем или экспертом, (обучение «один ко многим»),.

• Методы, для которых характерно активное взаимодействие между всеми участниками учебного процесса (обучение «многие ко многим»).

В конце 90-х годов возникает новая отрасль знаний — телематика, находящаяся па стыке информатики и исследований в области телекоммуникаций. Область применения новой науки чрезвычайно широка, и создание на ее основе новых образовательных технологий привело к необходимости международной стандартизации. К новейшим разработкам в области стандартизации, в частности относятся [1−7]:

• проект японской ассоциации образования Advanced Learning Infrastructure Consortium (ALIC),.

• Европейский проект стандарта Alliance of Remote Instructional Authoring and Distribution Networks of Europe (ARIADNE),.

• материалы образовательного консорциума IMS Global Learning Consortium.

• использование телематических систем для обучения работников авиационной отрасли Aviation Industry СВТ Committee (AICC),.

• стандарт LTSA 1484 в области архитектуры обучающих систем Institute of Electrical and Electronic Engineers (IEEE) Learning Technology Standards Committee,.

• объединенный проект AICC, IMS и IEEE под названием SCORM (Shareable Content Object Reference Model) — модель объектов с разделяемым контентом,.

• проект стандарта в области дистанционного образования Российской Федерации.

Этими стандартами вводится понятие современных обучающих систем, как систем для приобретения знаний и умений посредством доступа к информации и обучения, включающих в себя все информационные технологии и другие формы обучения па расстоянии. Проведенный сравнительный анализ вышеназванных источников показывает, что.

• полностью отсутствуют какие-либо данные о том, насколько важен тот или иной элемент архитектуры, как изменится поведение системы в отсутствие какого-либо класса или компонента, можно ли расширять набор предлагаемых компонентов и как это повлияет на работоспособность систем- • не учитываются педагогические аспекты использования системы, например, ступени системы познания, содержательность учебного материала, усвояемость и т. д.

Развитие дистанционного образования в России привело к необходимости использования телематических систем. Принимается Концепции создания и развития единой системы дистанционного образования (ДО) в России, и количество вовлеченных в нее образовательных учреждений стремительно растет. В настоящее время их насчитывается более сотни. Для дальнейшего развития и координации усилий в области ДО созданы соответствующие органы в Министерстве образования РФ, Евразийская Ассоциация ДО, Ассоциация Международного образования, принята Концепция создания и развития Системы ДО Российской Федерации и проведен ряд других мероприятий.

В Концепции создания и развития ДО в РФ приводится следующее определение. Дистанционное образование — комплекс образовательных услуг, предоставляемых широким слоям населения в стране и за рубежом с помощью специализированной информационной образовательной среды, базирующейся на средствах обмена учебной информацией на расстоянии (спутниковое телевидение, радио, компьютерная связь и т. п.). Иными словами, дистанционное обучение представляет собой совокупность информационных технологий, обеспечивающих доставку обучаемым основного объема изучаемого материала, интерактивное взаимодействие обучаемых и преподавателей в процессе обучения, предоставление студентам возможности самостоятельной работы по освоению изучаемого учебного материала, а также оценку их знаний и навыков, полученных в процессе обучения.

В пропаганду, организацию научных исследований и внедрение в педагогическую практику идей ДО внесли вклад А. А. Андреев, С. Г. Григорьев, В. П. Тихомиров, В. Г. Кинелев, А. Д. Иванников, Я. А. Ваграменко, Ю. А. Чернышев,.

Л.Д. Забродин, |В.В.Семенов|, А. И. Галкина, А. Г. Шмелев, В. А. Самойлов, В. П. Нсвсжин, И. А. Липский, А. А. Золотарёв, В. В. Рождественский, И. П. Норенков, Е. С. Полат, В. А. Каймин, Ю. Б. Рубин [9−17, 55].

Несмотря на большое количество разработок и проектов в области ДО, вопрос об оценке его качества и эффективности до сих пор остается открытым. Открытая дискуссия, проводимая в 2001 году на сайте informika.ru Министерства образования РФ, показала это очень ярко. Большое количество предложений, несмотря на ссылки на ISO 9003, указывало на отдельные показатели качества систем ДО, без каких-либо значительных попыток систематизации. Результатом этой дискуссии является проект ГОСТа по ДО [7], в котором также недостаточно присутствует систематизация. Так, в нем вообще не упоминаются такие важнейшие показатели, как эффективность средств обучения (методическая и дидактическая), безопасность их использования, достоверность полученных знаний учащимися и т. д.

Отсюда, среди проблем, связанных с качеством современного образования в целом, особую значимость приобретает проблема управления качеством распределенных обучающих систем (РОС).

В данной работе вводится понятие РОС как системно организованной совокупности средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного, учебно-методического и организационного обеспечения, которая ориентируется па удовлетворение образовательных потребностей пользователей.

Архитектура современных распределенных обучающих систем должна включать в себя географически разнесенные, но тесно интегрированные между собой компоненты в виде процессов (обучаемая сущность, оценка, доставка, инструктор) и хранилищ (информация по учащемуся, образовательные ресурсы) [5]. Поскольку назначением РОС является предоставление доступа к образовательным ресурсам, обучение и контроль знаний на основании контекста взаимодействия учащегося с системой, то они охватывают целый класс программных систем учебного назначения, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения.

Любая распределенная обучающая система представляет собой продукт, качество которого может быть определено согласно соответствующим стандартам. Международные стандарты ISO 9000, 9001, 9002 и 9003 (редакция 2000 года) содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла [19−21].

Для получения качественного продукта необходимо внедрение так называемой системы качества. Следуя международному стандарту ISO 8402, можно определить систему качества как совокупность организационной структуры, методик, процессов и ресурсов, необходимых для осуществления общего руководства качеством продукции, производимой организацией.

Целыо требований стандартов серии ISO 9000 является удовлетворение требований с позиции четырех аспектов, являющихся ключевыми для качества продукции (технических средств, программного обеспечения, отработанных материалов и услуг):

• качество благодаря определению потребностей пользователей, т. е. благодаря определению и модернизации продукции с целыо ее соответствия требованиям и возможностям рынка;

• качество благодаря конструкции, т. е. благодаря встраиванию в продукцию характеристик, способствующих тому, чтобы она отвечала требованиям и возможностям рынка;

• качество благодаря соответствию конструкции, т. е. благодаря поддержанию постоянного соответствия конструкции, реализации характеристик, заложенных в проект,.

• качество благодаря техническому обслуживанию в процессе ее эксплуатации по мере необходимости, чтобы сохранить желаемые характеристики.

Таким образом, обеспечение качества представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качества по мере продвижения разработки, а не фиксирует его на выходе процесса. Качество определяется как набор характеристик системы, относящихся к ее способности удовлетворить установленные и предполагаемые потребности клиентов [14]. Список требований и критериев оценки показателей качества программных систем общего назначения был разработан в 1994;2002 гг. И. Соммервилем, В. Липаевым, Дж. Воасом, Д. Гарвипым [23−26]. Стандарт ISO 9126 (1998 г.) определяет шесть базовых характеристик для оценки качества программных систем [21]. Сравнительный анализ, проведенный автором диссертации между моделями Соммервиля, Гарвина, Редмана [199] и ISO 9126, устанавливает, что эти модели отражают требования к РОС лишь частично. Это связано с тем, что распределенные обучающие системы обладают очень специфической областью использования, и их потенциальными пользователями выступают преподаватели, учащиеся, методисты, инструкторы и т. д. Такую предметную область указанные модели не рассматривают. С другой стороны, речь идет о программных системах, и критерии их оценки должны учитывать основные направления развития.

В данной работе предлагается объединить и систематизировать два направления, связанных и с оценкой качества РОС как программных систем, и с оценкой их возможностей использования в учебном процессе. В результате была разработана иерархическая система требований качества, представленная в виде показателей качества, их значений, критериев и методов оценки (качество благодаря определению потребностей пользователей).

На основе анализа требований, предъявляемых Российским центром информатизации образования (РОСЦИО), Министерством образования Российской Федерации, с учетом опыта большого количества ВУЗов, а также с учетом современных тенденций в образовании и уровня развития компьютерных технологий [18−31, 34, 45−57, 68, 77−79, 83−86], в данной работе были сформулированы требования, которым должна удовлетворять распределенная обучающая система. Соответствие этим требованиям позволило автору диссертации предложить ряд характеристик, отражающих свойства указанных обучающих систем. К ним относятся:

• добротность, характеризующая внутренние достоинства реализации системы с технической стороны;

• надежность, т. е. способность системы сохранять готовность функционирования при установленных условиях за установленный период;

• безопасность, т. е. свобода от неприемлемого риска в виде угроз, классифицируемых в зависимости от возможности злоупотреблений, возникающих в результате действий человека, как преднамеренных, так и непреднамеренных;

• корректность, т. е. соответствие реализации системы ее спецификации (в данном случае оценивается функциональная полнота и непротиворечивость);

• интерфейс, т. е. средства общения с пользователями системы;

• стоимость, т. е. затраты на закупку, эксплуатацию и модернизацию;

• открытость характеризует модифицируемость системы, т. е. се способность подвергаться изменениям;

• приемлемость, т. е. соответствие сформулированным заказчиком требованиям;

• ощущаемое качество, которое определяется исходя из назначения системы, включает в себя соответствие дидактическим, педагогическим и прочим требованиям, представленным большим объемом соответствующих материалов. Ощущаемое качество распределенных обучающих систем складывается из нескольких факторов.

Далее, для решения проблемы управления качеством РОС, в частности, была создана система оценки качества, т. е. иерархия показателей качества, установлены соответствующие шкалы измерений для каждого' показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя в общей согласованной иерархии. Система оценки качества обеспечивает качество благодаря конструкции и соответствия конструкции. Затем, в соответствии с разработанной системой оценки качества, автором диссертации была разработана методология управления качеством РОС, которая предоставляет определенные гарантии того, что как в процессе разработки РОС, так и при эксплуатации и сопровождении будут обеспечены требуемые значения показателей качества (качество благодаря обслуживанию). Методология позволяет:

• до начала разработки на основании суждений заказчика (эксперта) о важности тех или иных свойств определить цели качества, т. е. взаимоувязанную систему требований как общих, так и специализированных, к системе РОС, отраженную в спецификации, устанавливать их значимостьопределить контрольные точки внутри жизненного цикла системы для проверки достижимости целей;

• определить необходимые метрики (показатели качества, шкалы и способы измерения), которые измеряют результаты действий проекта в контрольных точках жизненного цикла проекта и оценивают, были ли цели качества достигнуты;

• гарантировать требуемые заказчиком значения показателей качества па основе использования соответствующих базовых классов и элементов среды оценки как идентифицирующих и корректирующих действий качества. Возможности предлагаемой методологии управления качеством РОС подтверждены на реальных примерах.

Особую актуальность проблема измерения и стандартизации качества РОС имеет для Московского инженерно-физического института (МИФИ), готовящего специалистов в области всех видов ядерных технологий. По этим специальностям запрещено заочное обучение, поэтому широкое внедрение РОС в МИФИ возможно только при полной гарантии качества обучения. Этим объясняется то обстоятельство, что практическая работа автора проводилась на базе Экономико-аналитического института (ЭЛИ) МИФИ. Она задумана и выполнена как полномасштабный эксперимент, предваряющий перспективные работы по созданию РОС корпоративного ядерного университета.

Цели и задачи. Целью данной диссертационной работы является решение крупной научной проблемы повышения качества обучающих систем, имеющей важное хозяйственное значение.

Для достижения указанной цели были решены следующие задачи.

• Предложена система требований качества в виде согласованной иерархии показателей, объединяющая и систематизирующая хараетеристики РОС как программных систем и их возможностей использования в учебном процессе.

• Создана система оценки качества РОС, разработаны критерии и шкалы измерений для каждого показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя.

• Для управления качеством РОС разработаны положения по обеспечению качества на каждом этапе жизненного цикла, представленные, в частности, в виде объектно-ориентированной среды с соответствующим набором базовых классов требований качества и классов гарантий.

• Проведены проектирование распределенных обучающих систем различного назначения на основе предлагаемой методологии и оценка качества указанных разработок.

Областью исследования являются критерии и методы оценки показателей качества сетевых программных приложений, основанных на новых информационных технологиях (паспорт специальности 05.13.11 — п.п. 2.1, 2.6 и.

2.17).

Научная новизна работы заключается в следующем.

1. Предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала и способ измерений, значимость и удельный вес.

2. Предложена методология управления качеством РОС па всем жизненном цикле системы, представленная в виде объектно-ориентированной среды.

3. Для одного из видов электронных ресурсов — предметно-ориентированной среды учебного назначения — разработан язык формальных описаний сетевых протоколов и cepelSOe ЯСМОД. Его использование при проектировании распределенных приложений позволяет управлять такими характеристиками качества, как надежность и корректность.

4. Для таких компонентов РОС, как контролирующие программы, предложены математические модели и алгоритмы формирования адаптивных и стратификационных тестов, адекватной оценки и диагностики результатов контроля знаний учащихся. Их применение повышает эффективность РОС.

5. Для обеспечения безопасности при доставке информации, в том числе учебного назначения, предложена математическая модель универсального доступа к файловым объектам, позволяющая обеспечить целостность, конфиденциальность и доступность данных при миграции между различными файловыми системами.

6. Предложена архитектура информационно-образовательного портала как прототипа корпоративного виртуального университета, обеспечивающего функции организации учебного процесса.

Практическая значимость. На основе предлагаемой методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества распределенных обучающих систем и их отдельных компонентов «ОЦЕНКАРОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютермых-учебчиков;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;

• рабочего места администратора гетерогенной сети для обеспечения инвариантного санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭАИ МИФИ.

Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах.

На защиту выносятся следующие положения:

1) предложенная система оценки качества распределенных обучающих систем, включающая в себя согласованную иерархию показателей качества, установленные шкалы измерений, вычисленные значения и удельный вес каждого показателя на основании полученных экспертных оценок;

2) разработанные подсистемы оценки качества всех видов электронных ресурсов, для которых предложены показатели качества, для которых сформирована иерархия показателей, определена значимость и удельный вес каждого показателя, проведено согласование иерархийдля различных видов элеюронных ресурсов получены экспертные оценки допустимых значений различных факторов качества и определены значения функции полезности для каждого вида электронных ресурсов;

3) предложенная методология управления качеством РОС, представленная в виде объектно-ориентированной среды как набор базовых классов и связей между ними, использование которой гарантирует требуемое качество;

4) программная реализация системы управления качеством РОС «ОЦЕНКАРОС»,.

5) разработанный язык синтеза формальных описаний сетевых протоколов и ccpbISOb ЯСМОД,.

6) созданные на основе предлагаемой методологии следующие компоненты РОС:

• предметно-ориентированная среда обучения «Архитектура связи локальных сетей»;

• семь компьютерных учебников, функционирующих в локальных и корпоративных сетях и Интернет;

• распределенная адаптивная система тренинга и тестирования «ВИОТ-2»;

• рабочее место администратора сети, обеспечивающее инвариантный санкционированный доступ к данным при миграции в гетерогенных корпоративных сетях;

• информационно-образовательный портал для доступа к распределенным образовательным ресурсам как прототип корпоративного ядерного университета.

Авторский вклад. Всс выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях и семинарах:

IX Всесоюзном семинаре по вычислительным сетям (Рига, 1986) — X Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Ижевск, 1987) — XI Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Орджоникидзе, 1988) — XIII Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Симеиз, 1990) — ХУ Всесоюзной школс-семинаре, но вычислительным сетям" (Ленинград, 1990) — XIV Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Феодосия, 1991) — Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1992) — Всемирном конгрессе ITS-93 «Информационные коммуникации, сети, системы и технологии» (Москва, 1993) — XVII Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1994) — конференции «Информатика и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1995) — Конференции «Телекоммуникации и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1997) — Научном семинаре «Электронный бизнес. Выпуск 4».(Москва, МЭСИ, 2001) — IX — XI Международных научно-технического семинарах «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта, 2000;2002) — Научных сессиях МИФИ 1998;2003 годов.

По теме диссертации опубликована 81 работа, общим объемом 108 печатных листов, в том числе монография, статьи в реферируемых журналах и два, выполненных в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации, но атомной энергии по направлению «Научно-инновационное сотрудничество», препринта.

Достоверность разработанной методологии управления качеством, математических моделей и методов, алгоритмов и программных средств подтверждается соответствующими актами о внедрении, документами о присвоении номеров государственной регистрации программным продуктам в Российском фонде компьютерных учебных программ, серебряной медалью ВДНХ СССР, почетными дипломами выставки-конференции «Телекоммуникации и новые информационные технологии в образовании».

Структура и объем работы. Диссертационная работа состоит из введения, трех разделов, десяти глав, заключения, 19 приложений, списка использованной литературы из 200 наименований. В работе содержится 39 таблиц и 37рисунков.

Выводы.

К основным результатам, полученным в данной главе, можно отнести следующие.

1. Разработана архитектура информационно-образовательного портала Экономико-аналитического института МИФИ, как прототипа корпоративного ядерного университета. Разработка проводилась с использованием методологии управления качества РОС.

2. Отличительными особенностям портала являются:

• возможность обучения по индивидуальным учебным траекториям,.

• система санкционированного доступа к распределенным объектам портала,.

• встроенная система поддержки учебного процесса «Электронный деканат»,.

• встроенная подсистема создания, публикации и проведения широкого спектра электронных занятий.

3. В 2002 году запущена первая очередь портала в виде набора таких подсистем, как организации доступа к ресурсам, «Электронный деканат», система поддержки образовательной среды и модуль оценки качества образовательных ресурсов, подсистемы общения, хранилище с записями о студентах и преподавателях.

4. Подготовлены электронные версии занятий по курсам «Логистика», «Сети и межсетевые коммуникации», «Финансы и кредит», «Экономика предприятия», «Основы экономической теории». По ряду курсов прошло несколько образовательных треков. Одним из основных результатов от использования следует отметить резкое повышение интенсификации труда как преподавателя, так и учащихся.

5. Проведенные экспертные оценки для информационно-образовательного портала ЭЛИ показывают, что все параметры удовлетворяют потребительским ограничениям, а значение функции полезности превышает допустимый минимум на 18%.

ЗАКЛЮЧЕНИЕ

.

В ходе работы над диссертационным исследованием были получены следующие наиболее значимые результаты.

1. Впервые предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала измерений, значимость и удельный вес. Общее количество показателей и групп показателей, из которых сформировано шесть уровней иерархии, примерно 130. Иерархия показателей согласована по методу Саати, суммарный вес каждого уровня равен единице. Показатели, сгруппированные па верхнем уровне иерархии, разбиваются на общие и специализированные факторы. К общим факторам оценки качества РОС, как к любым программным системам, относятся приемлемость, корректность, надежность, безопасность, добротность, стоимость, интерфейс и открытость. К специализированным факторам, характеризующим программный продукт в конкретной предметной области, относятся функциональность, адаптивность, эффективность, интеллектуальность, комфортность, современность и распределенность. Обработанные автором усредненные экспертные оценки показали, что, но совокупности, группа общих факторов обладает весом 0,75. Из них наиболее значимыми являются безопасность (0,18), корректность (0,16) и хорошо построенный интерфейс (0,09). Группа специализированных факторов обладает значимостью 0,25, из них наибольший вклад дает эффективность (0,06).

2. Впервые предложена методология управления качеством РОС на всех этапах жизненного цикла системы, реализованная в виде объектной среды оценки. Указанная среда представляет собой множество базовых классов и связей между ними. Базовые классы соответствуют набору требований качества и требованиям гарантий, сопровождая весь жизненный цикл системы. Использование данной методологии гарантирует значение заданных заранее, на этапе планирования, показателей качества РОС, что было подтверждено на ряде программных продуктов, в частности, семи электронных учебниках, двух распределенных системах контроля знаний и предметно-ориентированной обучающей среде.

3. Разработан новый язык формальных описаний сетевых протоколов и сервисов ЯСМОД. Его использование для построения формальных описаний, верификации и программной реализации сложных распределенных приложений повышает надежность функционирования программных компонентов в сетевых средах. Не уступая по порождающей способности известным языкам, таким как ESTELLA, LOTOS, АГРЕГАТ или ОСА, ЯСМОД имеет более широкий спектр применения: системы синхронного и асинхронного действия, конвейерные системы. Наиболее важным является возможность с равным успехом описывать и верифицировать как протокольные объекты, так и сервисы, несмотря на NP-полноту поставленной задачи. Такая верификация впервые стала возможна при уменьшении размерности задачи редукцией сетевой модели к каноническому виду и последующей проверке на отсутствие ошибок. Помимо применения в учебном процессе, интерпретаторы с ЯСМОД позволили осуществить проектирование, верификацию, моделирование и реализацию системного программного обеспечения ряда реально работающих промышленных сетевых систем и распределенных приложений.

4. Впервые синтезированы математические модели и алгоритмы для формирования адаптивных и стратификационных тестов и адекватной оценки результатов тестирования как на основе классической теории тестирования, так и с использованием лате! ггно-структурного подхода IRT. На основе предложенных моделей впервые формируются карты знаний группы учащихся или одного учащегося, по которым появляется возможность произвести диагностику пробелов в знаниях, оценить качество преподавания и прогнозировать дальнейшее обучение. Их применение повышает эффективность контролирующих компонентов РОС.

5. Впервые разработана математическая модель универсального доступа к данным, позволяющая повысить безопасность информации, в том числе учебного назначения, при миграции между различными файловыми системами. На основе проведенного анализа пространства состояний защиты построена базовая модель отношений «пользователь-система» {аО, al, .а13, ЬО, bl,.bJ3}, позволяющая оценивать все потенциально возможные полномочия доступа и средств их санкционирования при защите от хакерских атак. Аппарат построенной алгебры преобразований защиты дает возможность оценивать степень адекватности конкретных переходов между файловыми системами NetWare, UNIX и Windows NT/2000 формализованным образом на основе четырехзначной логики. Практическим результатом решения задачи обеспечения сохранения полномочий доступа стал программный комплекс анализатора защиты для гетерогенной сети, состоящий из ядра па сервере NetWare и агентов для серверов Windows NT -2000 и Linux.

6. Разработана архитектура информационно-образовательного портала как прототипа корпоративного ядерного университета. Данная работа ведется в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество». К моменту защиты диссертации запушена первая очередь портала, охватывающая систему доступа к ресурсам, модуль «Электронный деканат», хранилище с записями о студентах и преподавателях, систему поддержки образовательной срсды и модуль оценки качества образовательных ресурсов.

7. На основе предлагаемой автором диссертации методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества самих распределенных обучающих систем и их отдельных компонентов «ОЦЕНКАРОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютерных учебников и задачников;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;

• рабочего места администратора гетерогенной сети для эквивалентирования санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭЛИ МИФИ.

Все указанные разработки используются в учебном процессе Московского инженерно-физического института, о чем имеются соответствующие свидетельства.

8. Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах. Экспертные оценки по нормированной шкале [0.9] для электронных учебников дают значения функции полезности в виде вектора (/={6,55- 6,90- 6,92- 6,96- 7,03- 7,07- 7,13} при минимально допустимом значении umin= 5,32. Полученные экспертные оценки качества для распределенных систем адаптивного тестирования ВИОТ-2 и ВИОТ позволяют определить значение функции полезности как 6,88 и 6,51, в то время как итт для контролирующих программ составляет 5,23. Полученные экспертные оценки для информационно-образовательного портала показывают, что значение функции полезности на 18% превышает допустимый минимум. Таким образом, все рассматриваемые учебники, задачники и тестовые системы, информационно-образовательный портал ЭЛИ МИФИ, спроектированные на основе предлагаемой автором диссертации методологии, удовлетворяют исходным пользовательским ограничениям, а значение функции полезности превышает допустимый минимум на 13−20%.