Модели, методы и программные средства оценки качества информационно-образовательных ресурсов

Переход к информационному обществу в мире характеризуется значимостью интеллектуального труда, ориентированного на использование мировых информационных ресурсов, и острой потребностью в коммуникациях между профессиональными сообществами, общественными организациями, государствами и т. д. Роль информационных и коммуникационных технологий в развитии общества фактически привела к образованию нового технологического уклада. В обществе, основанном на знаниях, формируются рынки данных, информации, знаний [37] .В результате общество приступило к созданию единого мирового информационного пространства, или, мировых информационных ресурсов.

В настоящее время не существует единого понятия «информационный ресурс». Впервые четкое определение понятия «информационные ресурсы» было сформулировано в Федеральном законе «Об информации, информатизации и защите информации» «как отдельные документы и отдельные массивы документов, документы и массивы документов в информационных системах (библиотеках, архивах, фондах, банках данных, других информационных системах)». С точки зрения Международной организации стандартизации (ISO), информационный ресурс — неч то, имеющее отличительную особенность, благодаря которой данная сущность может быть выделена в самостоятельном качестве, как правило — электронный документ (стандарт ISO 15 836:2003). В стандартах Института инженеров по электротехнике и электронике (IEEE) понятие информационного ресурса заменено понятием «образовательный объект» (learning object) — цифровая или нецифровая сущность, которая может использоваться в образовательных целях. Таким образом, вводится единая модель для систематизации информационных сущностей (любых видов и форм), материальных объектов, кадровых ресурсов и событий, относящихся к сфере образования. В стандарте IEEE LOM (Learning.

Object Metadata standard) от 2002 года информационный ресурс определяется как документ (совокупность документов), предназначенный и самостоятельно оформленный для распространения среди неограниченного круга лиц либо служащий основой для представления информационных услуг.

Можно утверждать, что информационные ресурсы — вся накопленная информация об окружающей нас действительности, зафиксированная на материальных носителях или в любой иной форме, обеспечивающей передачу информации во времени и пространстве между различными потребителями для решения любых задач (научных, образовательных, производственных, управленческих и других) является источником образовательной информации, питающим создаваемую единую образовательную среду [76].

Существуют различные виды классификации информационных ресурсов: по виду деятельности или тематике, для которой они предназначены (законодательные ресурсыстатистические ресурсыобразовательные ресурсынаучные ресурсы и т. д.) — по форме представления информации (текстовая формаграфическая формамультимедиа и т. д.) — по способу ограничения доступа или защите (сведения, составляющие государственную тайнуперсональные данныесведения, составляющие коммерческую тайну) и т. д.

В соответствии с целевым назначением информационно-образовательные ресурсы выделяются как информационные ресурсы, представленные в электронной форме, основной целью которых является обучение, а не просто хранимая в них информация (контент). Исходя из вышесказанного следует, что информационно-образовательный ресурс должен обладать рядом свойств (качеств), для того чтобы он имел способность к использованию в обучении: научностьобъективность — степень повышения достоверных знанийполнота, качество и достаточность для реализации учебной дисциплины (учебного элемента учебной дисциплины) — достоверностьадекватность — степень соответствия реальному объективному состоянию делдоступность — мера возможности получить информациюактуальность — степень соответствия информации текущему моменту времени. В большей степени эти характеристики относятся к содержанию ИОР, т. е. к его контенту.

С другой1 стороны, ИОР представляет собой программную систему, которая представляет собой продукт, качество которого может быть определено согласно соответствующим международным стандартам ИСО 9000, 9001, 9002 и 9003 (редакция 2000 года), которые содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла.

Предметом исследования диссертационной работы являются модели и методы оценки ИОР на различных стадиях жизненного цикла.

Вопросы оценки эффективности электронного обучения и качества информационно-образовательных ресурсов рассматривались в исследованиях В. П. Тихомирова, Ю. Ф. Тельнова, Нежуриной М. И. и других.

Целью диссертационного исследования является разработка моделей, методов и программных средств для оценки информационно-образовательных ресурсов на базе методологии 1Т1Ь1Т8М в целях улучшения эффективности управления информационно-образовательными ресурсами и повышения их уровня качества.

Достижение поставленной цели исследования определяет необходимость решения следующих задач:

1. Исследовать современные методы и средства оценки качества информационных систем, позволяющие определить специфику информационно-образовательных ресурсов, провести анализ существующих методов оценки;

2. Разработать модель управления качеством информационно-образовательных ресурсов на всех этапах жизненного цикла;

3. Разработать комплексную иерархическую многоуровневой систему оценки качества информационно-образовательных ресурсовучитывающую как информационные свойства, так и целевое назначение ресурсов;

4. Осуществить математическое и алгоритмическое обоснование решения задачи управления качеством информационно-образовательных ресурсов;

5. Разработать информационную систему для оценки качества информационно-образовательных ресурсов;

6. Экспериментально проверить разработанные модели, методы и программные средства на процессах проектирования и разработки ИОР.

Теоретическую и методологическую основу исследования составили работы отечественных и зарубежных ученых и специалистов в области управления электронными образовательными ресурсами, оценки эффективности и качества обучения: С. Г. Григорьева, М. В. Булгакова, Е. Г. Гридиной, А. Д. Иванникова, В. А. Старых, А. Н. Тихонова, В. В. Липаева, А. И. Гусевой, А. И. Башмакова, Галкиной А. И., Соловова A.B., К. Г. Кречетникова, А.З. Бабин-ского, A.A. Букатова, В. А. Шапиро, О. В. Шаройко, К. Г. Скрипкина, Т. Саати и других. В исследовании использовались материалы, включенные в международные, государственные и отраслевые стандарты.

Научная новизна исследования состоит в следующем: систематизированы наборы функциональных требований уровней специализированного качества ИОР и проведено обобщение требований методологии ITIL/ITSM по описанию информационных систем через набор информационных сервисов и свойств информационных ресурсов, созданных по методологии SCORMвыделены наборы общих и специализированных свойства исследуемых объектов, что позволило впервые интегрировать две сущности ИОР — информационную и специализированную по области примененияразработаны модели управления качеством на всех этапах жизненного цикла ИОР для повышения их качества и эффективности и комплексная модель оценки качества для информационно-образовательных ресурсов, которая позволяет оценивать ИОР различного уровня, сложности и предназначенияадаптирован метод анализа иерархических сетей и разработаны алгоритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и ИОР как объектами инновационной инфраструктуры в соответствии с Постановлением правительства РФ 9 апреля 2010 г. № 219- разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество ИОР на всех этапах жизненного циклавпервые проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

Практическая значимость заключается в разработанной и внедренной модели управления качеством ИОР, а так же программном средстве, позволяющем оценивать качество ИОР различного уровня. Данные результаты диссертационной работы позволяют вовлечь в процесс управления качеством ИОР всех участников образовательного процесса.

Разработана и внедрена информационная система для оценки ИОР любой сложности и любого назначения — Программа для ЭВМ «Система оценки информационно-образовательных ресурсов» (Свидетельство о регистрации программы для ЭВМ № 2 010 616 101 от 16.09.2010).

Разработанная модель и программные средства были использованы:

При проектировании и разработке 12 электронных обучающих курсов и 3 программных тренажеров в рамках выполнения работ по проекту АВЦП «Развитие научного потенциала высшей школы (2009;2010 годы)». Использование научных и практических результатов Гаврилова.

С.И. позволило значительно снизить сроки разработки указанных ИОР и гарантировать требуемое качество, что подтверждено соответствующим актом о внедрении. Все указанные информационно-образовательные ресурсы в настоящее время внедрены в учебный процесс НИЯУ МИФИ, по ним прошли обучение более 2000 учащихся и слушателей.

При проектировании системы поддержки научно-исследовательской деятельности в рамках работ по проекту ФЦП «Научные и научно-педагогические кадры инновационной России (2009;2013 гг.)», что подтверждено соответствующим актом об использовании. В настоящее время система поддержки научно-исследовательской деятельности готовится к вводу в опытную эксплуатацию.

При проектировании электронных обучающих курсов «Дискретная математика» и «Информатика» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.), предназначенных для электронного и дистанционного обучения на основе унифицированных информационных ресурсов в рамках единого образовательного пространства НИЯУ МИФИ.

При комплексной оценке учебно-методологического и научно-методического обеспечения в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы». Рассмотренные ИОР предназначены для развития инновационной инфраструктуры образовательных учреждений.

Достоверность работы. Научные положения и выводы, полученные в диссертационной работе Гаврилова С. И. являются достоверными и обоснованными, что подтверждается проведенными в работе экспериментальными и теоретическими исследованиями, сравнительным анализом результатов с общеизвестными исследованиями, сравнительным анализом полученных результатов с другими моделями оценки качества, соответствующими актами о внедрении, представлением основных результатов диссертации на международных конференциях и выставках.

Апробация работы. Основные результаты диссертационного исследования докладывались и обсуждались на международных и всероссийских конференциях и семинарах, в том числе:

— Научные сессии МИФИ 2007;2011 гг.;

ХУП-Х1Х Международные научно-технические семинары «Современные технологии в задачах управления, автоматизации и обработки информации» (г. Алушта, 2008;2010 гг.);

Международные конференции-выставки «Информационные технологии в образовании» 2009;2010 гг.

Разработанное программное приложение для оценки качество ИОР и программные тренажеры экспонировалось на XIII выставке научно-технических работ «НАУКА И ИННОВАЦИИ НИЯУ МИФИ» (2011 г-).

Публикации. По теме диссертационного исследования опубликовано 15 научно-практических работ, 3 из которых опубликованы в журналах из числа включенных ВАК в перечень ведущих рецензируемых научных журналов и изданий.

Структура работы. Диссертация состоит из введения, четырех глав, заключения, перечня использованной литературы, приложений.

4.6. Выводы по 4 главе.

С помощью разработанной информационной системы оценки качества «ИОР (свидетельство о регистрации программы для ЭВМ № 2 010 611 485 о 2 010 616 101 от 16.09.2010) было проведено: ?

1) Проектирование и сформированы функциональные требования для 12 электронных обучающих курсов и 3 программных тренажеров в рамках проекта № 3.2.3/6542 АВЦП «Развитие научного потенциала высшей школы (2009;2010 годы)».

2) Проектирование и разработка электронных обучающих курсов «Информатика. Части 1−4» и «Дискретная математика. Части 1−3» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.).

3) Работа в рамках проекта по ФЦП «Научные и научно-педагогические кадры инновационной России (2009;2013 гг.)» в части разработки моделей информационных сервисов по методологии 1Т1Ь/1Т8М системы поддержки научно-исследовательской деятельности, что подтверждено соответствующим актом об использовании.

Среди основных результатов работы можно выделить следующие.

1. Систематизированы наборы функциональных требований уровней специализированного качества ИОР и проведено обобщение требований методологии ГПЬЛТЗМ по описанию информационных систем через набор информационных сервисов и свойств информационных ресурсов, созданных по методологии 8СОКМвыделены наборы общих и специализированных свойства исследуемых объектов, что позволило впервые интегрировать две сущности ИОР — информационную и специализированную по области применения.

2. Разработаны модели управления качеством на всех этапах жизненного цикла ИОР для повышения. их качества и эффективности и комплексная модель оценки качества для информационно-образовательных ресурсов, которая позволяет оценивать ИОР различного уровня, сложности и предназначения.

3. Адаптирован метод анализа иерархических сетей и разработаны алгог, ритмы для решения задачи управления качеством следующих информационно-образовательных ресурсов: информационно-образовательных порталов, программных тренажеров и электронных обучающих курсов в формате БСОИМ, а так же ИОР как объектами инновационной инфраструктуры в соответствии с Постановлением правительства РФ 9 апреля 2010 г. № 219.

4. Разработано программное приложение на базе предложенных моделей, позволяющее оценивать качество на-всех этапах жизненного цикла ИОР.

5. Впервые проведена комплексная оценка ИОР как объектов инновационной инфраструктуры в рамках реализации программы «Формирование в НИЯУ МИФИ инновационной среды, обеспечивающей коммерциализацию результатов НИОКР во взаимодействии с промышленными предприятиями в рамках перехода на новые технологические платформы».

6. С помощью разработанной программной реализации системы оценки качества ИОР (свидетельство о регистрации программы для ЭВМ № 2 010 611 485 о 2 010 616 101 от 16.09.2010) было проведено проектирование и сформированы функциональные требования для 12 электронных обучающих курсов и 3 программных тренажеров в рамках проекта № 3.2.3/6542 АВЦП «Развитие научного потенциала высшей школы (2009;2010 годы)».

7. С помощью программной реализации системы оценки качества ИОР были проведены проектирование и разработка электронных обучающих курсов «Информатика. Части 1−4» и «Дискретная математика. Части 1−3» в рамках Программы создания и развития НИЯУ МИФИ (2010 г.).

8. Предложенная модель управления качеством использована при выполнении работ в рамках проекта по ФЦП «Научные и научно-педагогические кадры инновационной России (2009;2013 гг.)» в части разработки моделей информационных сервисов по методологии 1Т1Ь/1Т8М ДЛЯ системы поддержки научно-исследовательской деятельности, что подтверждено соответствующим актом об использовании.

1.Г. Г. Азгальдов. Теория и практика оценки качества товаров (основы квалиметрии). — М.: Экономика, 1982. 256с.

2. Ю. Н. Андрианов, А. И. Субетто. Квалиметрия в приборостроении и машиностроении. JL, 1990. — 221с.

3. ГОСТ Р ИСО 9000−2001 — «Система менеджмеента качества. Основные положения и словарь».

4. JIS/TR Q 0005:2005 —Руководящие указания по устойчивому развитию.

Quality management systems — Guidelines for sustainable growth)[3/l].

5. П.Сенге. Построение обучающей организации. Вестник Санкт-Петербургского университета, 2004, № 1. 3/2] С.113−134.

6. А. И. Субетто. Квалиметрия. Эффективность как мера качества систем и процессов. JL,.: ВИКИ им. А. Ф. Можайского, 1979 — 1986.

7. Н. В. Акинфиева. Квалиметрический инструментарий педагогических исследований. Педагогика. № 4.1998 г. — С. 30−35.

8. О. В. Рогозин. Выбор инструментальных средств анализа качественных характеристик программного обеспечения в области образования как объекта инвестиций. Открытое образование № 3 2009г. С.48−63.

9. Т. Саати. «Принятие решений. Метод анализа иерархий». М.: Радио и связь, 1993.-278с.

10.Федеральный закон от 27.07.2006 № 149-ФЗ «Об информации, информатизации и защите информации» .

11.ГНИИ ИТТ «Информика» [Электронный ресурс], — Режим доступа: http://www.informika.ru/, свободный.

12.Г. С. Сиговцев, М. А. Чарута, А. А. Ковалевский. О СРАВНИТЕЛЬНОЙ ОЦЕНКЕ ЦИФРОВЫХ ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ. Труды XIV Всероссийской научно-методической конференции Телематика'2007 (18−21.06.2007, г. Санкт-Петербург). 2007. Т. 1. С. 188 190.

13.ГОСТ 7.60 90 Система стандартов по информации, библиотечному и издательскому делу. ИЗДАНИЯ. ОСНОВНЫЕ ВИДЫ. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ.

14.А.И Гусева. Модель оценки качества распределенных обучающих систем // Информатика и образование, № 2, 2003, с. 64−80.

15.Блог живое обучение [Электронный ресурс], — Режим доступа: http://www.elearningtime.blogspot.com, свободный.

16.Горбатов В. А. Фундаментальные основы дискретной математики. М.: Наука, 1999.

17.Гусева А. И., Сидоренко Е. В. Тихомирова А.Н. Моделирование процесса принятия решений с использованием характеризационного управления // Программные продукты и системы, 2010, № 1. — С. 131−135.Я.

18.Гусева А. И., Гаврилов С. И., Тихомирова А. Н. Модель управления качеством информационно-образовательных ресурсов // Программные ч продукты и системы, 2010, № 1. — С. 146−149.

19.А. З. Бабинский, A.A. Букатов, В. А. Шапиро. О-В. Шаройко. Определение базовых сервисов, разработка методики наполнения и методов реализации образовательных порталов / Сб. научн. ст. «Интернет-порталы: содержание и технологии». Вып. 1. ГНИИ ИТТ «Информи-ка». — М.: Просвещение, 2003. — С. 329−364.

20.А. Ю. Афонин. Принципы создания информационно — образовательных сайтов для ОДО. Университетское управление. 2000. № 1(12). С. 5860.

21.И. Е. Вострокнутов. Автореферат по специальности 13.00.02. Теория и технология разработки программных средств образовательного назначения.

22.Ю. Д. Корольков. Сводная оценка качества компьютерных обучающих систем // Новые информационные технологии в университетском образовании: Материалы Междунар. науч.-метод. конф. — Новосибирск: НИИМИООНГУ, 1996. 14−15.

23. В. М Милова. Автореферат по специальности 05.13.10.Разработка экс-пертно-аналитического метода оценки качества образовательных систем.

24.П. Н. Воробкалов. Автореферат по специальности 05.13.10.Управление качеством электронных обучающих систем.

25.Н. А. Котлярова. Автореферат по специальности 08.00.13. Экономико-математические методы и модели оценки потребительского качества информационных систем и технологий в образовательном процессе.

26.В. Г. Домрачев, О. М. Полищук, И. В. Ретинская. О новом методе оценки качества электронных учебников. Телематика 2005. Труды Всероссийской научно-методической конференции С-пб, 2005, стр. 276−277.

27.Бабешко В. Н., Нежурина М. И. Система оценки качества программных комплексов для дистанционного обучения М.: ЦДО МИЭМЕвропейI ский центр по качеству, 2004. — 178 с.

28.В. В. Вихман. Автореферат по специальности 13.00.01. Оценка и анализ эффективности применения информационных технологии-в^ образовании. Новосибирск, 2004.

29.Т. С. Яшина. Автореферат по специальности 13.00.01. Оценка качества образовательных веб-сайтов как фактор развития единого информационного образовательного пространства.

30.А. Г. Гагарин. Анализ качества программного обеспечения методом анализа иерархий: проблема учета влияния находящихся на границах области допустимых значений оценок при большом количестве критериев и альтернатив. Аудит и финансовый анализ № 2,2010 г. — С. 446 445.

31.А. И. Долженко. Автореферат по специальности 08.00.13. Нечеткие методы и модели оценки потребительского качества вебориентированных информационных систем: теория, методология и струментарий.

32.Липаев В. «Качество программного обеспечения», М.: Финансы и Статистика, 1983 год.

33.ГОСТ Р ИСО/МЭК 12 207−2001 — «Информационная технология. Процессы жизненного цикла программных средств».

34.Т. Саати. «Принятие решений при зависимостях и обратных связях. Аналитические сети» [Текст] // Пер. с англ.- М.: Книжный дом «Либроком». — 2009. — 360 с.

35.ISO 9126 (ГОСТ Р ИСО / МЭК 9126−93) — «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению».

36.Ивлев В. А. и Попова Т. В. Что такое функционально-стоимостной анализ процессов и систем. (В сборнике «TQM-XXI. Проблемы, опыт, перспективы». Вып. 4. — М.: ИздАТ, 2000 — С. 169 — 188). #.

37.Тихомиров В. П. Качественное образование для всех как основа формирования общества знаний // Информационное общество, 2005, вып.4С. 6−10. t: '?/.

38.Рейли Р., Швайс Р. Оценка нематериальных активов / Р. Рейли, Р.Швайс. М.: ИД Квинто-Консалтинг, 2005.

39.Менеджмент систем качества: Учебное пособие / М. Г. Круглов, С. М. Сергеев, В. А. Такташов и др. — М.: ИПК Изд-во стандартов, 1997. —368 с.

40.Михайлова Е. А. Основы бенчмаркинга: эволюция концепций качества // Менеджмент в России и за рубежом, № 2/2001. С.126−133.

41.ITIL Infrastructure Library. Электронный ресурс. Режим доступа: http://www.itil-officialsite.com/home/home.asp.

42.Сейед Тахакхогхи, Хью Е. Вильямс «Руководство по MySQL» /Пер. с англ. — М. «Русская Редакция" — 2007. — 544 с.

43.Золотухина Е. Б. «Основы бизнес-моделирования». МИФИ, 2005. — 89с.

44.Д.В Котеров. А. Ф Костарев «РНР5» .Спб.: БХВ-Петербург, 2010. 1104с.

45.А. Матросов, А. Сергеев, М. Чаунин «HTML 4.0». Спб.: БХВ-Петербург, 2008. 672с.

46.В. Мержевич «HTML и CSS на примерах». Спб.: БХВ-Петербург, 2005. 448с.

47.Елиферов В. Г., Репин В. В. «Бизнес-процессы: Регламентация и управление» М.: Инфра-М, 2004 — 319 е.;

48."ITIL: поддержка услуг", TSO, 2005 — 395 е.;

49.ITIL® V3 Glossary Russian Translation v0.92, 30 Apr 2009 fhttp://www.itsmforum.ru/ZAM-test) — доступ свободный.

50.В.Притуленко «Управление ИТ-службами на основе ITIL», Корпоративные системы- № 5, 2004.

51.Экономика знаний / В. В. Глухов, С. Б. Коробко, Т. В. Маринина. СПб.: Питер, 2003. 528 с.

52.Davenport Т., Prusak L. Working knowledge. Harvard Business School Press, 1998.

53.Rosenberg M.J. Beyond e-learning: approaches and technologies to enhance organizational knowledge, learning, and performance. John Wiley & Sons: 2006. 402 c.

54.Гусева А. И., Киреев C.B., Тихомирова A.H., Филиппов С. А., Цыганов А. А. Программа учебной дисциплины «Информационные технологии в экономике и управлении: Информационное пространство преподавателя высшей школы» // М.:МИФИ, 2007 — 16с.

55.Advanced Distributed Learning (ADL), Sharable Content Object Reference Model (SCORM®) 2004 2nd Edition Overview, 2004.

56.Alliance of Remote Instructional Authoring and Distribution Networks of Europe, 2000 (ARIADNE) //www.aldnet.org.

57.IMS — Instructional Management Standards //www.imsproject.org.

58.Aviation Industry CBT Committee, 2007 (AICC) //www.aldnet.org.

59.Газета «ПОИСК» № 19 — 20, 2008.

60.IEEE P1484.1/D9-pre, 2001;11−15 Draft Standard for Learning Technology — Learning Technology Systems Architecture (LTSA)//www.aldnet.org.

61.Courtney J., Haynes J., Paradice D. Inquiring organizations: moving from knowledge management to wisdom. Idea Group Inc., 2005. 398 c.

62.Encyclopedia of communities of practice in information and knowledge management / edited by Coakes E., Clarke S. Idea Group Inc., 2006. 631 c.

63.Норенков И. П. Основы автоматизированного проектирования: Учеб. для вузов. 2-е изд., перераб. и доп. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2002. — 336 с.

64.ISO 15 836:2009 Information and documentation — The Dublin Core metadata element set.

65.Горбатов B.A. Фундаментальные основы дискретной математики. M!: Наука. Физматлит, 1999. 544 с.

66.Репин В. В., Елиферов В. Г. Процессный подход к управлению. Моделирование бизнес-процессов. — М.: РИА «Стандарты и качество», 2008. —408 с.

67.Гусева А. И. Характеризационное управление при синтезе распределенных систем // Информационные коммуникации, сети, системы и технологии: матер. Всемир. конгр. ITS-93. М.: Междунар. акад. информатизации, 1993. С. 65—70.

68.0.М. Полещук, К. К. Рыбников. Модели анализа тестирования в образовательном процессе.

69.http://ofemio.ru/portal/modules/news/ - доступ свободный.

70.http://dlc.miem.edu.ru/ - доступ свободный.

71.Кларин М. В. Корпоративный тренинг от, А до Я, М., «Дело», 2002 г., с. 159.

72.Гаврилов С. И., Гусева А. И. Оценка эффективности информационной системы на этапе внедрения на основе методологии IT1L/ITSM // Информационная математика № 1(6), 2007, 74−80.

73.Гаврилов С. И. Проектирование и разработка программного средства для оценки качества информационно-образовательного ресурса. Научная сессия НИЯУ МИФИ-2011. XIV Московская международная телекоммуникационная конференция студентов и молодых ученых «МОЛОДЕЖЬ И НАУКА». В 3 частях. Ч. 3. М.: НИЯУ МИФИ, 2010, 111 112.

74.Гаврилов С. И. Построение системы оценки качества информационно-образовательного ресурса // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIX Международного научно-технического семинара. Алушта, 2010 г. — Издательский дом МЭИ, 2010. стр. 124−125.

75.Постановление от 9 апреля 2010 г. № 219 «О государственной поддержке развития инновационной инфраструктуры в федеральных образовательных учреждениях высшего профессионального образования».

76.Гридина Е. Г., Иванников А. Д., Булгаков М. В., Чиннова И. И., Сигалов A.B. Система федеральных образовательных порталов: 3 года в Internet // открытое образование. 2005. № 1. С. 35−54.

77.Замков О. О., Толстопятенко A.B., Черемных Ю. Н. // Математические методы в экономике: Учебник/ Под общ.ред. д.э.н., проф. А.В.СидоровичаМГУ им. М. В. Ломоносова. — 3-е изд., перераб., — М.: Издательство «Дело и Сервис», 2001. — 368 с.

78.Салтыков С. А. Экспериментальное сопоставление методов взвешенной суммы, теории полезности и теории важности критериев для решения многокритериальных задач с балльными критериями. // Журнал «Управление большими системами», № 29 (14), 2010. — с. 16−41.

79.Иванников А. Д., Булгаков М. В., Гридина Е. Г., Булакина М. Б., Сигалов A.B. Создание и перспективы развития ИС «Единое окно доступа к ресурсам образовательных порталов» // Открытое образование. 2006. № 4. С. 15−21.

80.Чиннова И. И. Жизненный цикл цифровых образовательных ресурсов единой коллекции // Информационные ресурсы России. 2009. № 3. С. 18−20.

81.Попов, А. Э. Опыт применения системы поддержки e-learning в ДПО [Текст] / А. Э. Попов // Высшее образование в России. — 2008. — № 7. С.53−56.

Наблюдение.

Анализ.

Внедрение j Сбор информации разработка мероприятий улучшению качества.

Рисунок 1.1. Цикл Деминга (PDCA).

Ниже представлена более подробная реализ ация сп иральной модели ЖЦ в контексте управления качеством ИОР [74] (Рис. 1.2).

Внедрение в образовательную программу.

Конец.

Реализация и I тестирование SCORM-пакета Л.

Внедрение в образовательную V программу у.

Реализация и тестирование | SCO RM-пакета /.

Анализ.

Начало.

Проектирование SCORM-пакета W.

Проектирование SCORM — пакета W.

Конец.

А требований к П SCORM — пакету J Анализ [ требований к I SCORM — пакету.

Рисунок 1.2. Спиральная модель жизненного цикла z/.

Процесс управления качеством не может быть реализован без столь важного элемента, которым является необходимость принятия решений. Принятие решения обусловлено проблемой, которую следует решить, выполняя определенный порядок действий. Задание этого порядка и его содержания является непосредственной задачей лица принимающего решения (далее — ЛПР).

ЛПР' находится внутри заданной системы, которая определяется текущим состоянием. На основе определенного порядка, запускается механизм решения какой-либо проблемы, то есть принятое решение определяет стратегию дальнейших действий, а также ресурсы для ее реализации [16].

При этом задачей ЛПР является выбор той стратегии поведения, которая при минимальных затратах ресурсов приведет к реализации заранее заданной цели, то есть обеспечит переход системы из текущего состояния в желаемое.

Используя принцип семантического эквивалентирования из характеризационного управления, жизненный цикл ИОР можно описать как [17]: н = < то, ?1, Т2, тз, рооет, ?]>, где-ТО, Т1, Т2, ТЗ— модели этапов жизненного цикла, а Р0(Т1, Т]) -предикат функциональной целостности, отражающий правомерность перехода между ними. На каждом этапе жизненного цикла модель Т1 = <1УП, распределенной обучающей системы отражает необходимость нашего представление о ней. Использование методологии управления качеством ИОР приводит к необходимости эквивалентировать систему Е новой системой Е" ', Е" ' = < Т «» О, Т1, Тл2, Т" 3, Р" 0(Т'1, Чг'})>, где Т’Т = Носитель М1 расширяется за счет включения множества показателей качества К и множества контрольных точек Ъ, а сигнатура 81 изменяется за счет добавления:

— предиката Р1, отражающего соответствие между показателями качества 1а и контрольными точками г], в которых они измеряются;

— предиката Р2, который определяет, удовлетворяют ли значения показателей качества требуемому значению в данной контрольной точке или нет;

— множества функций Б для измерения нужных показателей качества в нужных точках,.

— множества функциональных отношений Я, отражающего переход к следующей контрольной точке и множество корректирующих и идентифицирующих нотаций N.

Применение методологии управления качеством ИОР приводит к экви-валентированию системы Е новой системой Е" ', содержащей контур управления качеством (Рис. 1.З.). Таким образом, встает задача построения модели, позволяющей реализовать принцип сопровождения ИОР посредством реализации контура управления информационно-образовательным ресурсом.

— старая система.

Е «- новая система, содержащая все составляющие старой.

Рисунок 1.3. Контур управления качеством.

Следовательно, основа построения контура управления качеством ИОР базируется на реализации пщнщпавхарактеризационного управления [65].

Использование принципа характеризационного управления позволяет рассмотреть задачу, с которой связана необходимость принятия решений, с.

29 различных позиций. Такой подход обеспечивает продуманность и объективность принятого решения[67]. Рассмотрение проблемы изнутри помогает понять все механизмы и взаимосвязи в системе, в которой принимается решение, а также способствует пониманию степени сложности реализации той или иной стратегии поведения [18].

Рассмотрение системы с позиции модели черного ящика дает возможность оценить объем и характер ресурсов, которые будут использованы для достижения требуемого результата, а также эффект, получаемый после реализации принятого решения.

На практике, объем ИР, используемых при решении ПС, увеличивается в зависимости от сложности принятия решений. Для типовых ПС процесс принятия решений может быть автоматизирован при достаточном уровне базовых данных, информации, знаний о проблемной ситуации и минимальной потребности в привлечении дополнительных ИР. С ростом воздействия внешних факторов на проблемную ситуацию повышается объем необходимых дополнительных ИР [51- 52- 53].

Разработка соответствующей информационной системы позволит организации принимать эффективные решения в условиях быстро меняющейся экономической ситуации.

1.6 Модели и методы анализа оценки качества ИОР.

Проведенный анализ исследований посвященных оценке качества образовательных систем выявил недостаточность внимания к указанной проблеме по оценке качества ИОР.

Основной объем исследований в этой области направлен на решение проблем оценки качества самостоятельных видов ИОР: отдельно образовательных порталов [19, 20], отдельно обучающих программных средств [21] и др. В тоже время практически отсутствует комплексная система оценки качества образовательных ресурсов.

Однако для полноценного обеспечения образовательного процесса требуется наличие не одного вида ИОР в обучающей системе. Таким образом, возникает необходимость применения соответствующего метода оценки качества для каждого вида образовательного ресурса, что крайне неудобно в рамках одной системы. Такой метод не дает возможности стандартизации качества образовательных ресурсов хотя бы в рамках одной организации. Например, исследования по оценке качества обучающих программных средств [22] не предоставляют всего набора необходимых показателей, которые присущи различным типам ИОР, что затрудняет определение качественной характеристики.

Общая методика анализа качества обучающих систем складывается из следующих этапов (работы В. М. Милова [23], П. Н Воробкалова [24], H.A. Котлярова [25], В. Г. Домрачева, О. М. Полещука [68], И. В. Ретинской [26]):

1) Выбор показателей.

Обратимся к анализу существующих исследований на предмет выбора и агрегирования показателей для построения модели. Набор показателей качества ИОР, как правило, подлежит разбиению на два непересекающихся множества, одно из которых определяет конструктивные особенности ИОР (Ю.Д. Корольков, В. Н. Бабешко, М. И. Нежурина [27]). Другое представлено его функциональными особенностями (М.И. Нежурина, М.В. Кузнецова). Также в некоторых исследованиях предлагается дополнительное разбиение функциональных требований на два подмножества методическая обоснованность и психолого-эргономические аспекты (В.В. Вихман [28]). Однако такое разбиение не позволяет решить задачу по оценке качества различных видов ИОР, в отличие от системы двух иерархий.

2) Проведение опроса экспертов.

Для проведения опроса экспертов используются следующие методы:

Метод Делфи (H.A. Котлярова, Т. С. Яшина [29]) — находит наиболее широкое применение.

Недостатком этого метода является необходимость проведения процесса анкетирования с повторениями, также прослеживается тенденция зависимости мнения участников от других участников опроса, во избежание этого подбор экспертов должен строиться на выборе независимых высококомпетентных экспертов, что не всегда легко осуществить.

Другой широко распространенный метод экспертного опроса — метод парных сравнений МАИ (М.А. Чарута, В. М. Милова, В. Н. Бабешко, М. И. Нежурина, А. Г. Гагарин [30], П. Н Воробкалов).

Среди факторов, влияющих на получение качественных оценок, которые бы отвечали реальному состоянию системы, принципиальное значение имеет выбор экспертных групп. Поэтому этому этапу создания модели оценки качества следует уделить определенное внимание. В исследованиях по данной тематике, как правило, подразумевается всего одна категория экспертов, а именно — преподаватели. (Г.С. Сиговцев, М. А. Чарута, A.A. Ковалевский).

Но главный принцип СМК говорит об ориентированности на потребителя — кто, как не потребитель, лучше оценит достоинства и недостатки используемых им ИОР. В связи с тем, что система не ограничена одной категорией пользователей, а расширяется вместе с изменением УСК, использование одной категории не отвечает допустимому уровню приемлемости.

Дальнейшие этапы реализации оценки целиком зависят от объекта оценки. Так, широкое применение в качестве метода для оценки образовательных систем находит теория нечетких множеств [31], предоставляющая возможность удобного объединения как качественных, так и количественных характеристик объекта. Также применяются модели, построенные на основе сетей Петри, как наиболее оптимально характеризующие принципы построения адаптивных систем обучения. Но данные методы не представляют таких преимуществ в условиях реализации оценки ИОР, как: а. Комплексность оценки ИОР, как информационной системы и педагогических свойств b. такие важные свойства, определяемые 8ССЖМ — повторная используемость и т. д. c. Необходимые сервисы по 1Т1Ь (свойства информационных систем).

1.7 Информационная система для оценки качества ИОР.

Завершающим этапом формирования представления о поставленной задаче является рассмотрение программной реализации методов оценки ИОР.

Модели программных средств по оценке качества ИОР позиционирует себя в первую очередь как системы открытого типа (Рис. 1.4). Поэтому одной из основных задач, решаемых данной системой, должна быть реализация процесса взаимодействия с пользователем. В связи с этим важной задачей стоит решение следующих проблем:

— необходимость удаленного опроса экспертной группы ставит задачу по созданию информационной системы, которая бы позволяло осуществлять постоянный мониторинг экспертного мнения;

— для удобства пользователей, а также для создания условий, которые позволят наиболее достоверно провести экспертный опрос, возникает задача о проведении такого опроса сразу после ознакомления с ИОР. и=ЭД=ЕФ (КШ=1,п.

Общая информационная обучающая система.

Рис 1.4. Модель программного средства, представленная в контексте обучающей системы.

Информационная система, реализуемая на основании приведенной модели, п озволяет проводить многоаспектный качественный анализ объекта. Это дает возможность выходные данные направить не только на получение рекомендаций по улучшению качества ИОР, но также при условии использования с другими автоматизированными системами, использовать их, как входные данные. Например, для CRM систем.

В условия правильного функционирования как элемента общей образовательной системы ее использование позволяет ощутить оказываемый синерге-тический эффект от внедрения модели. Поэтому важным является построение системы, имеющей возможность взаимодействия с другими обучающими системами, или способность к легкой реализации такой задачи.

В таблице 1.1 представлены разработки программных средств по оценке качества, как процесса обучения, так и обучающих ресурсов [69, 70].