Синтез и верификация моделей

Описание решения

В соответствии с методологией АСК-анализа решение поставленной задачи проведем в четыре этапа:

• 1. Преобразование исходных данных из HTML-формата в промежуточные файлы MS Excel.
• 2. Преобразование исходных данных из промежуточных файлов MS Excel в базы данных системы «Эйдос» .
• 3. Синтез и верификация моделей предметной области.
• 4. Применение моделей для решения задач идентификации, прогнозирования и исследования предметной области.

Преобразование исходных данных из HTML-формата в файл исходных данных MS Excel

Из банка исходных данных по задачам искусственного интеллекта — репозитария UCI получаем исходную информацию по базе данных «Solar Flare Data Set «, которую оставим без изменений [5].

• 1. TItle: Solar Flare database
• 2. Source Information
• — Donor: Gary Bradshaw
• — Date: 3/89
• 3. Past Usage:
  • — Gary Bradshaw: (Class Attributes were collapsed to 0 and >0)
  • — See the past-usage file for a note written by Gary Bradshaw
• 4. Relevant Information:
  • — The database contains 3 potential classes, one for the number of times a certain type of solar flare occured in a 24 hour period.
  • — Each instance represents captured features for 1 active region on the sun.
  • — The data are divided into two sections. The second section (flare.data2) has had much more error correction applied to the it, and has consequently been treated as more reliable.
• 5. Number of Instances: flare. data1: 323, flare. data2: 1066
• 6. Number of attributes: 13 (includes 3 class attributes)
• 7. Attribute Information:
• 1. Code for class (modified Zurich class) (A, B, C, D, E, F, H)
• 2. Code for largest spot size (X, R, S, A, H, K)
• 3. Code for spot distribution (X, O, I, C)
• 4. Activity (1 = reduced, 2 = unchanged)
• 5. Evolution (1 = decay, 2 = no growth,
• 3 = growth)
• 6. Previous 24 hour flare activity code (1 = nothing as big as an M1,
• 2 = one M1,
• 3 = more activity than one M1)
• 7. Historically-complex (1 = Yes, 2 = No)
• 8. Did region become historically complex (1 = yes, 2 = no) on this pass across the sun’s disk
• 9. Area (1 = small, 2 = large)
• 10. Area of the largest spot (1 = 5)

From all these predictors three classes of flares are predicted, which are represented in the last three columns.

• 11. C-class flares production by this region Number in the following 24 hours (common flares)
• 12. M-class flares production by this region Number in the following 24 hours (moderate flares)
• 13. X-class flares production by this region Number in the following 24 hours (severe flares)
• 8. Missing values: None
• 9. Class Distribution:

flare.data1:

0 1 2 4 Total.

C-class flares 287 29 7 0 323.

M-class flares 291 24 6 2 323.

X-class flares 316 7 0 0 323.

flare.data2:

0 1 2 3 4 5 6 7 8 Total.

C-class flares 884 112 33 20 9 4 3 0 1 1066.

M-class flares 1030 29 3 2 1 0 1 0 0 1066.

X-class flares 1061 4 1 0 0 0 0 0 0 1066.

Обучающая выборка

На сайте UCI по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/solar-flare/ представлено два набора данных:

• — «flare.data1» по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/solar-flare/flare.data1 (323 записи за период с 02/13/69 по 03/27/69);
• — «flare.data2» по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/solar-flare/flare.data2 (1066 записей за период с 08/19/78 по 12/23/78).

Мы объединим эти данные и обработаем их совместно в одной модели. Фрагмент исходных данных «flare.data1» приведен в таблице 1:

Attribute Information:

• 1. Code for class (modified Zurich class) (A, B, C, D, E, F, H)
• 2. Code for largest spot size (X, R, S, A, H, K)
• 3. Code for spot distribution (X, O, I, C)
• 4. Activity (1 = reduced, 2 = unchanged)
• 5. Evolution (1 = decay, 2 = no growth, 3 = growth)
• 6. Previous 24 hour flare activity code (1 = nothing as big as an M1, 2 = one M1, 3 = more activity than one M1)
• 7. Historically-complex (1 = Yes, 2 = No)
• 8. Did region become historically complex on this pass across the sun’s disk (1 = yes, 2 = no)
• 9. Area (1 = small, 2 = large)
• 10. Area of the largest spot (1: 5)

From all these predictors three classes of flares are predicted, which are represented in the last three columns.

• 11. C-class flares production by this region in the following 24 hours (common flares); Number
• 12. M-class flares production by this region in the following 24 hours (moderate flares); Number
• 13. X-class flares production by this region in the following 24 hours (severe flares); Number

Ниже приведен автоматизированный перевод наименований полей базы исходных данных, т. е. классификационных и описательных шкал и градаций:

Описательная информация:

• 1. Код для класса (модифицированный класс Цюрих) (A, B, C, D, E, F, H).
• 2. Код для наибольшего размера пятна (X, R, S, A, H, K).
• 3. Код для распространения пятна (X, O, I, C).
• 4. Деятельность (1 = уменьшается, 2 = без изменений).
• 5. Эволюция (1 = распад, 2 = нет роста, 3 = рост).
• 6. Предыдущая 24 час вспышка активности код (1 = ничего, как большой, как М1, 2 = Один M1, 3 = больше активности, чем один M1).
• 7. Исторически-комплекс (1 = Да, 2 = Нет).
• 8. Разве региона становятся исторически комплекс на этом проходе по диску Солнца (1 = да, 2 = нет).
• 9. Площадь (1 = малый, 2 = большая).
• 10. Площадь самого большого пятна (1: 5).

На основе всех этих характеристик развития пятна, предшествующих солнечным вспышкам, необходимо спрогнозировать количество и класс солнечных вспышек на ближашие 24 часа (включая и их отсутствие), информация о которых содержится в последних трех столбцах исходных данных:

• 11. Количество вспышек С-класса, произошедших в этой области в течение следующих 24 часов.
• 12. Количество вспышек M-класса, произошедших в этой области в течение следующих 24 часов.
• 13. Количество вспышек X-класса, произошедших в этой области в течение следующих 24 часов.

Таким образом, ясно, что колонки с 1 по 10 содержат описательные шкалы и градации, а с 11 по 13 — классификационные шкалы и градации.

Поскольку ввод исходных данных в систему «Эйдос» планируется осуществить с помощью ее универсального программного интерфейса импорта данных из внешних баз данных, который работает с файлами MS Excel, то преобразуем данные из html-файла в xls-файл, для чего выполним следующие операции.

Рисунок 1. Окно MS Word параметров преобразования текста в таблицу В результате получим таблицу 2:

• 4. В полученной таблице 2:
  • — в самом начале добавим пустую строку, а затем перенесем в нее наименования колонок из файла общего описания задачи «flare.names», расположенного по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/solar-flare/flare.names;
  • — в меню: «Файл — параметры страницы» поменяем ориентацию листа на альбомную;
  • — затем заменим числовые значения в колонках таблицы 2 с 4-й по 10-ю на текстовые из того же файла «flare.names». Для этого выделим блоком необходимую колонку, нажмем Ctrl+H и внесем в появившееся окно информацию о том, что и на что мы меняем, а затем выберем: «Заменить все», но только в выделенном участке текста.

В последующем это улучшит читаемость и наглядность выходных форм, получаемых в системе «Эйдос».

6. Скопируем получившуюся таблицу из MS Word в MS Excel и запишем ее с именем: Inp_data.xls в папку: c: Aidos-XAID_DATAInp_data. В файле Inp_data.xls добавим пустую колонку на позиции «A» и автоматически пронумеруем все строки.

В результате получим таблицу исходных данных, полностью подготовленную для обработки в системе «Эйдос» и записанную в нужную папку в виде файла нужного типа с нужным именем (таблица 3). В этой таблице содержатся данные 1389 наблюдений, поэтому ниже приводится лишь их фрагмент.

Полностью эти исходные данные можно скачать по адресу: