Автоматическое построение моделей

Автоматическое построение моделей, но экспериментальным данным призвано помочь исследователям находить аналитические законы, которые лежат в основе физических явлений в природе. Однако, несмотря на рост мощности компьютерных средств, процесс автоматического нахождения естественных законов и соответствующих им уравнений до сих пор «сопротивляется» автоматизации.

Существует множество методов для моделирования научных данных. Некоторые из них используют параметрические модели с фиксированной формой, выведенные из экспертных знаний, а другие используют численные модели (такие как нейронные сети), нацеленные на прогнозирование. В общем случае эти методы должны синтезировать аналитическое выражение, которое содержит в символьном виде точные отношения входных и выходных переменных, что позволяет автоматически перерабатывать данные в научные знания.

В основе многих подходов к структурному или параметрическому синтезу новых зависимостей и знаний лежат биологически инспирированные поисковые процедуры оптимизации. Среди известных в этой области поисковых методов решения оптимизационных задач наиболее эффективными считаются методы на основе эволюционных алгоритмов [16].

Эволюционная теория развития биологических систем начала широко использоваться для синтеза или обучения технических систем в 1980;е гг., когда был разработан аппарат эволюционного поиска, названный генетическим алгоритмом (ГЛ). В нем используются формализованные процедуры генерации популяций, селекции, кроссовера, мутации, построенные по аналогии с соответствующими биологическими процессами эволюции хромосом, генов и генома. ГА позволяет подбирать не только параметры системы, но и структуру. Набор продукционных правил базы знаний системы может быть оптимизирован в процессе работы генетического алгоритма, исходя из некоторого случайно выбранного набора этих правил (начальной генерации) и критерия соответствия набора решаемой задаче. Этот подход подробно рассмотрен в параграфе 4.2.

Еще большие возможности имеют методы генетического программирования, которые позволяют работать с информацией в форме генома, отображаемого, например, в виде графа. Заметим, что традиционный генетический алгоритм может работать с информацией в форме линейных хромосом. Генетическое программирование может быть эффективным методом решения задачи построения моделей в виде многомерных зависимостей на основе обработки наборов полученных экспериментальных данных. Этот подход основан на последних работах в области символьной регрессии, которая принципиально отличается от традиционной регрессии [11].

Символьная регрессия основана на использовании генетического программирования для поиска пространства математических выражений путем минимизации различных метрик ошибок. Подобно традиционным линейным и нелинейным методам регрессии, где подгоняются параметры уравнения заданной формы, символьная регрессия ищет и параметры, и форму уравнений одновременно. Начальные выражения формируются случайной комбинацией математических «строительных блоков», таких как алгебраические операции {+, -, /, •}, аналитические функции (например, синус и косинус), константы и переменные состояния. Новые уравнения формируются путем рекомбинации предыдущих уравнений и вероятностного изменения их подвыражений. Система должна сохранять в памяти уравнения, которые моделируют экспериментальные данные лучше, чем остальные, и отбрасывать малообещающие решения. После того, как уравнения достигнут необходимого уровня точности, процесс завершается, возвращая набор уравнений, которые наиболее хорошо соответствуют внутренним механизмам, лежащим в основе наблюдаемых систем.

Задачей исследователя является не моделирование определенного сигнала, а обнаружение любого лежащего в основе экспериментальных данных физического закона, которому система подчиняется, который может быть, а может и не быть постоянным (например, лагранжиан). Специфичность проблемы требует избегать тривиальных или бессмысленных соотношений. Нахождение нетривиальных соотношений является главной задачей, даже для ученых: многие опубликованные алгебраические постоянные оказались случайными. Ключевое понимание в нахождении нетривиальных законов состоит в том, что уравнения-кандидаты должны предсказывать связи и динамику компонентов системы. Более того, уравнение должно предсказывать связь между производными групп переменных во времени — отношений, которые можно вычислить из новых экспериментальных данных. Для автоматического решения этих задач требуются соответствующие метрики.

Один из видов такой метрики — частные производные между парами переменных. Например, в двумерной системе необходимо измерить переменные x (t) и y (t) во времени. Частные производные системы, взятые? X' Л у у' Аи

из временных данных, будут —~— и — — (где х? и у' представляют.

у' Ау х' Ах

собой производные по времени от х и у). Точно так же, рассматривая уравнение-кандидат f (x, у), можно получить такие же значения путем диф;

У у ференцирования: и -§ 7- = Теперь можно сравнить значения о/ 5у °J_ ох

Ьх &У

Ах Зх

из экспериментальных данных-и значения т¹— из уравнения-кандидата.

Ау 8 у

f (x, у), чтобы оценить, насколько хорошо оно предсказывает внутренние связи в системе. В многомерных системах множественные пары переменных и производные более высоких порядков дают множество критериев, которые нужно использовать. Используя пары частных производных, можно определить новый тип критерия поиска для измерения того, как хорошо аналитическое уравнение-кандидат представляет нетривиальную неизменность в экспериментальных данных.

Важное следствие измерений пар частных производных — то, что можно также найти связи, которые представляют другие нетривиальные тождества системы, вне алгебраических выражений и законов. Например, если система ограничена множеством, уравнение множества может быть также выведено с помощью точных пар частных производных. Точно так же с помощью пар частных производных можно найти уравнения, такие как уравнения Лагранжа, энергетический эквивалент к уравнению движения в классической механике, которые описывают динамику системы, но не являются постоянными.

Имея две оценки частных производных: одна оценка из данных, а другая предсказана уравнением-кандидатом / — можно определить, как хорошо уравнение предсказывает это отношение. Для этого в качестве критерия предсказания можно использовать разницу между значениями, получен;

Ах 8х

ными из экспериментальных данных ——, и значениями производных полученными из уравнения-кандидата/, на всем множестве данных.

Эффективная метрика для представления общей ошибки может иметь такой вид:

Метрика, использующая среднюю логарифмическую ошибку, выбрана по множеству причин. Величина частных производных может расти, когда знаменатель приближается к нулю или пересекает его. Средняя логарифмическая ошибка подавляет эти слагаемые, пока не отбросят их совсем. В случаях, когда знаменатель строго равен нулю, можно отбросить соответствующий образец данных. Условно можно определить отрицательную среднюю логарифмическую ошибку, чтобы найти критерий максимизации.

Процесс поиска аналитических законов в данных, собранных с различных физических систем, с использованием разных множеств переменных системы включает несколько этапов обрабо? пки экспериментальных данных.

• 1. На основе экспериментальных данных вычисляются частные производные между переменными, затем ищутся уравнения, которые могут описать эти данные. Чтобы оценить, как хорошо уравнения описывают данные, берутся такие же символьные частные производные для сравнения с численными производными из данных.
• 2. Символьное уравнение представляется в компьютерной памяти как список последовательности математических операций.
• 3. Этот список представляется соответствующим графом, где узлы — математические «строительные блоки», а листья — параметры и системные переменные. Полученные структуры изменяются с помощью процедур генетического программирования, чтобы найти нужные уравнения.

Символьные уравнения представляются нецикличным графом, который кодирует их как сборный код с плавающей точкой, определяя список операций и значений параметров. Операции могут загружать входящую переменную или значение параметра либо выполнять операции с плавающей точкой на любых предыдущих результатах операции (например, сложение, вычитание, умножение, синус или косинус). Каждая операция представляется лепестком или родительским узлом в нециклическом графе. Корень графа — конечная операция в списке. Может использоваться строчное кодирование уравнения.

Процесс инициализируется случайными уравнениями путем генерации случайного списка операций с плавающей точкой с ограниченным числом операций. Изменения вводятся с использованием точечных мутаций и кроссовера. Точечные мутации могут случайно менять тип операции с плавающей точкой, например заменяя операцию сложения на операцию умножения, или операцию сложения на переменную системы, или случайно меняя константу, связанную с этой операцией, если она есть. Операция кроссовера рекомбинирует два существующих уравнения в форме графов для формирования нового уравнения. Чтобы выполнить кроссовер, можно выбрать случайное место в списке и копировать все операции и значения.

параметров слева от этой точки из первого родителя и оставлять операции и параметры справа из второго родителя.

Пример представления и рекомбинации символьной модели Для удобства и наглядности представления операторов рассматриваемого алгоритма будем использовать представление суперпозиций гладких функций со е ?2,. в виде дерева. В узлах дерева будут функции е G, которые входят в данную суперпозицию со, на каждом конце дерева может располагаться либо один из компонентов вектора независимых переменных .г = (*, …, х_п)^т, либо числовая константа с е R.

Пусть исходное множество гладких функций состоит из элементов G = {sum, mul, sin}, где:

• • sum (x_lt х₂) = х_х + х₂ — функция, возвращающая сумму аргументов;
• • mul (x_lf х₂) = х_хх₂ — функция, возвращающая произведение аргументов;
• • sin (xi) — функция, возвращающая значение синуса аргумента.

Рассмотрим два примера представления в виде дерева элементов множества Q_r

со, (.г), (0₂(х) е ?2:

Представления в виде деревьев у функций а>|(лс) и о)₂(^г) будут выглядеть, как показано на рис. 23.2.

Рис. 23.2. Представления в виде дерева функций со₁(лг) и со₂(^л‘).

со,(дг) со₂(.г) Регрессионная модель/'• ^d(w, х) задается следующим образом: где &^r_d = [со, (я),…, со_г/(я)]^г.

Одна из регрессионных моделей, в данном примере, может иметь вид где Q₂ = [а),(я), со₂(я)]^г, w = [w_Qtw_itw₂]^T.

После подстановки значений функций со,(я) и со₂(я) в модель/⁴— ²(w, я), она примет следующий вид:

Используя предложенный подход, можно автоматически находить физические законы прямо из экспериментально собранных данных. Предлагаемый метод автоматизации исследований был проверен при определении нелинейных законов сохранения энергии, законов силы Ньютона, геометрических выражений без каких-либо наперед заданных знаний о физике, кинематике или геометрии. Аналитические выражения, которые были найдены, поддаются интерпретации человеком и помогают открыть физический смысл наблюдаемых явлений. Существует множество приложений этого метода, начиная от биологических систем до космологии, где существуют теоретические пробелы, несмотря на изобилие данных. Такие программы помогут интерпретировать физический смысл явлений.