Обучение с учителем и без учителя

Система обучения КС в самом простом представлении состоит из двух компонент (рис. 10.1):

Рис. 10.1. Система обучения КС.

В качестве учителя могут выступать человек и (или) окружающая среда, и (или) искусственная система. Основная задача обучения состоит в поиске закономерности, объединяющей представленное множество данных (фактов, примеров). При этом под закономерностью обычно понимается зависимость между объектами (а_л, а_ъ …, а_},…, а_п) е А, формализуемая в виде отношения R с А х А х А х … х А, где х — знак декартова произведения. В общем случае это отношение имеет вид «-местной функции я, = — f (d «2' **•' •••> ^п)*.

При построении моделей используется две методики (или, как иногда говорят, парадигмы) обучения: с учителем (supervised learning) и без учителя (unsupewised learning).

Обучение с учителем предполагает, что модели предъявляются примеры, состоящие из пар «известный вход — известный выход». Обучение производится на основе заранее определенных (целевых) значений, с которыми сравниваются реальные значения, сформированные моделью на выходе. При этом вычисляется значение выходной ошибки модели, на основе которого по определенному алгоритму обучения рассчитывается коррекция параметров модели (например, весов нейронной сети). Типичным приложением, в котором необходимо обучение с учителем, является классификация, поскольку классы предполагаются заданными заранее. В этом случае целевой переменной будет метка класса.

Обучение без учителя (самообучение) осуществляется в итеративном режиме на примерах (обучение на примерах — ОН). Множество примеров (база фактов) потенциально может быть бесконечным. Поэтому обычно обучение ведется на порциях примеров. В зависимости от соответствия гипотезе примеры делятся на позитивные (+) и негативные (-). С позиции аксиоматической теории задача состоит в построении такой теории (автомата, программы, закономерности), в которой все позитивные примеры выводимы, а негативные — нет. Предполагается, что гипотеза о существовании некоторой закономерности может быть неединственной и, в принципе, существует возможность формирования некоторого семейства гипотез И = (Н_х, Н₂у Н_т)₉ из которого следует выбрать наилучшую в смысле точности идентификации закономерности обучающим примерам. Оценка гипотез осуществляется путем применения отношений предпочтения и совместимости. Совместимость определяется для выборки примеров и принятой для нее гипотезы. Понятие «наилучшая гипотеза» конкретизируется для каждой выборки. Например, при синтезе конечных автоматов лучшим считается тот, который имеет наименьшее число состояний; при синтезе программ наилучшая — та, которая имеет минимальную длину.

Таким образом, итеративность обучения состоит в формировании некоторой гипотезы И на основе k позитивных примеров. Если гипотеза не подтверждается, она заменяется новой. Основой такого подхода является предположение о предельной стабилизации гипотез, т. е. при достаточно большом числе примеров последовательность гипотез «стабилизируется» на той, которая дает удовлетворительное решение задачи. В теории алгоритмов подобные итеративные процедуры называются алгоритмами предельных вычислений.

При обучении без учителя настройка параметров модели производится исключительно на основе информации об их текущем состоянии и значений входных переменных в обучающих примерах. При этом целевые значения не используются. Такие модели часто называют самоорганизующимися, а сам процесс обучения без учителя — самоорганизацией. Одним из главных приложений обучения без учителя является кластеризация, поскольку кластеры изначально не определяются, а формируются естественным образом на основе того, насколько близки значения признаков объектов.