Логистическая регрессия. 
Теория вероятностей и математическая статистика. 
Математические модели

Логистическая регрессия предназначена для анализа данных, в которых независимые переменные количественные, а зависимая — качественная, точнее бинарная. Например, условия эксперимента заданы набором количественных переменных, а его результат — успех (семя проросло) или неудача (семя не проросло) описывается бинарной переменной со значениями 1 (успех) или 0 (неудача). Согласно классификации (см. рис. 3.1) — это типичная задача дискриминантного анализа, но в силу некоторой специфичности ее постановки, состоящей, в частности, в том, что акцент ставится не на классификацию, а на оценку вероятности, логистическая задача считается регрессионной.

Вероятность «успеха» в данной постановке задачи описывается следующим нелинейным логистическим, регрессионным уравнением

позволяющим перевести неограниченный интервал изменения значений линейного выражения (в общем случае, от —оо до +оо) в интервал изменения значений вероятности, т. е.

от 0 до 1 (функция у (х) = 1/(1 + ехр (—ж)) называется сигмоидной, или логистической).

Оценки 6о,&ь. •, 6 т коэффициентов уравнения определяют методом максимального правдоподобия. Для их получения необходимо максимизировать логарифм функции правдоподобия, который в данном случае имеет вид.

Смысл выражения в правой части уравнения легко понять, если заметить, что слагаемые первой суммы отличны от нуля только для yi = 1, а второй — только для yi = 0 и что выражение под логарифмом в первой сумме содержит оценку вероятности появления 1, а во второй — оценку вероятности появления 0, т. е. это действительно логарифм вероятности появления наблюдаемого набора значений зависимой переменной при заданном наборе значений независимых переменных и заданных значениях оцениваемых параметров уравнения, как это и требуется в методе максимального правдоподобия.