Применение теоретико-информационного подхода

Первоначально теория информации оперирует вопросами передачи информации по зашумленным каналам, вопросами избыточности информации в сообщении и минимального количества единиц информации, необходимой для кодирования сообщения. Базовой мерой теории информации является энтропия, символизирующая нашу априорную неуверенность в результате случайного эксперимента, описываемого функцией распределения вероятности Р = (р_и р₂,…, р"):

При использовании логарифма по основанию 2 энтропия измеряется в битах. Если рассматривать распределение Р как источник сообщений, то энтропия будет показывать минимальное количество бит, необходимое для кодирования сообщений, генерируемых данным источником. Также энтропия отражает количество информации, получаемой при наблюдении результата эксперимента.

В случае биологических полимеров возможно непосредственное применение данной меры к символьным последовательностям как к сообщениям, сгенерированным определенным источником. Исходя из того, что энтропия растет для более «равномерных» распределений символов в сообщениях (г.е. распределений с менее предсказуемым исходом), логично будет предположить, что в случае анализа экзон-интронной структуры эукариотических геномов энтропия не содержащих экзоны участков будет выше, так как они испытывают меньшее ограничивающее эволюционное давление. Это подтверждает анализ энтропии распределения динуклеотидов/ три нуклеотидов, приведенный на рис. 2.2.

Рис. 2.2. Схема эксперимента по анализу информационной энтропии участков генома человека (а). Аннотированный геном человека (т.е. с отмеченными известными экзонами) разбивался на множество фрагментов одинаковой длины. Для каждого фрагмента рассчитывалась энтропия распределения последовательно идущих дуплетов (Н₂) и триплетов (Н₃) нуклеотидов. Диаграммы распределения энтропии всех фрагментов (черная линия), фрагментов, несущих (светло-серая линия) и не несущих (серая линия) известные экзоны (б).

Другой важной мерой, известной из теории информации, является относительная энтропия (расстояние Кульбака — Лейблера). Относительная энтропия позволяет оценить различия между двумя распределениями Р и Q. В рамках теории информации относительная энтропия показывает количество бит информации, которое дополнительно потребуется для перекодирования сообщения от источника с распределением Р при использовании кода, основанном на распределении Q. Определена относительная энтропия следующим образом:

где R и Q — распределения исходного и нового источников событий.

Применительно к последовательностям биологических полимеров в качестве распределения Q используется распределение, не несущее существенной для целей исследования информации, либо распределение последовательностей специально рандомизированных методами Монте-Карло. Распределение R соответствует исследуемой последовательности.

Особым случаем применения относительной энтропии является построение логотипов последовательностей (sequence logos, рис. 2.3, иодпараграф 3.1.6). В этой ситуации в качестве распределения Q используется равномерное распределение U (распределение, обладающее максимальной энтропией):

Рис. 23. Логотип последовательности сайта связывания рибосомы E.coli:

вертикальная черная линия показывает точку старта трансляции; высота букв отражает информационную значимость данного нуклеотида в конкретной позиции. Хорошо заметен стартовый кодон — ATG. Также видно, что сайт связывания помимо стартового кодона определен окружающим нуклеотидным контекстом Третьей часто применяемой в биоинформатике информационной мерой, является совместная информация (mutual information, I (X, У)). Совместная информация отражает степень взаимосвязи двух источников событий (X и У). Определить ее можно, отталкиваясь от описанной выше относительной энтропии. Совместная информация — это относительная энтропия наблюдаемого совместного распределения двух событий Р (X, I⁷) и оценки данного распределения исходя из предположения о независимости наступления этих событий — Р (X) Р (У):

где Хи У — события, степень взаимосвязи которых мы рассчитываем;р (xf)_y Р (Уд ^и Р (^хрд ~ вероятности исходов отдельных событий (xj и уд и вероятности исходов совместных событий (.х-уд.

Примерами таких событий из биоинформатики являются типы аминокислотных остатков в пределах некоторого окна (Р (X)) и тип вторичной структуры центрального остатка данного окна (Р (Y) (см. подпараграф 3.3.4, метод GOR4).

Приведенные в данном параграфе простые статистические подходы помимо прямого применения также отражают «дух» многих подходов современной биоинформатики. Например, если говорить о самой концепции «скользящего окна», то она получила широчайшее развитие в более продвинутых методах. Так, ввиду высокой вычислительной сложности таких подходов, как искусственные нейронные сети (см. параграф 2.4), на вход сети обычно последовательно подаются небольшие фрагменты исходной цепи (скользящее окно), а результат анализа сопоставляется центральному элементу «окна».

Меры теории информации, часто неявно, входят в более сложные статистические модели или применяются на этапе подбора параметров и при оценке результатов применения таких моделей. Даже простые «логотипы последовательностей» предоставляют гораздо более взвешенную точку зрения на такую центральную концепцию молекулярной биологии, как консервативные участки, чем применение консенсусных последовательностей.