Элементы эволюционной теории игр

В результате изучения данной главы студент должен: знать

• • методологию эволюционного подхода;
• • концепцию эволюционно устойчивой стратегии;
• • связь эволюционно устойчивых стратегий с равновесиями по Нэшу;
• • модели эволюционной динамики;
• • понятия изоморфизма и полиморфизма популяции; уметь
• • находить эволюционно устойчивые стратегии;
• • анализировать эволюционную динамику; владеть
• • терминологией и методами анализа эволюционной теории игр.

В этой главе мы очень кратко обсудим другой взгляд па теоретико-игровые ситуации, который связан с теорией эволюции в биологии. Мы откажемся от предпосылки о рациональности игроков, ведь под игроками в теории эволюции понимаются отдельные живые организмы — растения и животные. Под стратегиями мы будем понимать те формы и поведение организмов (фенотип организмов), которые диктуются заложенными в них генами. Таким образом, мы будем предполагать, что стратегия не выбирается, а является внутренним свойством игрока. При этом мы будем считать, что из большой популяции игроков каждый раз случайно выбирается пара (можно рассмотреть игры с большим числом участников, но мы ограничимся самым простым случаем), которая играет между собой. Выигрышами в биологическом контексте будет число потомков, которое оставит тот или иной игрок, передав им свои гены. Тогда со временем доля игроков, получающих большие выигрыши, в популяции должна расти, а доля игроков, получающих маленькие выигрыши, — снижаться, что соответствует процессу естественного отбора. Вместе с тем мы будем допускать возможность мутаций. Даже если все игроки в популяции будут иметь одинаковую стратегию, возможно появление в результате мутации очень малой доли игроков, применяющих другую стратегию.

Вопрос, на который мы будем отвечать, используя методы эволюционной теории игр, состоит в следующем: что будет конечным результатом описанного выше эволюционного процесса? Останутся ли в популяции игроки, применяющие единственную стратегию? В этом случае мы будем говорить о мономорфизме (единстве поведения) популяции. Или популяция будет стремиться к некоторому состоянию с определенными долями игроков, применяющих различные стратегии? Такая ситуация будет называться полиморфизмом популяции.

Очень многие популяции являются двуполыми. Стратегии особей мужского и женского пола могут отличаться, но своей структуре и выигрышам. Но мы для простоты будем рассматривать однополую популяцию, в которой игроки схожи во всем, кроме применяемых стратегий. Кроме того, мы будем рассматривать только взаимодействия внутри популяций, хотя понятно, что определенные виды стратегий логичнее моделировать в рамках взаимодействий между популяциями (представьте себе взаимодействие между хищниками и видами, являющимися их потенциальной добычей). Принятые ограничения позволяют нам анализировать только симметричные игры двух игроков, Т. е. игры, В которых 5, = S₂ И U_{(s_v S₂) = U₂(s₂, 5,) ДЛЯ любых Sj и s₂.

Вернемся к нашему основному вопросу: в каком случае популяция, состоящая из игроков, применяющих единственную стратегию, будет устойчива к появлению мутантов, применяющих другую стратегию?

Зададимся простой моделью эволюционной динамики. Пусть подавляющее большинство игроков в популяции имеют стратегию s, а мутанты со стратегией s составляют в период времени t очень небольшую долю x_t в популяции. Тогда отдельный i-й игрок, который случайно может сыграть в паре с любым другим, играет против смешанной стратегии ст, такой, что с вероятностью (1 — х₍) выбирается стратегия 5, а с вероятностью х_{ — стратегия s. Выигрыш игрока отражает число его потомков, которые станут применять его стратегию в следующем периоде (t + 1). Тогда, предполагая популяцию достаточно большой, можно считать, что число игроков, применяющих стратегию s в периоде (t + 1), изменится в u_{(s, а₍) раз, а число мутантов, применяющих стратегию s в периоде (t + 1), — в w_t(S, а,) раз. Тогда общий размер популяции изменится в (1 — x₍)u_x{s_y а,) + x_tu_{(s, а,) = и_{(а_г а,) раз, и можно вычислить долю мутантов в периоде (t + 1) следующим образом:

Для устойчивой к появлению мутантов стратегии должно выполняться.

Рассмотрим разницу.

Чтобы число мутантов в популяции сокращалось, должно выполняться.

Вспоминая, как рассчитываются выигрыши в случае смешанных стратегий, получим

Тогда, чтобы число мутантов в популяции сокращалось, должно выполняться условие.

Так как мы предполагали, что я, очень мало, если первое слагаемое отрицательно, то отрицательна и вся сумма. Тогда для сокращения доли мутантов необходимо и достаточно, чтобы либо w,(s, s) > u_{(s, s)> либо u_x(s_y s) = = u_{{s_y s) и u_{(s_y s) > и_{(s_y s). В любом случае условие z/j (s, s) > u_{(s, s) является необходимым. Но если популяция игроков, применяющих стратегию s, устойчива к появлению любых мутаций, т. е. любых стратегий 5, то последнее неравенство соответствует определению равновесия по Нэшу. Тогда можно дать следующее определение эволюционно устойчивой стратегии {evolutionwily stable strategy — ESS).

Определение 7.1. Стратегия s называется эволюционно устойчивой,.

если профиль стратегий (s_y s) является равновесием по Нэшу и u_x{s, s) > > u_x{s_y s) для любой стратегии s, такой что u_x{s_y s) = u_{(s, s).

Содержательно это означает следующее. Как игрок, применяющий наиболее распространенную в популяции стратегию s, так и мутант почти наверняка будут играть с игроком, применяющим стратегию 5, поскольку таких игроков подавляющее большинство. В такой игре играющий стратегию s получит выигрыш (число ПОТОМКОВ) U_{(s_y s), а мутант — выигрыш u_{{s_y s). Если u_{(s_y s) > u_{(s, s), то игрок, применяющий стратегию s, будет размножаться быстрее и доля мутантов в популяции будет снижаться. Если же u_{(s_y s) = u_A(s_y s), то в подавляющем большинстве случаев число потомков у обоих будет одинаково, но в редких случаях игрок будет встречаться с мутантом. Тогда условие z/,(s, s) > u_{(s, s) гарантирует, что мутант будет иметь меньший выигрыш при встрече с себе подобным, а значит, снова доля мутантов будет сокращаться в популяции.

Что можно сказать о наличии эволюционно устойчивых стратегий в произвольной симметричной игре? Так же как и в случае равновесия, но Нэшу, возможны ситуации, когда в игре существует единственная эволюционно устойчивая стратегия, несколько эволюционно устойчивых стратегий или не существует ни одной. Рассмотрим показательные примеры.

Пример 7.1 (эволюционно устойчивая стратегия в игре «дилемма заключенных»). Пусть игра имеет структуру игры «дилемма заключенных» и двойная матрица выигрышей задана следующим образом:

В контексте эволюции описание ситуации в данном случае может быть, например, следующим. Пусть деревья могут иметь разную высоту. Стратегия С соответствует низкому дереву. Если оба дерева низкие, то им не страшен сильный ветер и они получают поровну солнечного света. Если оба дерева высокие, то они могут сломаться от порыва ветра и снова получают поровну солнечного света. Но более высокое дерево получает больше доступа к солнечному свету, а значит, у такого дерева будет больше семян и потомков. Более низкое дерево оказывается в тени и не получает достаточно света.

Единственным равновесием, но Нэшу в данной игре является профиль стратегий (Д D). Поэтому стратегия D является единственным кандидатом на роль эволюционно устойчивой стратегии. Пусть s = D, s = С. Так как при этом м,(Д D) > u_t(C, D), стратегия D является эволюционно устойчивой стратегией.

Пример 7.2 (эволюционно устойчивые стратегии в игре на координацию). В игре на координацию игрокам выгодно скоординировать свои действия. Пусть игра имеет структуру игры на координацию и двойная матрица выигрышей задана следующим образом:

В этой игре два равновесия, но Нэшу — (С, С) и (A D). Обе стратегии являются кандидатами на роль эволюционно устойчивой стратегии. Так как выполняются соотношения и_{(С, С) > u_{(D, С) и м,(Д D) > и_{(С, О), обе стратегии являются эволюционно устойчивыми. То, какая из стратегий будет выбираться всеми игроками в популяции, зависит от начального распределения стратегий.

Вспомним неравенство, которое должно быть выполнено, чтобы число мутантов сокращалось:

Раньше мы предполагали, что х, очень мало. Предположим теперь, что х, может быть любым. Пусть С соответствует стратегии s, a D — стратегии 5. Тогда доля в популяции игроков, использующих стратегию, А будет сокращаться, если.

Если доля использующих стратегию D меньше половины, то их доля будет сокращаться. И наоборот, их доля будет расти, если первоначально их больше половины. Если первоначально доли в популяции игроков, использующих каждую из стратегий, равны, то нельзя сказать точно, как будет развиваться динамика. Ситуация, когда игроки применяют обе чистые стратегии с равными вероятностями, соответствует равновесию по Нэшу в смешанных стратегиях в данной игре. Но с эволюционной точки зрения это неустойчивое состояние, поскольку появление дополнительных мутантов любого типа приведет к тому, что доли начнут меняться.

Ситуацию, когда существует устойчивое соотношение игроков, использующих разные стратегии, мы увидим в следующем примере — игре «ястреб — голубь». Это популярная в эволюционной теории игра, которая моделирует два типа поведения организма: агрессивное — «ястреб» (Я) и мирное — «голубь» (Г). Если оба игрока ведут себя агрессивно, то происходит стычка, в результате которой может быть нанесен ущерб обоим игрокам. Если один из игроков ведет себя агрессивно, а другой — пассивно, то более агрессивный игрок отбирает у более пассивного часть ресурсов, увеличивая свой выигрыш. Если оба игрока ведут себя пассивно, то они мирно разделяют ресурсы.

Пример 7.3 (полиморфизм популяции в игре «ястреб — голубь»).

Пусть игра имеет структуру игры «ястреб — голубь» и двойная матрица выигрышей задана следующим образом:

В этой игре два равновесия по Нэшу — (Я, Г) и (Г, Я). Но оба равновесия несимметричны (игроки выбирают разные стратегии). Следовательно, в игре нет эволюционно устойчивой чистой стратегии.

Снова воспользуемся неравенством, которое выполняется при сокращении доли мутантов:

Следовательно, если доля «голубей» в популяции меньше половины, то их доля растет, и наоборот, при доле «голубей» больше половины она снижается. Граничное значение для долей в популяции здесь такое же, как в прошлом примере, но динамика совсем другая. Небольшое количество мутантов каждого вида будут успешны в популяции, что приведет к росту их доли. Действительно, «голубь» будет получать против «ястреба» выигрыш больше, чем «ястреб»; а «ястреб», в свою очередь, получит больше при игре с «голубем», чем другой «голубь».

В этом случае возникает ситуация полиморфизма популяции, когда эволюционный процесс приводит к сосуществованию в некоторых долях игроков с разными стратегиями. Можно думать о такой ситуации как об эволюционно устойчивой смешанной стратегии. Но смешанная стратегия в данном случае означает не то, что игроки случайным образом выбирают из множества своих чистых стратегий одну, а то, что при формировании пар в популяции может быть случайно выбран игрок с той или иной чистой стратегией.

Естественно, разобранные примеры не исчерпывают возможностей и результатов эволюционной теории игр, мы лишь обозначили проблематику и метод этого направления. Используя описанные методы, можно исследовать игры, в которых принимают участие не двое, а множество игроков, можно моделировать межвидовое взаимодействие, взаимодействие в двуполой популяции, можно, наконец, рассматривать не статические, а динамические и повторяющиеся варианты взаимодействия и т. п.

Мы также оставляем без внимания важные для эволюционной теории вопросы о том, как именно устроены гены, какая информация может быть передана потомкам, как возникают мутации и как можно выбрать соответствующий набор стратегий для реальных фенотипов организмов. Изучение этих вопросов уводит далеко за пределы теоретико-игрового анализа. Зато мы коснемся вопроса о том, могут ли результаты эволюционной теории игр быть полезны при изучении социальных и экономических взаимодействий.

В приложениях, связанных с теорией эволюции, передача информации происходила при помощи генов. Странно было бы предполагать, что экономические решения, например решения фирм о том, какие цены устанавливать и какие объемы продукции выпускать, связаны с унаследованными генами руководителей. Вместе с тем в социальной среде существуют свои механизмы распространения информации об удачных и неудачных стратегиях — существуют пресса, общение с друзьями и родственниками и прочие каналы распространения информации о том, какое поведение может привести к удачному и неудачному результату в той или иной ситуации. Наконец, существует собственный опыт принятия решений, который тоже часто приводит не к возможности формулировать модели и решать их для каждой ситуации, а к формированию эвристик, которые предписывают то или иное действие для заданного случая. В самом деле, когда информации немного и вычислительные способности ограничены, эвристики, основанные на собственном или чужом опыте, могут быть весьма полезны. Поэтому метод эволюционной теории игр последнее время достаточно активно начинает применяться в экономике и социологии. Отметим, что, используя по аналогии с биологическими приложениями меру выигрыша, выраженную в числе игроков, применяющих данную стратегию в следующем периоде, мы говорим уже не о вполне объективном показателе (число потомков), а о весьма субъективном — игроки могут перенимать стратегию не потому, что она хороша, а потому, что ее активно навязывают или она лишь кажется привлекательной.

С одной стороны, этот метод предлагает по-другому взглянуть на концепцию равновесия по Нэшу. Оказывается, ситуации равновесия по Нэшу могут быть результатом не только мыслительной деятельности игроков, но и динамического процесса, в котором подражатели копируют наиболее удачные стратегии и отказываются от неудачных, не прилагая усилий к анализу ситуации. Кроме того, возникает ограничение, связанное с устойчивостью (см. пример 7.2), которое позволяет показать, что некоторые из равновесий по Нэшу являются худшими предсказаниями по сравнению с другими равновесиями.

С другой стороны, моделирование процесса эволюционной динамики позволяет рассматривать не только статичные равновесные ситуации в игре, но и процесс «нащупывания» равновесия, определять, при каком начальном распределении стратегий в популяции наиболее вероятно достижение того или иного равновесного состояния. Последнее может быть важно и при принятии решений о мерах экономической и социальной политики, поскольку вполне возможны ситуации, в которых возможных равновесий несколько и некоторые из них Парето-доминируют другие. Тогда методы эволюционной теории игр могут подсказать, какое пороговое значение доли игроков необходимо, чтобы, например, популяция игроков перешла в наиболее предпочтительное из набора равновесий.

Вопросы и задания для самопроверки.

• 1. Что соответствует стратегии в эволюционной теории игр?
• 2. Что называется мономорфизмом и полиморфизмом популяции?
• 3. Как задастся эволюционная динамика?
• 4. Какое условие должно выполняться, чтобы доля мутантов в популяции сокращалась?
• 5. Сформулируйте определение эволюционно устойчивой стратегии.
• 6. Приведите пример равновесия по Нэшу, которое не является эволюционно устойчивым.
• 7. Сколько эволюционно устойчивых стратегий может быть в игре?

Задачи для самостоятельного решения.

7.1. В следующей игре определите все эволюционно устойчивые стратегии:

7.2. В следующей игре определите все эволюционно устойчивые стратегии:

7.3. В следующей игре определите все эволюционно устойчивые стратегии: