что такое оптимальные стратегии

Теория игр за 10 минут

Среднестатический человек принимает решение каждые две секунды, т.е. за день у нас набегает порядка 35 000! Некоторые из этих решений, например, что съесть на обед или какой фильм сегодня посмотреть, принимаются в таком условном вакууме: т.е., результат зависит исключительно от вашего выбора. Однако результат множества других решений, например, куда пойти с друзьями или как вам с супругой воспитывать своих детей, зависит уже от предпочтений и целей по крайней мере еще одного человека.

И вот этот тип решений, которые принимаются при взаимодействии с другими людьми – называется стратегическим, а отраслевая наука, которая их изучает, называется “теория игр”.

Теория игр: некоторые термины и понятия

Итак, давайте начнем с того, что вбросим пару терминов.

Что такое стратегическое мышление. Это у нас “искусство превзойти противника, зная, что противник пытается сделать то же самое с вами”. И как мы говорили, наука, которая изучает стратегическое мышление и это теория игр.

И под играми здесь понимается не столько компьютерные игры, как многие могут подумать, а, в общем-то любая ситуация, где присутствует процесс принятие решений. И это может включать в себя шахматы, воспитание детей, теннис, поглощение одной компанией другую, маркетинговые компании и прочее, прочее. Фактически, любое взаимодействие между двумя людьми можно считать игрой, достойной математического анализа. Главное условие – чтобы оно включало в себя набор участников, принимающих решения, набор вариантов, доступный этим участникам, и понимание последствий каждого решения, хотя бы примерное.

С этим определились, поехали дальше по терминологии.

В теории игр участники, принимающие решения называются “игроками”, а их выбор называется “ходами”. Соответственно, комбинация ходов называется “стратегией”.

Ходы в игре могут быть последовательными или одновременными. В игре с последовательными ходами игроки делают их по очереди и, прежде чем сделать свой следующий ход, они видят, что сделал их оппонент, поэтому могут скорректировать свою стратегию. Например, по таком принципу работают шахматы.

В игре с одновременными ходами игроки должны действовать одновременно, то есть они должны выбирать свои действия без какого-либо знания о том, что выбрал их оппонент.

Если интересы игроков находятся в конфликте – то есть, если выигрыш одного человека всегда означает проигрыш другого, – тогда мы говорим об играх с нулевой суммой. Это, например, большинство спортивных соревнований: да, т.е. если одна команда выиграла, это означает, что другая команда проиграла.

Но на практике большинство игр, в которые мы в реальной жизни играем, включают комбинации взаимовыгодных (беспроигрышных) или взаимновредных (проигрышных) стратегий. И эти игры называются играми с ненулевой суммой.

Все, с терминологией закончили, давайте посмотрим что-нибудь поинтереснее.

Последовательные игры: предвосхищение реакции вашего соперника

Для начала поговорим о последовательных играх. Как мы знаем, это игры, в которых игроки ходят по очереди. Т.е. шахматы, крестики-нолики: один игрок делает первый ход, а затем другой пытается найти наилучших ответ. Соответственно, в последовательных играх преобладает линейная цепочка мышления: “Если я сделаю это, мой соперник может сделать вот это, и я, в свою очередь, могу ответить вот так и т. д.”

Фактически рисуется дерево решений. И чем сложнее игра, тем больше это дерево разветвляется. Например, игровое дерево для крестиков-ноликов рисуется очень легко, потому что там ограниченное количество комбинаций, а вот полное игровое дерево для шахмат будет насколько большим, что до сих пор фактически еще не нарисовано. Просто потому что там просто сумасшедшее количество комбинаций. Т.е. представим партию, у первого игрока 20 возможных ходов, он делает какой-то ход, там Е2Е4, затем второй игрок делает свой ход и у него также был выбор из 20 вариантов. Т.е. только после первого хода, количество возможных комбинаций уже 400. А ещё через один круг это число возрастает до 20 тысяч.

Понимаете, да, масштабы? Американский математик Клод Шеннон даже подсчитал точное количество всех возможных комбинаций и выяснил, что таких будет 10 в 120-ой степени. Чтобы вы понимали насколько это много, число атомов во Вселенной, всего 10 в 80-ой степени. Это меньше в 10 в 40 степени раз, чем шахматных комбинаций.

Но возвращаясь к нашей теме. Наилучшую цепочку ходов в последовательной игре можно найти, применив одно очень простое правило: “ смотри вперед, рассуждай назад” (Look Forward, Reason Backward). Т.е. смотрите на 2-3 шага вперед и потом возвращаетесь к тому, что вам нужно сделать сейчас. Другими словами, постарайтесь предвидеть к чему в итоге приведут ваши решения. Что делают шахматисты: они спрашивают себя, приведет ли эта комбинация в четыре хода к хорошей позиции. Если да, то они ее используют; если нет, то пытаются придумать что-то еще. Либо они рассуждают, что вот мне нужна такая позиция, как я могу ее достичь. Т.е. они строят свою стратегию, рассуждая в обратном направлении от предполагаемого результата. Также такое часто используется в целеполагании. Т.е. мы знаем к чему хотим прийти, берем это как отправную точку и дальше идем постепенно назад уже к той точке, где мы сейчас находимся.

Первый – Чарли Браун

Тихий, спокойный парень, немного неуверенный в себе, но достаточно умный и обладающий определенной решимостью. Часто терпит неудачу, опять-таки, из-за своей неуверенности, либо просто невезения, но идет к своим целям.

Девочка, с достаточно плохим характером, которая постоянно задирает и в какой-то степени жестоко общается со всеми вокруг.

И наша повторяющая ситуация, где она держит мячик для регби и уговаривает Чарли подбежать и ударить по нему. Чарли обычно отказывается пинать его, не доверяя Люси. Затем Люси говорит что-то, чтобы убедить Чарли доверять ей, тот соглашается, подбегает, но в самую последнюю секунду, прежде чем он сможет его ударить, Люси убирает мяч, и Чарли падает на спину.

Источник

Теория игр: принятие решений с примерами на Kotlin

Теория игр — математическая дисциплина, рассматривающая моделирование действий игроков, которые имеют цель, заключающуюся в выбор оптимальных стратегий поведения в условиях конфликта. На Хабре эта тема уже освещалась, но сегодня мы поговорим о некоторых ее аспектах подробнее и рассмотрим примеры на Kotlin.

Так вот, стратегия – это совокупность правил, определяющих выбор варианта действий при каждом личном ходе в зависимости от сложившейся ситуации. Оптимальная стратегия игрока – стратегия, обеспечивающая наилучшее положение в данной игре, т.е. максимальный выигрыш. Если игра повторяется неоднократно и содержит, кроме личных, случайные ходы, то оптимальная стратегия обеспечивает максимальный средний выигрыш.

Задача теории игр – выявление оптимальных стратегий игроков. Основное предположение, исходя из которого находятся оптимальные стратегии, заключается в том, что противник (или противники) не менее разумен, чем сам игрок, и делает все для того, чтобы добиться своей цели. Расчет на разумного противника – лишь одна из потенциальных позиций в конфликте, но в теории игр именно она кладется в основу.

Существуют игры с природой в которых есть только один участник, максимизирующий свою прибыль. Игры с природой – математические модели, в которых выбор решения зависит об объективной действительности. Например, покупательский спрос, состояние природы и т.д. «Природа» – это обобщенное понятие не преследующего собственных целей противника. В таком случае для выбора оптимальной стратегии используется несколько критериев.
Различают два вида задач в играх с природой:

Сейчас мы рассмотрим критерии принятия решений в чистых стратегиях, а в конце статьи решим игру в смешанных стратегиях аналитическим методом.

Постановка задачи

Все критерии принятия решений мы разберем на сквозном примере. Задача такова: фермеру необходимо определить, в каких пропорциях засеять свое поле тремя культурами, если урожайность этих культур, а, значит, и прибыль, зависят от того, каким будет лето: прохладным и дождливым, нормальным, или жарким и сухим. Фермер подсчитал чистую прибыль с 1 гектара от разных культур в зависимости от погоды. Игра определяется следующей матрицей:

Далее эту матрицу будем представлять в виде стратегий:

Искомую оптимальную стратегию обозначим . Решать игру будем с помощью критериев Вальда, оптимизма, пессимизма, Сэвиджа и Гурвица в условиях неопределенности и критериев Байеса и Лапласа в условиях риска.

Как и говорилось выше примеры будут на Kotlin. Замечу, что вообще-то существуют такие решения как Gambit (написан на С), Axelrod и PyNFG (написанные на Python), но мы будем ехать на своем собственном велосипеде, собранном на коленке, просто ради того, чтобы немного потыкать стильный, модный и молодежный язык программирования.

Чтобы программно реализовать решение игры заведем несколько классов. Сначала нам понадобится класс, позволяющий описать строку или столбец игровой матрицы. Класс крайне простой и содержит список возможных значений (альтернатив или состояний природы) и соответствующего им имени. Поле key будем использовать для идентификации, а также при сравнении, а сравнение понадобится при реализации доминирования.

Игровая матрица содержит информацию об альтернативах и состояниях природы. Кроме того в ней реализованы некоторые методы, например нахождение доминирующего множества и чистой цены игры.

Опишем интерфейс, соответствующий критерию

Принятие решений в условиях неопределенности

Принятие решений в условиях неопределённости предполагает, что игроку не противостоит разумный противник.

Критерий Вальда

Использование критерия страхует от наихудшего результата, но цена такой стратегии – потеря возможности получить наилучший из возможных результатов.

Рассмотрим пример. Для стратегий найдем минимумы и получим следующую тройку . Максимумом для указанной тройки будет являться значение 1, следовательно, по критерию Вальда выигрышной стратегией является стратегия , соответствующая посадке Культуры 2.

Программная реализация критерия Вальда незатейлива:

Для большей понятности в первый раз покажу, как решение выглядело бы в виде теста:

Критерий оптимизма

Стратегия оптимиста может привести к отрицательным последствиям, когда максимальное предложение совпадает с минимальным спросом – фирма может получить убытки при списании нереализованной продукции. В тоже время стратегия оптимиста имеет определённый смысл, например, не нужно заботиться о неудовлетворённых покупателях, поскольку любой возможный спрос всегда удовлетворяется, поэтому нет нужды поддерживать расположения покупателей. Если реализуется максимальный спрос, то стратегия оптимиста позволяет получить максимальную полезность в то время, как другие стратегии приведут к недополученной прибыли. Это даёт определённые конкурентные преимущества.

Рассмотрим пример. Для стратегий найдем найдем максимум и получим следующую тройку . Максимумом для указанной тройки будет являться значение 5, следовательно, по критерию оптимизма выигрышной стратегией является стратегия , соответствующая посадке Культуры 1.

Реализация критерия оптимизма почти не отличается от критерия Вальда:

Критерий пессимизма

Критерий пессимизма предполагает, что развитие событий будет неблагоприятным для лица, принимающего решение. При использовании этого критерия лицо принимающее решение ориентируется на возможную потерю контроля над ситуацией, поэтому, старается исключить потенциальные риски выбирая вариант с минимальной доходностью.

После знакомства с критериями Вальда и оптимизма то, как будет выглядеть класс критерия пессимизма, думаю, легко догадаться:

Критерий Сэвиджа

Критерий Сэвиджа (критерий сожалеющего пессимиста) предполагает минимизацию наибольшей потерянной прибыли, иными словами минимизируется наибольшее сожаление по потерянной прибыли:

В данном случае S — это матрица сожалений.

Оптимальное решение по критерию Сэвиджа должно давать наименьшее сожаление из найденных на предыдущем шаге решения сожалений. Решение, соответствующее найденной полезности, будет оптимальным.

К особенностям полученного решения относятся гарантированное отсутствие самых больших разочарований и гарантированное снижение максимальных возможных выигрышей других игроков.

Рассмотрим пример. Для стратегий составим матрицу сожалений:

Тройка максимальных сожалений . Минимальным значением из указанных рисков будет являться значение 4, которое соответствует стратегиям и .

Запрограммировать критерий Сэвиджа немного сложнее:

Критерий Гурвица

Критерий Гурвица является регулируемым компромиссом между крайним пессимизмом и полным оптимизмом:

A(0) — стратегия крайнего пессимиста, A(k) — стратегия полного оптимиста, — задаваемое значение весового коэффициента: ; — крайний пессимизм, — полный оптимизм.

При небольшом числе дискретных стратегий, задавая желаемое значение весового коэффициента , а затем округлять получаемый результат до ближайшего возможного значения с учётом выполненной дискретизации.

Рассмотрим пример. Для стратегий . Примем, что коэффициент оптимизма . Теперь составим таблицу:

Максимальным значением из рассчитанных H будет являться значение 3, которое соответствует стратегии .

Реализация критерия Гурвица уже более объемная:

Принятие решений в условиях риска

Методы принятия решений могут полагаться на критерии принятия решений в условиях риска при соблюдении следующих условий:

Критерий ожидаемого значения может быть сведен либо к максимизации ожидаемой (средней) прибыли, либо к минимизации ожидаемых затрат. В данном случае предполагается, что связанная с каждым альтернативным решением прибыль (затраты) является случайной величиной.

Постановка таких задач как правило такова: человек выбирает какие-либо действия в ситуации, где на результат действия влияют случайные события. Но игрок имеет некоторые знания о вероятностях этих событий и может рассчитать наиболее выгодную совокупность и очередность своих действий.

Чтобы можно было и дальше приводить примеры, дополним игровую матрицу вероятностями:

Для того, чтобы учесть вероятности придется немного переделать класс, описывающий игровую матрицу. Получилось, по правде говоря, не очень-то изящно, ну да ладно.

Критерий Байеса

Иными словами, показателем неэффективности стратегии по критерию Байеса относительно рисков является среднее значение (математическое ожидание ожидание) рисков i-й строки матрицы , вероятности которых, совпадают с вероятностями природы. Тогда оптимальной среди чистых стратегий по критерию Байеса относительно рисков является стратегия , обладающая минимальной неэффективностью то есть минимальным средним риском. Критерий Байеса эквивалентен относительно выигрышей и относительно рисков, т.е. если стратегия является оптимальной по критерию Байеса относительно выигрышей, то она является оптимальной и по критерию Байеса относительно рисков, и наоборот.

Перейдем к примеру и рассчитаем математические ожидания:

Максимальным математическим ожиданием является , следовательно, выигрышной стратегией является стратегия .

Программная реализация критерия Байеса:

Критерий Лапласа

Критерий Лапласа представляет упрощенную максимизацию математического ожидания полезности, когда справедливо предположение о равной вероятности уровней спроса, что избавляет от необходимости сбора реальной статистики.

В общем случае при использовании критерия Лапласа матрица ожидаемых полезностей и оптимальный критерий определяются следующим образом:

Рассмотрим пример принятия решений по критерию Лапласа. Рассчитаем среднеарифметическое для каждой стратегии:

Таким образом, выигрышной стратегией является стратегия .

Программная реализация критерия Лапласа:

Смешанные стратегии. Аналитический метод

Аналитический метод позволяет решить игру в смешанных стратегиях. Для того, чтобы сформулировать алгоритм нахождения решения игры аналитическим методом, рассмотрим некоторые дополнительные понятия.

Стратегия доминирует стратегию , если все . Иными словами, если в некоторой строке платёжной матрицы все элементы больше или равны соответствующим элементам другой строки, то первая строка доминирует вторую и называется доминант-строкой. А также если в некотором столбце платёжной матрицы все элементы меньше или равны соответствующим элементам другого столбца, то первый столбец доминирует второй и называется доминант-столбцом.

Нижней ценой игры называется .
Верхней ценой игры называется .

Теперь можно сформулировать алгоритм решения игры аналитическим методом:

И класс, выполняющий решение симплекс-методом. Поскольку в математике я не разбираюсь, то воспользовался готовой реализацией из Apache Commons Math

В этой матрице есть доминирующее множество:
\begin 2& 4\\ 6& 2\end

Решение игры при цене игры равной 3,33

Вместо заключения

Надеюсь, эта статья будет полезна тем, кому необходимо в первом приближении с решением игр с природой. Вместо выводов ссылка на GitHub.

Буду благодарен за конструктивную обратную связь!

Источник