Принципы работы покерного бота. ч.2 / Хабр

Что такое бот и чем он отличается от подсказчиков?

Покерный бот — специально разработанная программа, имитирующая живого игрока в онлайн-покер, но выполняющая все действия автоматически. Главная цель создания бота для покера — получение прибыли. Грубое нарушение правил покерных румов разработчиков не страшит.

Иногда ботов путают с другим способом обмана в онлайне — подсказчиками. Использование покерных подсказчиков также запрещено правилами покерных румов, но все же подсказчик и бот — не одно и тоже. Если бот полностью самостоятелен и принимает решения автоматически, то игра с подсказчиком без человека невозможна.

На кнопки жмет человек, но думает за него подсказчик.

Основы покерной математики

Покер во многом игра математическая. Особенно большую часть математика занимает в играх онлайн, потому что мы не видим оппонента, не можем использовать так называемые «телзы» — подсказки которые дает нам поведение игрока. Все наши решения основываются на предполагаемом диапазоне карт соперника и как стоит наша рука против этого диапазона.

Для определения прибыльности того или иного действия используем понятие математического ожидания в денежном эквиваленте, или EV (англ. — Expected Value). Оно определяется как сумма всех возможных исходов события выраженных в деньгах умноженных на вероятность этого события:

EV = X1($)*PX1 X2($)*PX2 … Xn($)*PXn.

Для примера возьмем ситуацию: игра в безлимитный холдем с блайндами $1/$2, у нас в руках Q

EVфолда всегда равно нулю.

Для расчета EVуравн примем допущения: если на флопе будет А или К, то мы сразу играем чек/фолд; если нет, то мы играем чек, оппонент ставит (пусть будет $25), мы делаем повышение и оппонент сбрасывается. Получаем два события и вероятность выхода А или К на флоп — 32%.

EVуравн = (40$ — 12$ 25$)*0,68 (-12$)*0,32 = 32,2$.

Что делать, если вы подозреваете оппонента в том, что он бот?

Вы внимательно понаблюдали за оппонентом, заметили в его игре 2 и более признака, указывающих на то, что он бот. Что делать дальше? Глубоко вздохнуть, пожать плечами и вывести деньги из онлайн-покера раз и навсегда? Написать в своем блоге о халатности службы безопасности покерного рума?

Попытаться подстроиться. Существуют игроки, которые найдут слабые места в стратегии бота и извлекут выгоду. Далеко не все искусственные интеллекты одинаково хороши и при должном изучении у них часто найдутся слабые места. А если хозяин бота страдает излишней самоуверенностью, то может не следить за «подопечным» часами, а то и днями. За это время есть все шансы забрать банкролл у мошенника.

Избегать игры за столами с вероятным ботом. Другой путь — избежать драки, в которой вам не победить. Мудрое и взвешенное решение от трезво мыслящих игроков. Зачем ввязываться в бесперспективные ситуации, где вы рискуете проиграть деньги боту и сверху заплатить рейк в пользу не самого ответственного рума. Садитесь за столы без сомнительных оппонентов.

Поделиться наблюдениями с другими игроками. Иногда у игроков есть обоснованные сомнения и реальные доказательства в виде статистики и наблюдений. В других случаях основанием для радикальных выводов служит только общее впечатление об игре оппонентов.

В таком случае рекомендуем рассказать о подозрениях своим коллегам. Если у кого-то из игроков возникли такие же мысли, то изучение статистики и обмен наблюдениями укрепят вашу позицию. Бывали забавные ситуации, когда на сообщение реагировал потенциальный бот и развеивал подозрения.

Есть и обратные примеры: на пост о покерных ботах приходили люди с 0 в графе сообщений на сайте и начальным статусом и начинали писать, что они не боты. Такие ответы от «настоящих игроков» только сильнее убеждали в том, что это владельцы ботов.

Написать в службу безопасности. Наиболее верное решение — обратиться в службу безопасности или техническую поддержку покерного рума.

При этом укажите ник подозрительного аккаунта, особенности его поведения. Если выводы основываются на истории рук, то расскажите и об этом. У службы безопасности есть набор инструментов, помогающий им выявлять покерных ботов. Мошенники не стоят на месте, поэтому могут придумать новые пути обхода правил и обмана СБ покерных румов.

На что обращает внимание служба безопасности?

Признаки бота, перечисленные выше, привлекают внимание не только игроков во время сессии, но и службы безопасности. У СБ покерных румов есть большое преимущество над обычными игроками в виде доступа ко всей информации, а также возможность задействовать нейронные сети и алгоритмы вычисления шаблонов поведения. Под «шаблонами» подразумеваются тайминги, линии ставок, продолжительность сессий и многое другое.

Другие инструменты анализа службы безопасности:

• Во время игры клиент покерного рума сканирует ваш компьютер и запущенные программы. Работа запрещенных правилами программ во время игры считается нарушением. Некоторые покерные румы идут еще дальше — просто их наличие на вашем ПК рассматривается, как нарушение. PokerMatch и PokerDom блокируют пользователей за наличие конвертеров для других покерных румов. Памятка для добропорядочных игроков — перед началом сессии убедитесь, что отключили запрещенное ПО. За включенную Flopzilla вас сразу не заблокируют, но предупреждение пришлют точно.
• Проверка движений курсора мышки по экрану вашего компьютера. Живой игрок двигает мышкой и перемещает курсор совсем не так, как это делает бот. Искусственному интеллекту сложно имитировать хаотичность движений обычного игрока. Клиент покерного рума способен считывать такую информацию.
• Использование CAPTCHA. Всем пользователям поисковых систем хорошо знаком метод со случайным набором букв или символов, которые необходимо ввести, чтобы показать принадлежность к человеческому роду. Точно так же используют CAPTCHA и покерные румы. Происходит это редко и чаще под проверку попадают мультитейблеры, играющие по много часов подряд. У искусственного интеллекта с прохождением CAPTCHA возникают проблемы.
• В 2023 году PokerStars попросил группу игроков сделать запись их игровой сессии. Требования к записи были суровыми: перед началом сессии нужно было показать свое лицо для идентификации, продемонстрировать рабочее место с обзором на 360 градусов, отыграть не менее 70 минут, стартовать сессию с пустого рабочего стола. Звук должен был быть включенным, а качество видео таковым, чтобы были видны все ваши действия во время игры. На подготовку и отправку видео давали 10 дней. Игроков отбирали на основании подозрений и жалоб от других пользователей и выводов службы безопасности. Такая проверка от PS не всем пришлась по душе. Поток шуток об анализе крове, тесте ДНК и иных решениях проблемы с ботами был плотным. Такие проверки иногда проводят и другие покерные румы. Не самый комфортный, но эффективный способ борьбы с мошенниками.

Несколько лет назад управляющий партнер Partypoker Роб Янг предложил покерным румам создать объединенный реестр, где шел бы обмен информацией о нарушениях (в том числе и о ботах).

При реализации такого подхода мошенников блокировали не только в пределах одного рума или сети, но и во всем онлайн-покере. Пока дальше инициативы дело не пошло.

Покерный бот — что это?

Покер-бот — это программа, которая разработана с целью играть и выигрывать без непосредственного участия в процессе человека. Возникло это явление уже давно, практически сразу же как только появился онлайн-покер. Понятно, что покер-бот — софт по сути мошеннический, поэтому и находится в списке запрещенных сторонних программ PokerStars.

[введение] что нам стоит покер-бот построить.

No top left corner

• Make sure everything looks exactly like in the picture at the top of this documentation.

  • The buttons need to look exactly like this and it needs to be in English and not scaled. Colours need to be standard.
  • Most tables are mapped to real money. They won’t work with play money.
  • The poker table window has to be fully visible and cannot be scaled, otherwise it won’t be detected properly.
  • In Partypoker, when you open the table, choose table options and then choose back to default size to make sure the table is in default size.

• Tables are mapped for fast forward and zoom games with real money. Use the Supersonic3 table for Partypoker or McNaught table in Pokerstars.
• If things still don’t work, consider teaching it a new table as described above.

Poker.decisionmaker

• decisionmaker.py: The ultimate decision what action should be taken based on the input
• montecarlo_numpy2.py: fast numpy based montecarlo simulation to
  calculate equity. Not yet working correctly. Some tests are failing. Feel free to fix them.
• montecarlo_python.py: relatively slow python based montecarlo for equity calculation. Supports
  preflop ranges for other players.

Pokerstars:

• Use Zoom Tables
• Select Official Poker Stars table scraper
• For Pokerstars you will need to make some adjustments to the client. It needs to look exactly as the below, in order to run it with the Official Pokerstars Table scraper:
• Make sure to match the card styles (4 color), covered card styles, and table styles.

Strategy analyzer

• You can see the profitability of each strategy in the strategy analyzer.
• The bar chart indicates what action types have led to wins or losses at each stage (preflop, flop turn and river)

Looking at the stacked bar chart in more detail, gives you clues how to adjust the strategy to maximize your wins:

Analyze individual rounds within each stage:

Analyze individual hands:

Бот для игры в покер: особенности работы

Некоторые боты показывают слабую игру, но некоторые из них способны составить сильное противостояние для начинающего. С другой стороны, как говорилось выше, такие программы могут использовать и игроки с мошенническими намерениями.

Если винрейт программы низкий, то бот даже без существенной прибыли благодаря рейкбеку сыграет в плюс. Робот не устает и может играть в режиме 24/7, получая доход с рейкбека.

Бот на кибер покер – развитие профессиональных способностей

Покер-боты от разных создателей периодически участвуют в ежегодных состязаниях под названием Computer Poker Competition. Такое соревнование проводилось 11-17 июля 2009 года на международной конференции по AI (IJCAI) в Пасадене, Калифорния. Соревнования проходили в дисциплинах: хедз-ап лимитный холдем, хедз-ап безлимитный холдем, лимитный холдем на трех участников. Мероприятие не предназначено для обмана покер-румов и гемблеров, а ставит целью улучшение глобальных умений в покере.

Напомним, что недавно мы писали о том, где находятся лучшие покер-румы в рамках законодательства.

Боты играют в интересах pokerstars?

Что касается гипотезы о том, что сами «старзы» закрепляют в своем руме покер-боты, чтобы тащить деньги из своих посетителей, думается, такие утверждения не совсем справедливы и объективны. Согласитесь, любая подтвержденная информация такого рода практически сразу же заставила бы игроков рума отказаться от покера на
PokerStars. Каждый покер-бот нанес бы ошеломительный удар не только по репутации, но и по посещаемости комнаты «старзов». А это обстоятельство для PokerStars недопустимо в принципе.
Именно поэтому все большее количество людей отдают предпочтение этому руму, регистрируясь на Покерстарс.

Боты чаще встречаются за кэш-столами

Конечно, некоторые игроки используют программное обеспечение, принимающее за них решения. Трудно говорить об эффективности общедоступных программ, но определенную угрозу для нормальных пользователей они создают. Под ударом, в основном, оказываются любители, так как профессионалы играют определенно лучше, чем примитивные приложения.

По большей части такое ПО используется в кэш-играх. Формат кэш-игр намного лучше подходит для этих целей, так как дисперсия меньше, а изменения в размере стека менее важны.

В турнирах, особенно в многостоловых, труднее найти оптимальное решение в каждой игровой ситуации. В МТТ на принятие решения влияют не только карты и ставки, но особенности соперников, размеры стека и блайндов, близость призовой зоны, стоимость участия и многое другое.

Запрещенный софт

Отношение к покер-ботам у
PokerStars
однозначно негативное.
Любой покер-бот в руме под строжайшим запретом
. Это официально провозглашено в лицензионном соглашении, которое заключает каждый игрок рума при регистрации. Да и казус, случившийся в 2023 году, когда покер-боты из России и Казахстана «вынесли» из
PokerStars
порядка
$
4 200 000, заставляет разработчиков рума находиться в постоянном и напряженном поиске нарушителей.

Играют ли боты за игроков?

Ответить на этот вопрос однозначно со 100-процентной уверенностью вряд ли удастся.
Скорее всего, покер-боты играют
. И происходит это далеко не потому что этому попустительствует служба безопасности
PokerStars
. Мы должны понимать и отдавать себе отчет в том, что человеческие опыт, навыки, умения все время обогащаются и развиваются. Это применимо как к тем, кто разрабатывает все новые и новые вида покер-ботов, так и к тем, кто с таким софтом ведет непремиримую войну. И скорее всего это
противостояние будет продолжаться еще долго

Что делать в этой ситуации игрокам? Не мириться с нечестной игрой, в результате которой они теряют деньги, а информировать о присутствии покер-ботов службу безопасности PokerStars.

Как вычислить бота во время игры?

Вычислить умелого шулера во время игры в живой покер нелегко. Речь даже не идет о мошенниках, умело использующих современные шпионские гаджеты. Часто сложной задачей становится выявить обычного жулика с «держателем карт». В онлайн-покере все еще сложнее.

Но сложнее не значит «невозможно». За последние годы покерное сообщество смогло обобщить признаки покерных ботов:

Одинаковое время на принятие решения. «Тайминги» часто служат хорошим ридсом против настоящих игроков, как в онлайне, так и в офлайне. Они могут указывать и на то, что ваш соперник — бот. Если перед любым действием оппонент тратит на принятие решения одинаковое количество времени, то, вероятнее всего, ваш соперник — бот.

Ключевой фактор — ему требуется равное количество времени для чека OOP на флопе и колла пуша на ривере в сложной ситуации. И в очевидных руках, и в очень сложных у вашего оппонента будут одинаковые тайминги. Лучшие боты для покера учитывают этот фактор, но менее совершенные программы часто выдают себя.

Как принимается решение во время расследования?

1. На начальном этапе изучения один из членов команды СБ проводит анализ с помощью всех доступных инструментов и данных. По итогам рассмотрения он готовит вывод;

2. Следующий этап — повторная проверка другим специалистом из службы безопасности и подготовка своего заключения;

3. Если их независимые выводы совпадают, то факт использования покерного бота или иное мошенничество считается установленным. В случае сомнений привлекается третий член команды и после его тщательной проверки выносится окончательное решение.

С процессом принятия решения определились, но что можно сказать о выявлении ботов. Как именно игрок становится подозрительным и оказывается в центре внимания Ока Саурона?!

Как работает покерный бот?

Чаще всего покерный бот состоит из двух элементов:

• Стратегического движка. Отвечает за обработку информации и принятие решений. «Мозг» искусственного интеллекта.
• Вспомогательного интерфейса. Дополнительные инструменты программы, необходимые для взаимодействия бота с клиентом покерного рума. «Руки» искусственного интеллекта.

«Написать» простого бота для покера — задача не сложная даже для не самого хорошего программиста. Вот только выигрывать за покерным столом деньги он не сможет. Его максимум — играть в 0 или слабый минус на NL2-NL5. А вот создать сильный искусственный интеллект для успешной игры — настоящий вызов. Для этого требуется много времени и сил, а также квалифицированные IT-специалисты.

Сама суть покера — игры с неполной информацией и невероятным количеством ситуаций за столом — создает барьер, который большинству мошенников не преодолеть. К сожалению, ключевое слово «большинство» указывает на то, что некоторые разработчики справляются с ним.

Важнейшая роль при разработке бота уделяется получению информации во время игры. Каким бы классным и совершенным не был искусственный интеллект, без данных о розыгрыше конкретной руки он бесполезен. Покерный бот может считать информацию несколькими способами:

Сканирование экрана. В науке данный способ называется «Оптическое распознавание символов». Искусственный интеллект делает скриншот вашего экрана, затем приводит информацию в понятный для себя вид. По такому же принципу работают современные сканеры при распознавании и оцифровывании печатных документов.

Недостатки очевидны — бот не сможет точно считывать информацию, потому начнет принимать ошибочные решения на основе неверных данных. Одно всплывающее окно с рекламой турнира, который «начнется через 15 минут — спешите зарегистрироваться» отправят бота в аут.

Чтение чата. Во многих покерных румах информация о ходе розыгрыша отображается в чате в виде текста. Для покерного бота не составляет труда извлечь необходимые данные из окна с чатом. Парадоксально, но покерный рум сам помогает себя обманывать.

Перехват информации. Если сканирование экрана и чтение чата эксплуатируют открытую информацию из рума, то перехватывание команд или трафика — куда более сложный маневр. В основе этого способа получения информации — проникновение в код клиента покерного рума.

В зависимости от алгоритмов работы ботов можно разделить на 3 группы:

ГТО-боты. В основе работы лежит сбалансированная стратегия игры в покер. Несмотря на то, что в идеальных условиях GTO обеспечит вам игру в 0 против такого же сбалансированного оппонента, в реальной жизни сбалансированный бот приносит колоссальную прибыль.

Заскриптованные боты. Бот играет по сценарию, который в него заложил разработчик. Классическая последовательность «Если…то». Если у вас в руках карманная пара АА на большом блайнде и перед вами был рейз, то вы всегда делаете 3-бет.

Вот именно на основе таких правил и работают заскриптованные боты. Подобный подход — наиболее простой при создании бота и наименее эффективный. Уровень игры такого искусственного интеллекта будет зависеть от навыков игры разработчика. А предвидеть все сценарии невозможно.

Поэтому создателю приходится обобщать алгоритмы. Такие боты прибыльны только на низких лимитах. Профессиональные игроки со средних и высоких лимитов быстро раскусят «оппонента» и обнулят. На покерных сайтах игроки регулярно описывают ситуации, где они находили уязвимость в стратегии бота и начинали использовать ее в каждой руке.

Эксплуатационные боты. Наиболее опасные и эффективные покерные боты играют по эксплуатирующей стратегии. В этом аспекте искусственный интеллект ничем принципиально не отличается от живого игрока. Кроме одного единственного фактора — они безжалостны и не берут в плен.

Если живой человек может не заметить слабости в вашей игре из-за нехватки скилла, невнимательности, мультитейблинга либо усталости, то бот не упустит ничего. Машина будет постоянно оказывать давление и забирать ваши деньги. При создании такого бота есть 2 опции: 1) адаптировать стратегию игры под конкретного оппонента; 2) заложить алгоритмы игры против разных типов соперников. В обоих случаях работа ИИ зависит от базы данных.

Как службы безопасности выявляют ботов?

Работа служб безопасности покерных румов редко выходит на первый план. В большинстве случаев мы узнаем о результатах косвенно, когда видим уведомление о возврате на ваш счет средств, которые были выиграны незаконно. Деньги конфискуются с заблокированного счета мошенника и распределяются между пострадавшими пользователями.

Борьба с ботами, подсказчиками и другими нарушениями — важное направление работы любого покерного рума. Сообщения от пользователей о возможных ботах помогают службам безопасности, но составляют малый процент от общего количества выявленных нарушений.

Сам процесс вычисления мошенников и ботов никогда не освещается сотрудниками службы безопасности. Причина — нежелание давать подсказки нарушителям, чтобы они совершенствовали свои методы и уходили от наказания.

Иногда покерные румы все же делятся информацией о борьбе с ботами и другими нарушителями. В конце 2023 PokerStars выпустил большой отчет, который можно взять за основу.

В отдел честной игры PS входит свыше 60 специалистов. Среди них: программисты, исследователи баз данных и бывшие профессиональные игроки в онлайн-покер.

Как узнать игру покер-бота на pokerstars?

Логика покер бота

Современные машины достаточно умны. Покерные боты обладают определенным набором функций и признаков, которые понятны зарубежным пользователям, исходя из принципов защиты игроков.

С другой стороны, такие программы могут использовать и игроки с мошенническими намерениями. Признаки таких намерений:

• Одинаковые размеры ставок.
• Повторная активация определенных линий.
• Быстрый переход к другому игровому столу, когда за ним расположено свыше определенного числа игроков.
• Постоянная агрессия в конкретных ситуациях.
• Отсутствие активности в чате.
• Одинаковое время для принятия решений (чаще всего быстрое).
• Работа как части бот-кольца во время игры с одними участниками за столом.

Чтобы сыграть в покер без ботов, иностранные игроки могут запросить информацию у оператора. Вместе с тем в зарубежной практике есть комнаты, в которых игра производится без чат-ботов – в ней присутствуют только игроки.

Если мы говорим о мошенничестве и защите своего бизнеса непосредственно операторами – сегодня покер рум без ботов – обычное явление, а операторы тщательно используют ряд проверок и способов для быстрой идентификации и моментальной блокировки ботов. Более того, около 95% таких программ показывают слабую игру и легко распознаются даже неопытными гемблерами.

Насколько реально найти работающий экземпляр покерного бота?

Теоретически это возможно: вы наткнетесь на программу, которая сможет играть в плюс на одном из средних лимитов. Поскольку знаний о «правильной» игре в покер на сегодняшний день накоплено довольно много, можно предположить, что подобный бот смог бы быть успешным.

А если предположить, что разработчикам софта удастся научить искусственный интеллект использовать имеющуюся статистику на оппонентов, иметь несколько вариантов стратегии и учитывать индивидуальные особенности соперников, то эта задача кажется еще более реальной.

Единственная загвоздка: создать такую программу не сможет группа ученых-любителей. Процесс разработки и тестирования покерного бота чрезвычайно трудоемок и сложен, с этим сможет справиться только серьезный институт и профессиональные специалисты.

Вот тут-то и возникает нестыковка: все эти люди трудятся не ради того, чтобы вы в итоге могли заниматься мелким надувательством, обманывая казино. Согласны?

Новейшие покерные ии

Длительно считалось, что программный алгоритм не в состоянии обыграть людей за столами с безлимитным Холдемом. Дисциплина настолько сложная, что большинство профессионалов было убеждено, что программное обеспечение никогда не сможет достичь уровня, при котором сможет находить верные решения, используя ограниченную игровую информацию.

В 2023-ом году, был выпущен совершенно новый покерный ИИ, которого назвали Pluribus. Программу разработали для 6-макс столов и наделили способностью эффективно играть с несколькими противниками. Хотя многие эксперты не верили в успех разработчиков, Pluribus подтвердил, что они ошибались.

Pluribus является самой эффективной разработкой в сфере игрового ИИ в настоящее время, но вполне вероятно, что продолжаю скрыто работать над улучшением производительности и совершенствуют проект. Их целью, конечно же, является не заработок на покере и обман онлайн-румов.

Они уверены, что искусственный интеллект, который способен находить оптимальные решения в столь сложной игровой среде, сможет принести пользу во многих сферах бизнеса и жизни: армия, медицина, финансы… Но это по-прежнему оставляет под угрозой покерных игроков и онлайн-комнаты.

В России конкурс Sberbank Holdem Challenge на лучшего покерного бота в 2023-ом году объявлял Сбербанк.

Очень дорогие конструкторы

Они уже могут применить за игровым столом базовую стратегию и сыграть «в ноль» или даже в минимальный плюс. Поведения за игровым столом может быть изменено путем внесения изменений на каком-то из языков программирования или при помощи специальных скриптов.

Надеяться на серьезный успех и хорошую плюсовую игру в данном случае не приходится – они на такое не способны. Особенно если подняться немного выше по лимитам – там игроки более серьезные, думающие и анализирующие каждое движение соперника.

Они мгновенно приспособятся к стилю игры покерного робота и камня на камне не оставят от вложенного стека (или даже банкролла). Да и расширение возможностей таких программ – довольно хлопотное дело.

Даже добавление пары-тройки новых параметров, которые бы усилили их игру будет стоить очень многих усилий – как финансовых, так и временных. В итоге становится понятно, что цель не оправдает вложенные в это средства. А заниматься невыгодными проектами никакой здравомыслящий бизнесмен не будет.

Первый бот в покере

Первой программой, обыгравшей покеристов в хэдз-апе в Холдеме с лимитными ставками, был робот с названием Cepheus. Его анонсировали в 2023-ом году. Он пользовался покерной стратегией, приближенной к GTO (оптимальной). Цефея создали для игры за лимитными столами, так как она ведется по более простым правилам с ограниченными размерами ставок.

Недостатки данного ИИ существенные:

• Низкая эффективность в игре со слабыми противниками. Они часто действуют неадекватно и их решений порой невозможно предсказать.
• Для прибыльной игры требуются огромные вычислительные ресурсы, что ограничило применение только в рамках исследовательских лабораториях с соответствующим оснащением.
• При принятии решений он пользовался обширной базой данных, которая содержала все возможные сценарии. Это делало Цефея примитивным, несмотря на эффективность в борьбе против профессионалов.

Реальные покер боты, которые работают

Первым покерным роботом можно считать проект «Orac», которым занимался Майк Каро. Он представил свое детище в 1984 году на очередном турнире WSOP. При этом уже тогда многие специалисты удивились довольно высокому уровню игры машины.

Но самым известным проектом является, вероятно, Polaris от CPRG – «The University of Alberta Computer Poker Research Group». Программа способна показывать хорошие плюсовые результаты в хедз-апах по лимитированному Техасскому Холдему.

Почему именно там? Потому что такие игры довольно сильно зависят от математики и лучше поддаются алгоритмизации, чем безлимитные версии игры. А именно это – и есть тот ключ, благодаря которому искусственный интеллект может сравниться и даже в чем-то превозмочь человеческий разум.

Совершенствование алгоритмов

Базовые алгоритмы — это основа для улучшенной стратегии, будет очень полезно разнообразить игру бота приемами, которые часто используют другие игроки и позволяют запутать соперника своими действиями. В целом поговорим о блефе, а точнее частных его случаях.

Продолженная ставка — ставка на следующей улице при проявлении агрессии на предыдущих (рейз, ререйз). Очень популярный прием, часто применяется на флопе если на префлопе мы повышаем хорошей картой (например АК), но не попали в доску и все равно делаем ставку, показывая что у нас хорошая карта (скажем высокая пара).

Для бота, чтобы его игра не была слишком читаема, можно ввести продолженную ставку в 70-80% случаев. Размер ставки нужно выбирать таким же как и ставку с картами в руках, чтобы нельзя было определить блеф. Для продвинутой продолженной ставки можно выбирать подходящие для нее флопы. Т.к. цель этого приема — заставить сброситься оппонента, то нам нужно выбирать флопы в которые оппонент вероятнее не попал.

Агрессивный розыгрыш дро — вариант полу-блефа, когда мы можем получить комбинацию монстр на следующих улицах. Имеет смысл для двухстороннего стрит-дро (у нас QJ, на столе KT4 — туз и 9-ка дают нам стрит), флеш-дро (у нас AhTh, на столе 9h5h3c — любая чирва дает нам натсовый флеш) и любых монстр-дро.

Прием выполняется в расчете на то что оппонент сбросится и даже при продолжении борьбы у нас есть шанс получить лучшую руку. При чем наш монстр будет замаскирован, потому что мы проявляли агрессию, когда еще не было возможности флеша или стрита. При программировании бота можно использовать этот прием, скажем, в 60-70% случаев.

Маскировка — здесь хотелось бы упомянуть о том как можно попытаться замаскировать поведение нашего бота. Определить программу по достаточной истории рук не так сложно — шаблонные действия на префлопе и постфлопе будут ее выдавать. Чтобы избежать этого можно ввести элемент случайности в выбор разыгрываемых карт.

Например, если у нас в диапазоне есть розыгрыш пар JJ , то можно играть валеты в 80% и, например, десятки в 20% случаев. Или варьировать варианты колла и рейза, скажем 50/50. Еще полезно иногда разыгрывать вообще случайные карты (как это бывает часто у людей), тогда нельзя будет выделить точный диапазон разыгрываемых карт и определить шаблонность действий.

Чем боты опасны для онлайн-покера?

На заре онлайн покера самые популярные мнения о ботах звучали так:

• «Искусственный интеллект никогда не сможет конкурировать с человеком при игре в покер, так как покер — игра с неполной информацией и вычислительных мощностей просто не хватит»;
• «Я — отличный игрок и потому с легкостью вычислю и переиграю покерного бота (Вы думаете я вас не переиграю?! Я вас уничтожу!)»;
• «Машина не сможет подстроиться под мою стратегию»;
• «Бот не сможет играть лучше, чем свой создатель. А зачем отличному игроку в покер тратить годы жизни на создание ИИ, если он может выигрывать огромные деньги самостоятельно прямо сейчас?».

Любопытно, что такие мысли высказывали не только обычные регуляры, но и топовые игроки того времени. Том Дван даже предлагал заключить пари Бену «123Sauce» Сульски, на случай, если тот будет играть против покерного бота. Он готов был поставить на Сульски в HU матче на продолжительной дистанции и считал искусственный интеллект откровенным аутсайдером.

Парадоксально, но все игроки в покер знали о том, что именно боты похоронили шахматы и нарды в онлайне. Из-за невероятного количества мошенников люди попросту отказались от идеи играть на деньги в интернете. Да, разработка выигрывающего в покере искусственного интеллекта — более сложная задача. Однако не настолько, чтобы самоуверенно отбрасывать такую вероятность.

С ростом вычислительных мощностей компьютеров увеличивались и шансы встретить за столом ботов. Сперва выявить и переиграть их было легко. Да и сами разработчики не стремились сделать их плюсовыми. В конце 2000-х у многих покерных румов программа лояльности давала возможность зарабатывать большие деньги за счет бонусов и рейкбека. В той же iPoker Network давали рейкбек в 100% и более.

Технический прогресс не стоял на месте и потому все более мощные компьютеры становились доступны широким массам. В том числе и разработчикам ботов для покера. В какой-то момент существование плюсовых ботов стало очевидно всем. Тут-то даже у самых сильных игроков поубавилось самоуверенности. Потери от ботов исчислялись миллионами долларов.

Главная проблема с ботами в покере состоит не в том, что настоящие игроки проигрывают деньги или теряют часть своего дохода. И даже не в миллионах долларов, которые выкачивают из покера мошенники. Ключевая угроза — утрата доверия. Если любитель знает, что быстро проиграет все свои деньги мошенникам, использующим покерных ботов, то он предпочтет не играть вовсе.

Тогда в проигрыше останутся профессиональные игроки, лишившиеся основного источника дохода от рекреационных игроков. Не лучше ситуация будет и у покерных румов, потому что уменьшатся объемы игры, с ними — количество рейка и конечный доход. В итоге эта лавина похоронит под собой весь онлайн-покер.

Ярким примером «убийства» покера можно считать HU кэш-столы. Дисциплина была очень популярна на заре онлайн-покера. В любом покерном руме были десятки столов на низких, средних, а иногда — на высоких лимитах. А потом появились покерные боты и в HU Cash вскоре перестали играть даже плюсовые регуляры.

Заключение

Мы рассмотрели с вами стратегию коротких стеков и ICM, потому что они довольно простые для описания. Есть более общая стратегия больших стеков для безлимитного холдема, но она включает гораздо больше ньюансов, потому что игра продолжается на терне и на ривере в отличие от ССС, и описание ее займет не одну статью.

То же можно сказать и про лимитный холдем — стратегию игры не получится описать вкратце, но он даже больше подходит для алгоритмизации, потому что в нем большее (чем в безлимитном холдеме) значение играет математика. Поэтому при должном знании стратегии в лимитный холдем можно довольно успешно применять ее для составления алгоритма.

И все же не забывайте, что использование ботов и любых подобных программ, которые дают преимущество над другими игроками запрещено в любых покер-румах, поэтому не принимайте эту статью как руководство к действию.

Independent chip model (icm)

ICM – это математическая модель которая применяется в играх Sit-n-go (СНГ) и успешно применяется в поздней стадии этих турниров, так называемый пуш-фолд. Обычно эта стадия наступает когда в стеке становится меньше 10 ББ и нет смыла вступать в игру рейзом или коллом, а есть только два варианта розыгрыша: пуш или фолд.

В турнирах кроме EV (или chipEV, cEV) необходимо ввести понятие $EV – денежная стоимость EV (сколько стоят фишки в призовых деньгах), потому что в турнирах они не совпадают. Довольно четко это видно в начальной стадии, когда удвоение фишек (EV) никак не приведет к удвоению $EV.

Дальше небольшая врезка со скучной математикой ICM, кому не интересно, могут пропустить этот раздел.

В ICM для расчета $EV – ожидаемого дохода игрока с учетом текущего количества фишек, используется следующий способ: вычислятся вероятность с который игрок займет определенное место, потом каждая из вероятностей умножается на денежный эквивалент за это место и суммируется. Вероятность занять первое место определяется как соотношение кол-ва фишек игрока и всех фишек в турнире. Для наглядности будем использовать пример: в СНГ-турнире на 10 человек, стоимостью 10$ (распределение призов между первыми 3-мя местами: 5$, 3$, 2$) осталось 3 игрока со стеками: А=7500, B=4500, C=3000 (для простоты и наглядности расчетов не будем учитывать что блайнды уже поставлены и не находятся в стеках игроков). Таким образом вероятность занять первое место для игрока B:

P_B1 = V_B/(V_ALL) = 4500/(7500 4500 3000) = 30%.

Для определения вероятности игроком B занять 2-е место, нужно определить ее для случая, если выиграет игрок А (Р_А1 = 50%) и если выиграет игрок С (Р_С1 = 20%) и просуммировать их. При этом стек победителя не учитывается:

P_B2 = P_A1 * P_B2,C3 P_C1 * P_B2,A3 =

= 0,5 * 4500 / (4500 3000) 0,2 * 4500 / (4500 7500) = 0,395 = 39,5%.

Получаем P_B3 = 1 – P_B1 – P_B2 = 1 – 0,3 – 0,395 = 0,305 = 30,5%.

Итак $EV_B = P_B1 * V1_$ P_B2 * V2_$ P_B3 * V3_$ =

= 0,3 * $5 0,395 * $3 0,305 * $2 = $3,30.

Теперь, когда мы знаем как рассчитывать $EV мы можем определять выгодность нашего хода. Уточним наш пример — игрок B на позиции малого блайнда с AT в руках, игрок А сбрасывает. Посчитаем какой ход выгоднее: пуш или фолд.

При фолде ничего не меняется и игрок B имеет все те же $EV_фолд = $3,30.

При пуше есть три варианта:

1. 1. Игрок C примет нашу ставку и проиграет. Допустим он будет коллировать с диапазоном: 88 , A9s , AТo, KTs , KQo (10% спектра), тогда проиграет он в 42% случаев. Вероятность такого исхода — 10%*42% = 4,2%, а $EV_B после него составит $4.
2. 2. Игрок С примет нашу ставку и выиграет. Вероятность этого исхода 10%*58% = 5,8%, а $EV_B = $2.47.
3. 3. Игрок С сбросится в 90% случаев и EV_B останется равным $3,30.

Получаем итог $EV_пуш с учетом всех возможных исходов:

$EV_пуш = 0,042 * $4 0.058 *$2,47 0,9 * $3,295 = $3,28. Т.е. наша доля в турнире после этого пуша в итоге уменьшится, получается он невыгоден. На самом деле разница незначительная, поэтому можно назвать этот пуш пограничным, т.е. с лучшими руками нам это делать выгодно, а с худшими нет. В расчетах не учитывались блайнды, чтобы не путать лишними цифрами, а был понятен сам принцип расчета.

Если с математикой все понятно, то остается одна относительная величина — диапазон карт с которыми будет отвечать или рейзить соперник, который нам необходим для расчета наших шансов на победу. Для этого можно использовать заранее определенные средние диапазоны колла и пуша для разных уровней стека относительно блайндов.

Например, для 9-10 ББ можно принять диапазон пуша из ранней позиции: 77 , AJs, AQo, KQs; а колла: TT , AQ. Чем меньше блайндов в стеке, тем шире диапазон. Готовые таблицы стадии пуш-фолд можно найти и использовать на многих покерных сайтах, можно их принять за диапазоны среднестатистического игрока. А если хорошо поработать с этими диапазонами, то можно получить достаточно плюсового бота.