Способен ли робот хорошо играть в покер?

Антон “sandr1x” о ботах и масштабах этой проблемы

Всё очень серьёзно, масштабно и запущено. Ежегодно боты успешно вынимают сотни тысяч долларов из покерной экономики на протяжении уже нескольких лет в большинстве популярных покер-румов, причём делают это относительно незаметно. То, что всплыло недавно на Старзах — лишь верхушка айсберга, об который пока ещё не разбился Титаник гриндеров.

С большой долей вероятности именно боты рано или поздно убьют онлайн-покер, как средство заработка. То есть, сам по себе онлайн-покер как явление, возможно, и продолжит существовать, но больше, как сейчас шахматы в интернете: адекватных дeнeг заработать там уже будет нельзя.

Когда именно это случится — понятия не имею (пессимист во мне говорит, что скорее всего в ближайшие 10 лет). Однако учитывая человеческую природу, можно надеяться, что суммарный лузрейт любителей “заработать побольше и побыстрее” (халявщиков), а также просто любителей полудить (лудоманов), которые и не особенно-то в курсе всех этих движух с ботами, таки позволит продолжать зарабатывать покером какие-то более-менее приемлемые суммы, чтобы можно было жить с покерных доходов ещё, как минимум, всё те же 10 лет.

К тому же, есть надежда и на то, что рано или поздно Старзам дадут зелёный свет в США, что также может послужить эдакой инсулиновой инъекцией, которая позволит покерной экосистеме протянуть чуть подольше. Есть ещё всякие извращенные варианты, типа новых дисциплин, которые ещё нельзя просчитать, но это уже скорее из разряда фантастики 🙂

Тот факт, что на микро-лимиты невыгодно пускать ботов из-за убер-высокого рейка по-прежнему оставляет надежду на какой-то доход всем гражданам стран 3-его мира, где на 300 баксов можно худо-бедно, но жить месяц. Но никогда заранее не знаешь, что выкинет покер-рум в очередной раз, в смысле никто не мешает им понизить/повысить рейк в качестве одной из ряда мер по какому-либо вопросу.

Ну и боты, сами по себе, опасны не тем, что их нельзя будет обыграть. Опасны даже боты с отрицательным игровым винрейтом, но которые плюсуют за счёт рейкбэка и всё равно выводят дeньги из системы, ничего в неё не привнося.

Главная опасность ботов в том, что можно запустить много их копий, которые не устают, не просят кушать и не ошибаются.

Так что, резюмируя, всё очень плохо и скорее всего будет только хуже, но надежда умирает последней 🙂

Безнаказанность ботоводов

Все, что ждет мошенника, запустившего бота в рум — это бан и заморозка средств. Никакой уголовной или финансовой ответственности он не боится, потому что сейчас никто таких нарушителей не преследует. А ведь закон мог бы стать вполне эффективным средством защиты от ботов.

Но проблема в том, что во многих странах онлайн-покер не регулируется государством, да и румы пока не стремятся влезать в эту юридическую возню. Мы не продаем пистолеты на улице, потому что знаем, что за этим последует уголовное наказание. У ботоводов же развязаны руки.

В покерной индустрии встречаются и совсем “дикие” истории, когда недобросовестные румы не только не выявляют ботов, но и сами создают их! Вспомните свежий скандал с Doha Poker, куда побежали вполне толковые регуляры и посливали свои дeньги против ботов.

Ребята уже прямо в чате PokerStars смело продают майнинг по Spin&Go, куда активно зазываются все рекреационные игроки. Как скоро боты появятся и там?

Чтобы лучше разобраться в этой проблеме, я решил обратиться к известным регулярам и задал им вот эти вопросы:

• Что вы думаете о ботах на PokerStars?
• Насколько серьезно / масштабно это явление?
• Что нас ждет в будущем?

С их ответами я и предлагаю вам ознакомиться. 

Боты чаще встречаются за кэш-столами

Конечно, некоторые игроки используют программное обеспечение, принимающее за них решения. Трудно говорить об эффективности общедоступных программ, но определенную угрозу для нормальных пользователей они создают. Под ударом, в основном, оказываются любители, так как профессионалы играют определенно лучше, чем примитивные приложения.

По большей части такое ПО используется в кэш-играх. Формат кэш-игр намного лучше подходит для этих целей, так как дисперсия меньше, а изменения в размере стека менее важны.

В турнирах, особенно в многостоловых, труднее найти оптимальное решение в каждой игровой ситуации. В МТТ на принятие решения влияют не только карты и ставки, но особенности соперников, размеры стека и блайндов, близость призовой зоны, стоимость участия и многое другое.

Как выявить нечестную игру

Опытные игроки периодически выявляют соперников-ботоводов и обращаются с жалобами в службу безопасности покер-румов. На покерных форумах периодически появляются сообщения о выявлении и блокировках нечестных оппонентов.

Признаки, указывающие на возможное использование соперником запрещённых программ:

• Противник имеет одинаковую статистику при значительном размере выборки рук и используют одну и ту же стратегию во всех ситуациях.
• Игрок всегда играют по стратегии GTO и никогда не отклоняются от нее, что является очень подозрительным. Ни один реальный покерист-человек не может играть все время идеально.
• Тратится одинаковое время на выполнение действий по всем решениям (хотя, можно запрограммировать обратное).
• Оппонент никогда не отвечает в чате, даже когда соперники заявляют о своих подозрениях (конечно, есть пользователи, которые стараются не отвлекаться от игры или не понимают язык обратившегося).
• Противник регулярно отыграет невероятно длинные сессии или сидит за нереально большим количеством столов.

Для выявления некоторых перечисленных признаков необходимо использовать вспомогательный покерный софт — трекеры, собирающие статистику на соперников. К сожалению, все больше покер-румов сужает перечень разрешенных программ или вовсе запрещают их использование.

При возникновении подозрений необходимо обратиться в службу поддержки покер-рума и попросить проверить игровую историю пользователя. Независимо от ответа службы безопасности, рекомендуется сразу пометить сомнительного игрока (составить нотс) и избегать столов за которыми он сидит.

Да, покерные боты реальны, и да, они становятся лучше и сложнее с каждым днем. Однако поводов для паники пока нет. Онлайн-покер не завоевывают роботы. Большинство оппонентов состоят из плоти и крови, поэтому для того, чтобы победить их, нужно просто стать лучше в игре в покер.

К счастью, многие ведущие сайты онлайн-покера выделяют значительные инвестиции на развитие обеспечения честности игры и на выявление пользователей, использующих запрещенное программное обеспечение. Игроки могут быть уверены, что авторитетные сайты учитывают их интересы.

Мнение известных регуляров о ботах в покере

Андрей “NOEL”: Довольно редко играю на PokerStars, чтобы оценить это явление. В Pacific`е (888Poker), после того, как наша группа устроила кипиш на форумах, большинство старых ботов забанили (либо они просто исчезли). Но со со временем появились новые и рум снова не реагирует, а второй раз проводить всю аналитическую работу просто руки опускаются.Что касается дисциплин:

• HuSnG (особенно гипертурбовые) уже почти мертвы и дело больше не в онлайн-ботах, а в просчитываемости стратегии. Никто же не мешает выписать таблицы на бумажку или даже создать программу, которая не противоречит правилам рума, но к примеру, подсказывает голосом и дает советы в реальном времени.
• Holdem NL. Тут боты могут могут существовать на микро или низких лимитах, выше вряд ли, в основном потому, что компетентные игроки их быстро вычислят и риск бана / потери средств довольно высок. Именно поэтому нельзя запрещать майнинг / трекинговые сайты / менеджеры и т.п. 
• Omaha. Мое мнение, что сюда они ещё нескоро доберутся, плюс там огромный рейк на низких лимитах и меньше преимущество над слабыми игроками.

Что касается будущего онлайн-покера и угрозы в виде заполнения комнат ботами, то тут все зависит от темпа роста вычислительных мощностей. Обойти Службу Безопасности рума не так уж и сложно, как вариант набрать тех же студентов за “за еду”. Остаётся надеяться, что это произойдёт не так скоро.

Алексей “Gump” Макаров: Для меня очевидно, что со временем программы (боты) в абсолютно любую игру смогут уничтожить любого, даже самого сильного игрока. И румы, безусловно, должны бороться с “программной помощью” покеристов во время игры. Иначе онлайн покер загнется еще быстрее, чем это ожидается. Правда, это в любом случае, лишь вопрос времени.

Дмитрий “Bizi” Моторов: Рано или поздно компьютер всех поимеет, а покер в интернете, в том виде, в котором он есть сейчас — загнется. Но я не вижу в этом ничего страшного.

Немного истории

Если обратиться к истории, то выяснится, что покер-боты уже давно пытались создавать самые “прогрессивные” умы человечества. Так, одним из самых первых ботов, о которых мы знаем, стала программа под названием “Orac”, которую создал профессионал в мире карточных игр Майк Каро.

Разумеется, тот алгоритм не мог обыгрывать настоящих профессионалов в покере, и когда его проверили на практике в 90-х годах, выяснилось, что люди, в отличие от программ, умеют подстраиваться под игру соперника. И те люди, которые играли против “Orac”, очень быстро поняли, как можно обманывать программу, заставляя её “думать” не в том направлении.

Новейшие покерные ии

Длительно считалось, что программный алгоритм не в состоянии обыграть людей за столами с безлимитным Холдемом. Дисциплина настолько сложная, что большинство профессионалов было убеждено, что программное обеспечение никогда не сможет достичь уровня, при котором сможет находить верные решения, используя ограниченную игровую информацию.

В 2020-ом году, был выпущен совершенно новый покерный ИИ, которого назвали Pluribus. Программу разработали для 6-макс столов и наделили способностью эффективно играть с несколькими противниками. Хотя многие эксперты не верили в успех разработчиков, Pluribus подтвердил, что они ошибались.

Pluribus является самой эффективной разработкой в сфере игрового ИИ в настоящее время, но вполне вероятно, что продолжаю скрыто работать над улучшением производительности и совершенствуют проект. Их целью, конечно же, является не заработок на покере и обман онлайн-румов.

Они уверены, что искусственный интеллект, который способен находить оптимальные решения в столь сложной игровой среде, сможет принести пользу во многих сферах бизнеса и жизни: армия, медицина, финансы… Но это по-прежнему оставляет под угрозой покерных игроков и онлайн-комнаты.

В России конкурс Sberbank Holdem Challenge на лучшего покерного бота в 2020-ом году объявлял Сбербанк.

Объяснение формулы

p*pot*0,91 = win

Первый бот в покере

Первой программой, обыгравшей покеристов в хэдз-апе в Холдеме с лимитными ставками, был робот с названием Cepheus. Его анонсировали в 2020-ом году. Он пользовался покерной стратегией, приближенной к GTO (оптимальной). Цефея создали для игры за лимитными столами, так как она ведется по более простым правилам с ограниченными размерами ставок.

Недостатки данного ИИ существенные:

• Низкая эффективность в игре со слабыми противниками. Они часто действуют неадекватно и их решений порой невозможно предсказать.
• Для прибыльной игры требуются огромные вычислительные ресурсы, что ограничило применение только в рамках исследовательских лабораториях с соответствующим оснащением.
• При принятии решений он пользовался обширной базой данных, которая содержала все возможные сценарии. Это делало Цефея примитивным, несмотря на эффективность в борьбе против профессионалов.

Покерные боты отталкивают любителей

Любители покера не боятся проиграть дeньги профессионалу, они даже с удовольствием бросят ему вызов, но они навряд ли захотят играть в покер-руме, где обитают боты. У них и так периодически закрадываются мысли о том, что тут все подстроено и нечестно.

Если по правде, то я думаю, что PokerStars пока одна из самых защищенных комнат в этом плане, но считают ли так рекреационные игроки? Несколько дней назад мы запустили опрос в группе Покерофф в Вконтакте и задали подписчикам простой вопрос “А есть ли боты на PokerStars?”. В опросе приняло участие несколько сотен игроков и вот какие результаты мы получили:

Это не в коем случае не отражает действительности, но все же статистика негативных ответов немного настораживает.

А что думаете об этом вы? Есть ли боты на PokerStars? Станет ли их больше? Какое будущее ждет онлайн покер? И вообще, удастся ли нам избежать “восстания ботовых машин”?

Принятие решений в покере

В отличие от шахмат, покер — игра с неполной информацией. То есть, игроки не знают, какая карта есть на руках у оппонентов — они могут это лишь предполагать с определенной степенью вероятности. Правила покера просты — выигрывает тот, у кого на руках сильнейшая комбинация, составленная из его карт и тех, что на столе, или последний оставшийся игрок, если все остальные сбросили.

Из каких блоков будет состоять наш робот? Рассмотрим по пунктам:

• Logic — Блок логики принятия решений (Fold, Call, Raise)
• Negotiator — Блок взаимодействия с программой для игры в покер;
• Statistics — Блок обработки и накопления статистики по игрокам.

Из Negotiator в Logic поступает информация о текущих действиях на столе. Из Logic в Negotiator — информация о своих действиях, которые нужно совершить (сделать Fold, Call или Raise). Из Negotiator в Statistics — информация о действиях игрока за столом для последующей обработки и хранения. Из Statistics в Logic — информация о статистических данных игроков.

Как правило, во время каждого хода игрок может принять три решения: Fold, Call, Raise. Есть еще All-in — когда денег для продолжения игры нет, и придется поставить все. Существует множество алгоритмов принятия решений: DIVAT анализ, дерево решений, различные эмпирические алгоритмы (кстати, большинство из этих алгоритмов используют вероятность выигрыша). Мы будем использовать в принятии решений беспристрастную математику, а точнее — теорию вероятности.

Формула принятия решений в покере чрезвычайно проста: p*pot = win, где p — вероятность выигрыша с текущими картами (на руках и на столе), pot — размер банка на момент принятия решения, win — выигрыш, который мы получим, если будем разыгрывать множество партий с этими картами.

Если win < bet_cur, то Fold

Если bet_cur SB > win >= bet_cur, то Call (или Check)

Если win >= bet_cur SB, то Raise (или Bet)

Если на первом круге торговли мы поставили всего $10, а на втором круге мы должны поставить $5, и в этот момент мы принимаем решение, то bet_cur равно $15 (10 5). SB (Small Blind) — размер малого блайнда «(первая ставка вслепую — прим. ред.)». Это значение прибавляется к bet_cur во втором условии, так как мы можем увеличивать ставку только на число, кратное малому блайнду.

Следовательно, если win > bet_cur, но при этом win < bet_cur SB, то увеличивать ставку нам не выгодно, так как пришлось выставить bet_cur SB. BB (Big Blind) — размер большого блайнда.Стоит также добавить, что эта формула может использоваться только в компьютерной игре — в жизни за столом вряд ли будет возможность самому вычислять вероятность выигрыша и все это считать.

Карта записывается двумя латинскими символами. Первый символ — достоинство карты, второй — масть. Карты от 2 до 9 так и записываются. T — десять (хотя иногда и просто 10), J — валет, Q — дама, K — король, A — туз. Трефы — c, пики — s, бубны — d, червы — h.

Как видно из кода, сначала функция складывает карты на руках и карты на столе в один массив, потом сортирует его, а далее по порядку определяет комбинации.

Определение идет от сильнейшей комбинации (флеш-рояль) к слабейшей (старшая карта). Чтобы комбинации отличались друг от друга, они имеют область действия — набор значений карт, находящихся в этой комбинации. Так, комбинации High card (старшая карта) соответствуют значения от 0 до 12, где 0 — это High card со старшей «двойкой», а 12 — со старшим тузом. А комбинации «пара» соответствуют значения от 13 до 25, где 13 — «пара» со старшей «двойкой», а 25 — со старшим тузом.

И, наконец, сделаем функцию для опреде ления вероятности выигрыша (getProbabilityOfWin). Параметры этой функции следующие: свои карты, карты на столе (если есть) и количество игроков. Далее все просто — раздаем случайные карты остальным игрокам, выкладываем карты на стол (если их еще нет или не хватает) и проверяем комбинации.

Маленькое замечание по моделированию: карты игрокам лучше выдавать случайно, а не мешать колоду, а потом выдавать, так как в первом случае будет быстрее.

1. Раздать случайные карты игрокам;
2. Положить случайные карты на стол (если на столе еще не пять карт);
3. Сравнить свою комбинацию с комбинациями других игроков;
4. Если наша комбинация лучшая, то прибавляем к количеству выигранных раундов 1/;
5. Повторяем шаги 1-4 нужное количество раз;
6. Вероятность выигрыша равна /. К коду я приложил unit-тесты, так что можно сразу проверить работоспособность всех методов.

По законам РФ и других государств создание и использование покер-ботов (и ботов для других игр) не запрещено. А по правилам всех известных мне покер-румов — запрещено.Что это значит? Если ты попался на использовании бота, то самое страшное, что тебе грозит — это бан аккаунта и списание с него всех средств. Все.

Покер-румы строго следят за проблемой «ботоводства» и, к счастью, имеют достаточно инструментов в своем арсенале.

Отслеживание ИИ в покере проводится с помощью мониторинга фоновых программ игроков, проверка курсора на естественность и анализа большого объема истории раздач.

Последний пункт сильнее всего выдает “робота-покериста”. Причина в том, что игра компьютера на больших дистанция практически неизбежно показывает в точности повторяющиеся закономерности. Такая статистика существенно отличается от обычных игроков и практически на 100% позволяет отличить машину от человека.

С другой стороны в борьбе с ИИ выступают сами игроки. Опытные игроки обращают внимание на следующие закономерности в игре соперников:

• Использование идентичного размера ставки.
• Одинаковый интервал времени на принятие решения;
• Неоднократное использование определенной линии действий (в частности необычных);
• Участие в сессиях в примерно одинаковое время;
• Игнорирование вопросов в чате;
• Нетипичные значения отдельных статистических показателей при плюсовой игре.

Однако в случае с собственной борьбой с «покерными-роботами» существует тонкая грань, между бдительностью и паранойей.

Соблазн окрестить оппонента нечестной программой особенно велик при долгих проигрышах или под воздействием сильных эмоций. К сожалению, это регулярно порождает появление тем на форумах о ботах-соперниках, где основные обвинения строятся на сомнительных доводах и эмоциях от проигрышей.

Соберите на “подозреваемого” как минимум несколько тысяч раздач, поищите в интернете примеры, как ранее уже раскрывали ботов и сопоставьте это с вашим случаем. Если сомнения только усилились — подробно опишите ваш случай на форуме и продублируйте обращение в службу поддержки покер-рума.

Если же окажется, что вы действительно противостояли покерной программе, и даже проиграли немало денег, всегда существует вероятность того, что покер-рум компенсирует вам средства.

Известно немало историй с положительной концовкой. Взять к примеру случай с участием покериста и тренера Пола Отто. Тому удалось обнаружить ботов на просторах популярной сети MicroGaming: ботов забанили, а пользователям, которое понесли материальный ущерб, руководство вернуло средства.

Другой пример произошел в малоизвестном шведском операторе Svenska Spel. Обнаружив факты ботоводства, компенсировал пострадавшим игрокам почти 4 млн шведских крон, что равно около $590 тысячам. Оказалось, что в сеть ботоводов входило порядка 10-ти аккаунтов, которые активно играли в покер-руме на лимитах от $50 до $500 в течение полугода.

Не совсем.

В некоторых случаях разработчиками ботов выступают ученые. Они не преследуют цель зарабатывать с помощью программы деньги в покере. Главная задача такого разработчика — общее изучение  искусственного интеллекта.

Полученные наработки применяют в науке, медицине и любой другой сфере связанной с нейросетями. Дело в том, что покер — та уникальная среда с наличием закрытой информации, где можно наглядно оттачивать и исследовать те самые оптимальные алгоритмы работы ИИ. Именно в покере можно безвредно протестировать способность нейросети находить верное решение в условиях неопределенности. Успешно протестированный алгоритм сможет решать более важные задачи, где цена ошибки гораздо выше, чем в покере.

Одним из таких крупных исследований стал резонансный поединок людей с покерным ИИ под названием «Brains Vs. Artificial Intelligence: Upping the Ante» (в переводе “Мозги против Искусственного Интеллекта”).

В ходе 20-дневной игры один на один в Fix Limit Holdem программа «Libratus» соревновался против участников команды профи, в состав которой входили Донг Ким, Джейсон Лес, Даниэль Макоули и Джимми Чу. После 120 тысяч сыгранных раздач с гигантским отрывом в 1,7 млн условных фишек победила программа, разработанная учеными из университета Карнеги-Меллона.

Проблемы обнаружения ботов

У меня есть несколько опасений, которые говорят в пользу того, что процесс обнаружения ботов сейчас далек от эффективного. Вот лишь некоторые из них:

1. Выявлять ботов зачастую приходится регулярам.  Это мое субъективное мнение, но по моим наблюдениям, выявлением “качественных” ботов чаще занимаются регуляры, а не Службы безопасности покер-румов. Обратите внимание на обилие подобных разоблачительных постов на 2 2.

Именно игроки собирают статистику, сравнивают ее, анализируют и публикуют отчеты на форумах, чтобы обратить внимание комнат на конкретных ботов. А ведь ребята проделывают титаническую работу по обнаружению этих самых ботов, хотя в первую очередь этим должна заниматься Служба безопасности.

2. Невозможность обнаружения вспомогательных ботов. Совсем недавно разгорелся серьезный скандал (советую почитать) вокруг софта, позволившей группе регуляров на PokerStars значительно улучшить свои результаты в гипер-турбо HuSNG за счет получения оптимальных решений в режиме реального времени.

При этом Старзы даже не стали запрещать этот софт, но после бури негативных комментариев от игроков, все же решили причислить подобные программы к тем, что нарушают правила (иначе гипер-турбо HUSNG просто вымерли бы). Но вот скажите мне, что мешает таким игрокам запустить этот софт на другом компьютере и получать все те же подсказки по раздачам (скажем голосом)? Как тогда покер-румы будут с этим справляться? И смогут ли?

По словам известного российского регуляра Виталия «hiNt» Волова софт, который создал парень с ником «skier_5», позволил ему и группе его клонов / друзей (AllinGirl777, freechdogg и Caivina) обыграть на дистанции многих сильнейших ПРО с гипер-турбо хаснг на самых разных лимитах с впечатляющим показателем $/hr. Причем с подозрительно схожими показателями, которые поначалу никак не впечатлили секьюрити PokerStars.

После активного изучения этой темы на 2 2, Хинт пришел к выводу, что программа «skier_5» представляет собой утилиту для MacOS, которая либо дает команды голосом, сканируя информацию за столом, либо же слушает команду игрока и распознав ее — дает правильный совет “как надо сыграть”. Именно из-за этой особенности эти “талантливые” ребята, как правило, играли по 2 стола.

В этот раз данные игроки спалились из-за одинаковых показателей, а если бы цифры были разные или софтом пользовался только один из них? Насколько быстро Служба безопасности рума вычислила бы этого парня? И вычислила бы вообще?

Способен ли робот хорошо играть в покер?

Технология развивается и позволяет ботам зарабатывать больше

Скорость эволюции покерных ботов растет с каждым годом, согласно “закону Мура” вычислительные возможности (скорость работы процессоров и обработки памяти) удваиваются раз в пару лет. При этом я не думаю, что подобные программы пишут исключительно студенты-энтузиасты, есть мнение, что часть ботов создается при активном участии (в т.ч. и финансовом) недобросовестных регуляров, что еще больше ускоряет весь этот процесс. С каждым годом технических возможностей для создания плюсового бота становится все больше.

В середине 90-х Гарри Каспаров утверждал, что в течение 20 лет не будет создано программы, способной переиграть в шахматы гроссмейстера экстра класса и уже через 2 года потерпел поражение от детища IBM  — бота «Deep Blue». Поэтому смею предположить, что нашествие плюсовых ботов во многих покерных дисциплинах это лишь вопрос времени.

Но ведь румы будут их блокировать, верно?

Вывод

Что же в итоге мы выяснили по проблеме ботов в современном онлайн-покере? Она реальна и является одной из основных. Нельзя сказать, что ботоводы выигрывают в противостоянии с румами и игроками в одни ворота. У последних есть много способов борьбы с запрещенным ПО и, самое главное, что их эффективность резко возрастает в случае совместной работы игроков, румов и аффилейтов. Боты за столами не выгодны, в конечном счете, никому из них.

Для хороших регуляров боты опасны, в первую очередь, не как соперники (реги и сейчас имеют большие возможности плюсовать на любых лимитах), а как нарушители покерной экологии, уничтожающие за столами, благодаря своим техническим преимуществам, игроков-любителей.

Как написал в одной из своих статей Антон “Purity” Моисеенков:

“Я думаю, что основное, что вы можете противопоставить любому боту — хороший уровень игры в покер. И каким бы ни был бот, он все равно не сможет с вас наживать.”

Все новости по игре в различных румах и закрытых резервациях на приватных условиях мы публикуем в нашем Телеграм-канале. Подпишись, чтобы не упускать EV.