Pokerrobotter bliver mere snu

Hejsa her en lille artikel om pokerbots:

www.computerworld.dk/art/35684?a=block&i=83

Siger ikke helt vildt meget, men omhandler poker, derfor spændende ;)

Der var et indslag i Harddisken på DR for et par år siden (det kan høres online) der handlede om canadisk forsker gruppe der på de tidspunkt var førende på området. De havde arbejdet 12 år på at lave en NL hold em algoritme - og den var langt fra perfekt.

Derfor er jeg ikke voldsomt nervøs for bots online - det er voldsomt at lave en god bot. Og når det lykkes at lave en perfekt hold em AI begynder jeg at spille H.O.R.S.E. og når der bliver udviklet en perfekt HORSE bot ...

Sagt med andre ord bots udvikler sig men det gør spillerne også. Og pokerspillere er mere fleksible end bots.

sunek

P.S. Jeg er uddannet datalog, arbejder som softwareudviker og har arbejdet en del med AI og har en vis fornemmelse hvor kompliceret det er at skrive en god bot.

Det kan da ikke være så svært Sunek, jeg har da set bots på nettet man kan købe for omkring de 30$ ;)

*edit* Ironi ikk ;)

Ja men der spiller også rimlig ringe. Det er ikke så kompliceret at udvikle en bot der kan skubbe pengene ind til midten med AA/KK. Det er langt sværere at få den til at lave bluffs på de rigtige tidspunkter og tage fordel af reads på modstanderen.

Og det er netop de ting, omen påpeger, der får mig til at hvile i sikker tyrkertro på, at bots aldrig har nogen reel fremtid inden for poker.

I skak, der er langt mere stringent matematisk, er det lykkedes at udvikle eksempelvis maskinen Deep Throat (mener jeg den hedder ;-), der gav Garri Kasparov store problemer i 1. match, men de psykiske elementer er en langt vigtige del af poker end skak, og derfor tror jeg aldrig for alvor på en bot, der kan rense ud på NL 100/200 eller lign.

Der er et rigtigt grimt problem, der muligvis giver bots fodfæste.

Alle de profiling data man eks. opsamler i PT og lignende databaser, er de fleste vel enige om kan give en pæn edge?

I så fald tror jeg at en bot vil kunne udnytte den information bedre end 99% af alle pokerspillere, alene fordi den ikke er doven og derfor kan udstyres med heuristiske regler som den vil følge slavisk.
Det vil derfor også kræve en ret god pokerspiller at udstyre den med "spillereglerne". Parer man dette med table selection (Sixth sense), profiling (PT, Sharkscope m.m.), så kan en bot godt skabe problemer for small stakes spillere som mig selv.
Løsningen kunne eks. være hvis Casinoerne lavede nogle algoritmer der hele tiden ændrede spillernes nicks (displaynavne). Men så var det også slut med erfaringsopsamling.

Puma35:

Aldrig?

Jeg tror det vil komme, det er blot et spørgsmål om tid. Og well så må I bare til at grinde livepoker.

Asger Dokkedal
www.dokkedalpoker.dk

Jeg tror, bots er mere udbredte end mange tror. Der er allerede udviklet en bot, der er uhyggelig god og hvis den kan udvikles yderligere bl.a med spilleres hand history og betting history vil den med tiden have gode chancer.

Den med at der aldrig kommer en god bot på markedet, tror jeg ikke på.

Så bygger jeg sq da enlive pokerbot!

Den skal hedde Bender!!!!

Der er jo også en grund til at eks. Party Poker scanner ens maskine så den til tider går helt i knæ :-)

Ca. hvor svært tror i så det vil være at lave en backgammon bot?

Igennem mange år kunne backgammon-programmer ikke spille på bare middelniveau, idet at udfaldsrummene hurtigt blev alt for enorme (grundet terningerne) og positionerne var for svære at opstille "regler" for at evaluere (grundet nogle af de strategier som går på recirkulation af brikker, back games, og timing betonede stillinger, prime og holding games).

Men altså, især det tilfældige element i form af terningerne gjorde det væsentlig mere komplekst at lave bg software end f.eks. skakprogrammer.

Altså indtil:

Breakthough'et kom i IBMs forskningslaboratorier - en klog gut )der hed Gerald Tesauro) forskede i praktisk anvendelse og træning af neurale netværk - særligt temporal difference learning. Han spillede backgammon og valgte for sjov at benytte dette spil til sine eksperimenter. TD Gammon blev født, og med eet var computerne med helt fremme, og begyndte fra dette punkt at styre udviklingen af spillets forståelse. Gamle teorier (såkaldt '70 spil) blev kraftigt revurderet, og den dag i dag er der ingen bg-spillere som tvivler på at botterne kan spille på absolut verdensplan.

Hvorfor er det lige at i tror, at man ikke kan bygge en velspillende pokerbot, ved at benytte forskellige teknikker allerede kendt fra software idag. Der findes avancerede beslutningssystemer, profiling og mining metoder, et hav af sager.

Jeg er sikker på, at jeres opfattelse af pokerbotter vil være en anden om bare 3 år fra nu.

Læs evt. den rapport som computerworld linker til:
www.cs.cmu.edu/~sandholm/texas.aaai06.pdf

Af den fremgår det at der, efter min mening er tale om et temmeligt useriøst forsøg, med meget få spillede hænder mod levende spillere. Konklusionen bliver da også at deres pokerbot taber til mindre øvede men vinder over ekspertspillere. Derfor mener jeg at det er helt til grin at de konkludere noget som helst.

Deres forsøg mod 2 eksisterende robotter virker ligeledes useriøse, hvorfor spilles der dobbelt så mange hænder mod den ene end den anden. Man får nemt den tanke, at det var nødvendigt at nøjes med 5000 hænder mod "vexbot" for at kunne præsentere deres egen bot som en vinder.

@Hooks

Hep.

Og hvem sveder lige mest når der ligger 500K i potten ;-)

"Og hvem sveder lige mest når der ligger 500K i potten ;-)"

Det gør ham, der har sat Botten på autopilot og derved givet Botten 500K at lege med:)

@Hooks

Backgammon er et langt mere simpelt, mekanisk og matamatisk spil. Der er fx ikke noget skjult information i backgammon og der heller ikke nogen falsk information i backgammon. Desuden skal du kun tage højede for 1 modspiller og dermed er det nærmest som skabt til neurale netværk.

Man arbejder også på kunstige intelligenser der skal gøre det samme arbejde som børsmæglere gør i dag. Og her er situationen lidt den samme som i poker. Man har begrænsede sikre informationer, skjulte informationer, falske informationer og et element af tilfældighed.

Jeg siger ikke at det er umuligt, men bare at det er svært. Der vil sikkert også være bots der kan slå de svageste spillere men taber til de bedste - og så må man jo bare sørge for at være en af de bedste.

sunek

I glemmer at en ting er at snyde spillerne...

En anden ting er at snyde pokerudbyderne, som (må antages) tager bot-situationen alvorligt og løbende udvikler sikkerhedsprogrammer til at stoppe dem.

Så når du først har fundet en bot, der kan snyde spillerne skal den kamofleres, hvilket vel også er rimeligt vanskeligt.

Oder was?

Jeg siger jo ikke at du direkte kan overføre backgammonløsningen til poker...

Men blot at man skal være varsom med at afskrive mulighederne for at software kan klare sig i en - alt andet lige - relativt simpel diciplin.

Jeg nævnte blot neurale netværk som et eksempel. Og jeg kan da sagtens forestille mig, at sådanne forskellige net kan bruges i en "ultimativ pokerbot" til nogle steps undervejs. F.eks. kunne jeg forestille mig, at en bot nemt kunne blive bedre til at analysere "flop texture" og få forståelse heraf efter af have trænet millioner af flops.

Og som andre har nævnt, så er mining og profiling mulighederne nok større i en bot end i et menneske.

Det er da med sikkerhed "reading skills" - altså ikke at ryge på bluffs - der er det sværeste at få styr på, dernæst ikke at tabe til klipper med "ensformigt varieret spil" (som de fleste begynderbotter nok vil præstere).

Men som sagt, jeg kan ikke forestille mig, at botter ikke bliver mindst lige så stærke som flesh and blood, i dette simple kabale spil. Dog undervurderer jeg ikke opgaven, som f.eks. en enkelt journalistspire gjorde det tidligere på ugen ;-)

--

Iøvrigt, jeg er enig i dine sammenligninger imellem poker og backgammon, bortset fra at de faktorer du nævner i mine øjne ikke leder til den konklusion at backgammon er et simpelt spil og poker ikke er det! Det er den skjulte information og det deraf følgende større bluff-element der gør forskellen, ikke kompleksiteten.

@Hooks

Jeg fik nok ikke forklaret mig godt nok. Når jeg siger at backgammon er "simpelt" mener jeg set ud fra en computers synspunkt. Du har 1 modspiller, 1 type brikker et fast antal felter og 1 tilfældighedsgenerator der spytter et tal mellem 2 og 12 ud hvert træk. Skak er også "simpelt" sammenlignet med poker - men det et stadig et yderst kompliceret spil at mestre.

sunek

@Snowdown
At kamouflere en bot kræver ikke engang at du kan programmere.

En pokerrobot ville formentlig være baseret på spilteori. Hvis man i en given situation kan finde en optimal bluff frekvens og tilhørende bet størrelse eller optimal value bet size, så er modstanderen forsvarsløs: han taber lige meget om han kalder eller ej.

Den store opgave bliver at finde den optimale bluff frekvens m.v. Den er styret af mange faktorer, f.eks. historik, modstander-type, de aktuelle kort, stack sizes mv. Som Hooks er inde på så kræver det måske et gennembrud hvor en helt ny teknik benyttes.

Jørn

Med tanke på hvormange penge der er i online poker og hvor nemt det er at få mange penge af vejen uden at få blod på tøjet, så tør jeg godt garantere at der i skrivende stund sidder ikke under 5.000-10.000 mennesker worldwide og "arbejder" på problemet.
Man må håbe at casinoerne virkeligt holder sig på tæerne.

Pokerrobotter vil for mig at se kun være en trussel på low fixed limit borde, ud fra den betragtning at ejeren af robotten næppe vil overlade en robot de helt store summer ;-)

På low limitborde vil de sikkert støt og roligt kunne generere et overskud overfor middelmådige, begyndere og dårlige spillere.

Når man kunne sende mennesker på månen allerede i 1969, er jeg ret overbevist om at man allerede i dag snildt kan konstruere robotter, som kan følge foruddefinerede regler såsom odds, position, bettingmønstre, handselection osv.

Alle data der er i handhistorikken kan databehandles og bruges, som man fx gør det i Poker Tracker allerede i dag. Dataene er tilstede! - Og så længe vi taler om fixed limit, så må det være en nem sag for en erfaren programmør at lave software baseret på handhistorikken. - Det er jo præcis det vi selv gør når vi spiller poker! Vi baserer jo vores move på baggrund af det vi har observeret vore modstandere gør - og mange af os bruger netop Poker Tracker til at træffe nogle gode beslutninger.

...just my opinion :-)

Live bots? Har i aldrig set Phil Ivey spille? Eller Chris Ferguson? Helt klart de er blevet opfundet! Ingen tells, sidder altid bomstille, vinder stort, har hjerner som lommeregnere, husker alt ved bordet - plus to ting: Læg mærke til Phil Iveys øjne, der kører fra side til side, og sjældent op og ned :S

Og Chris Ferguson der kan smadre gulerødder med kort - typisk robot-ting!

Så pas på i DPF!




Nah... bare for sjov, tror bots er pænt overvurderede, 5 år endnu, mindst.

artikel på JP om pokerrobotter: politiken.dk/it/article175351.ece