Een digitale trainer voor het kaartspel Tai Pan!, de Nederlandse uitgave van Tichu. Je speelt tegen drie bots in vier niveaus, zonder account, en een coach vertelt na elke ronde welke keuzes je punten kostten. Claude Code bouwde het in zes fasen, naar ontwerpdocumenten die de eigenaar vooraf vastlegde. Deze pagina laat zien hoe, en vooral hoe de bots denken: van een paar vuistregels tot een zoekboom over werelden die de bot niet kan zien.
Speel Tai Pan! Trainer →Alles draait om één spelengine die de volledige stand kent: alle 56 kaarten en wie wat heeft. Niemand anders krijgt die stand te zien. Bots, coach en speltafel krijgen alleen een SpelerView: je eigen hand plus wat iedereen aan tafel kon zien. Daaruit kiezen ze een zet uit de lijst met legale zetten, en de engine controleert die zet. Zo kan een bot niet valsspelen, ook niet per ongeluk.
De volgorde lag vooraf vast: eerst de regels, dan de bots, dan het scherm, dan de coach, dan online. Elke fase begon met een ontwerpdocument en eindigde met tests en metingen. Elke stap ging via een eigen branch en pull request; de eigenaar mergede zelf.
Eerst een regelspecificatie: 76 genummerde regels en 20 randgevallen, zoals wat er gebeurt als je de Hond speelt terwijl er een wens openstaat. Daarna een spelengine zonder scherm die precies die regels uitvoert, met per toestand de lijst van legale zetten. Elke test verwijst naar een regelnummer, zodat een falende test altijd naar een regel terug te leiden is. Tienduizenden zelfgespeelde potjes controleren dat er nooit een illegale zet doorheen glipt.
Vier deelstappen. Een heuristische bot met vuistregels. Een eerste sterkere bot met determinisatie en een zoekboom, die later als meetlat werd bevroren. Daarna de “sterke bots v2”: eerst een evaluatieharnas om eerlijk te meten, dan kaarttracking, een meldmodel en ISMCTS. Tot slot instelbare moeilijkheid met acht knoppen en vier niveaus. Hoe dat werkt, staat verderop.
Eerst speelbaar tegen drie bots in de browser. Daarna het design: Song-inkt, met China ten tijde van de Song-dynastie als thema, en een eigen kaartontwerp met de index in de hoek. Dan sorteren en slepen in je hand. Een vierde stap, het tempo van de bots, bleef bij onderzoek. De laatste stap splitste de app in twee varianten: Tai Pan - Train, altijd tegen bots en met de coach, en Tai Pan - Play, zonder coach.
Zes coachstappen, elk met een eigen pull request: een ronde terugkijken zet voor zet, een meldregel die de stand van de wedstrijd meeweegt, een meldcoach, een evaluator die per beslissing berekent wat die kostte, drills, en een voortgangsprofiel dat je per vaardigheid naast de botniveaus legt. De analyse draait in de browser, in web workers, zodat het scherm niet hapert.
Een lobby, verbinding via WebSockets, herstel na een weggevallen verbinding, en bots die lege stoelen opvullen. De server is de baas: hij stuurt elke speler alleen zijn eigen view. Online zit alleen in Play. Het is gebouwd en getest, maar nog niet ergens op internet gehost. Op dezelfde dag kwam de Engelse versie van Train en de publicatie op deze site; op 21 oktober kon je kaarten doorgeven ook met tikken, voor telefoons.
Apps voor telefoon en tablet die via dezelfde online-laag spelen: dezelfde lobby en hetzelfde protocol, zodat mobiel en web aan één tafel kunnen zitten.
Legt per fase vast wat er moet komen, beslist bij keuzes die het doel raken, bekijkt elke pull request en merget zelf.
Schrijft de ontwerpdocumenten uit tot code, schrijft de tests, draait de metingen en noteert waar de bouw bewust afwijkt van het ontwerp.
Vijf documenten: spelregels, sterke bots, botmoeilijkheid, coachlaag en online. Een herzien ontwerp krijgt een nieuw versienummer; regelnummers blijven altijd gelijk.
Elke nieuwe botversie moest zijn voorganger aantoonbaar verslaan. Elke versie blijft daarna bevroren staan als meetlat, zodat vooruitgang later nog steeds te bewijzen is. Zo ontstond een ladder van vijf sporten. De grafiek toont hoeveel punten per deal elke sport wint van de sport eronder.
Het streepje over elke balk is het 95%-betrouwbaarheidsinterval. ISMCTS is duur (ongeveer een seconde per ronde in plaats van een paar milliseconden), daarom zijn daar 300 deals gemeten in plaats van 4000, en is het interval breder.
Kiest blind een van de legale zetten. Speelt nooit iets verbodens, maar ook nooit iets slims. Hij is er alleen om de onderste sport van de ladder te zijn.
Speelt zoals een beginner die de basis kent. Komt uit met de goedkoopste combinatie, slaat net hoog genoeg, geeft de drie laagste kaarten door, geeft de Draak aan de tegenstander met de meeste kaarten en meldt Tai Pan! boven een vaste drempel voor handsterkte. Geen kansberekening, geen geheugen, geen vooruitkijken. Al een enorme sprong ten opzichte van willekeurig.
Houdt bij welke kaarten weg zijn en trekt harde conclusies over wie wat niet meer kan hebben. Telt daarnaast exact hoeveel beurten hij nog nodig heeft om leeg te komen, steunt zijn partner en weet wanneer een bom loont. De grootste winst na de vuistregels, voor weinig werk.
Beslist over Grote en Kleine Tai Pan! met een model dat uit 200.000 oefenrondes heeft geleerd welke handen een melding waard zijn. Later kwam meld-v2, die ook de stand van de wedstrijd meeweegt: wie ver achter staat, moet vaker durven. Die wint 53,4% van de gepaarde wedstrijden tegen meld-v1.
Bovenop alles hierboven een zoekboom: per zet honderden keren een mogelijke verdeling van de verborgen kaarten trekken, uitspelen en bijhouden welke zet het vaakst goed uitpakt. Mediaan 128 ms rekentijd per zet, maximaal 0,9 seconde.
In de volgorde waarin ze zijn gebouwd. Elk begrip bouwt voort op het vorige.
Een heuristiek is een vuistregel: een snelle manier om een redelijke keuze te maken zonder alles uit te rekenen. “Kom uit met je laagste losse kaart” of “geef de Draak aan wie de meeste kaarten heeft” zijn voorbeelden. Een heuristische bot is dus een bot die alleen zulke regels volgt. Hij is snel (een milliseconde per ronde) maar kijkt niet vooruit en kan niet tellen.
De heuristiek verdwijnt niet als de bots slimmer worden. De zoekboom van de sterkste bot gebruikt hem om denkbeeldige potjes snel uit te spelen, en hij bepaalt welke acht zetten de moeite van het doorrekenen waard zijn.
Het meetinstrument om te bewijzen dat een nieuwe bot beter is. In Tai Pan! is het geluk van het delen enorm: één Grote Tai Pan! is 200 punten waard. “Bot B won 55 van de 100 potjes” zegt dan niets. Daarom speelt het harnas elke deal twee keer met precies dezelfde kaarten, de tweede keer met de teams van plaats gewisseld, zoals bij wedstrijdbridge. Wat overblijft na middelen is het verschil in spel, niet in kaarten.
Over duizenden deals levert dat een gemiddeld verschil met een betrouwbaarheidsinterval. Een nieuwe versie telt alleen als beter als dat hele interval boven nul ligt. Voor bots die de stand van de wedstrijd meewegen, doet het harnas hetzelfde met complete wedstrijden en meet het de winkans. Dit harnas werd als eerste gebouwd, vóór de bots die het moest meten.
Boekhouding, geen kunstmatige intelligentie: bijhouden wat er gespeeld is en daar conclusies uit trekken. Een bot die dit niet doet, verbrandt zijn Aas terwijl de Draak allang weg is. De bot leest alleen wat iedereen aan tafel zag, en houdt twee soorten kennis streng gescheiden.
Harde kennis is bewijs en mag mogelijkheden uitsluiten. Zachte kennis maakt iets alleen waarschijnlijker of minder waarschijnlijk. Een test liet de tracker meelopen met de echte, verborgen handen in 1000 oefenrondes en controleerde na elke zet dat geen enkel “bewijs” ooit onjuist was.
Grote Tai Pan! meld je na acht kaarten, nog vóór de laatste zes binnen zijn. Daar valt weinig aan vooruit te rekenen; het is een schatting. Het meldmodel schat de kans dat jij als eerste uitgaat, op basis van kenmerken van je hand: de Hond (sterk tegen melden), de Draak, de Fenix en het aantal azen (sterk vóór).
Om te leren speelde de computer 200.000 deals, elke deal meerdere keren met dezelfde kaarten: één keer met melding, één keer zonder. Het verschil in score is wat die melding echt opleverde, inclusief verborgen kosten zoals een partner die zijn eigen spel opoffert. Uit die metingen volgt de drempel: niet “meer dan 50% kans” uit gewoonte, maar het punt waar melden gemiddeld punten gaat opleveren.
Gemiddelde verandering in teamscore door Grote Tai Pan! te melden, gemeten op identieke kaarten, per kansgroep van het model. Bij Kleine Tai Pan! ligt de drempel op 47,5%.
Het model is bewust een logistische regressie en geen neuraal netwerk: het moet kunnen uitleggen waarom. Dezelfde uitleg gebruikt de meldcoach in de app (“deze hand is een melding waard, vooral door de Draak en twee azen”). Het model is gekalibreerd: van alle handen waaraan het 40–50% kans geeft, ging 45% ook echt als eerste uit.
Twee verwante woorden. Deterministisch betekent: dezelfde invoer geeft altijd dezelfde uitkomst. Het schudden in de engine gebeurt met een vaste startwaarde (een seed), en elke bot krijgt zijn eigen seed die is afgeleid van die van de ronde en zijn stoel. Daardoor is elke ronde precies opnieuw af te spelen. Dat is nodig voor de dubbelloop (twee keer dezelfde kaarten), voor het terugkijken en voor de coach. Een bot krijgt nooit de seed van de ronde zelf, want daaruit zou hij het hele kaartspel kunnen reconstrueren.
Determinisatie is een zoektechniek voor spellen met verborgen kaarten. Je doet alsof je de kaarten van de anderen kent: je deelt de onbekende kaarten op een manier die klopt met wat je weet, en rekent dat denkbeeldige potje door alsof alles open op tafel ligt. Dat herhaal je honderden keren en je kiest de zet die gemiddeld het beste uitpakt. Zo werken veel bridge- en klaverjasbots, en zo werkte de eerste sterkere bot in fase 2.
Het zwakke punt heet strategy fusion. In elk denkbeeldig potje “weet” de zoeker hoe de kaarten zitten en kiest hij daar de perfecte vervolgzet. Aan tafel weet je dat niet en moet je één keuze maken voor alle mogelijke verdelingen tegelijk. Daardoor overschat de bot zichzelf, juist bij kaarten als de Fenix waar het om draait.
De oplossing voor strategy fusion. Monte Carlo Tree Search (MCTS) bouwt een boom van zetten en verbetert die door telkens een potje uit te spelen en te onthouden hoe het afliep. ISMCTS doet dat over informatiesets: een knoop in de boom is niet één exacte toestand, maar alles wat de bot met zijn kennis niet van elkaar kan onderscheiden. Elke ronde door de boom trekt een nieuwe denkbeeldige verdeling, maar alle verdelingen delen dezelfde boom. Een zet scoort dus alleen hoog als hij goed is over veel werelden tegelijk.
Eén iteratie van de zoektocht bestaat uit vier stappen, die de bot honderden keren per zet herhaalt:
Na het budget kiest de bot de vaakst bezochte zet. Bommen buiten de beurt, de wens en de Draak handelt hij met vuistregels af, anders explodeert de boom. Met te weinig rekentijd is de zoeker slechter dan de heuristiek alleen (bij 20 iteraties 82 punten per deal slechter); onder de 100 iteraties houdt de bot daarom de zet van de heuristiek aan.
Een bot die altijd zo sterk mogelijk speelt, is geen prettige oefenpartner. Daarom zitten er acht knoppen om de kern heen, K1 tot en met K8: geheugen, rekentijd, beslisruis, meldruis, doorgeven, partnerspel, bommen en de wens. De vier niveaus zijn vaste standen van die knoppen. Makkelijk en Normaal zoeken niet en gebruiken de bot met kaarttracking en meldmodel; Moeilijk en Expert gebruiken ISMCTS.
| Niveau | Geheugen | Rekentijd per zet | Beslisruis τ | Wint per deal van niveau eronder |
|---|---|---|---|---|
| Makkelijk | alleen Draak, Fenix, azen en bommen | geen zoeker | 25 | +101,1 (van willekeurig) |
| Normaal | telt rangen, vergeet 10% | geen zoeker | 6 | +85,6 |
| Moeilijk | alle harde kennis | 200 ms · ± 400 iteraties | 10 | +76,9 |
| Expert | harde én zachte kennis | 1000 ms · ± 2000 iteraties | 0 | +101,3 |
Beslisruis (τ, temperatuur) laat de bot soms een iets slechtere zet kiezen, met een kans die afhangt van hoeveel slechter: kleine missers vaak, blunders zelden. Dat voelt menselijker dan af en toe een willekeurige zet. De metingen lieten zien welke knoppen er echt toe doen: alleen beslisruis kost Expert al 134 punten per deal en meldruis 47, terwijl een slechter geheugen of een willekeurige wens nauwelijks meetbaar is. Op basis daarvan zijn de standen bijgesteld, tot de vier stappen ongeveer even groot waren (gemiddeld 88 punten per deal).
De coach gebruikt de bots niet om te spelen, maar om na te rekenen. Per beslissing speelt hij elke redelijke optie uit in dezelfde set denkbeeldige werelden, met dezelfde seeds, zodat de opties eerlijk te vergelijken zijn. Het verschil met de beste optie heet Δ en komt in beeld als “kostte naar schatting N punten”, altijd met een onzekerheid erbij. Bij doorgeven zijn er 2184 mogelijkheden; daar kiest de coach de 20 beste kandidaten plus jouw eigen keuze.