Elke ochtend sorteert een duo van twee AI-modellen een Gmail-inbox. Jev beoordeelt elke mail snel en goedkoop. Claude regelt de run, kijkt mee bij twijfel en schrijft een samenvatting. Mails die aandacht vragen krijgen een label; aan de rest wordt niets veranderd. Sinds oktober 2026 oordeelt Microsoft-Decision-1 (MD1) als schaduw mee, zodat ik twee modellen live kan vergelijken.
Een geplande taak in de Claude-desktopapp start een nieuwe Claude-sessie met vaste instructies. Staat de laptop uit, dan draait de taak bij de volgende keer dat de app opent.
Het script triage.py daily leest de inbox van de afgelopen 14 dagen, met alleen leesrechten. Per gesprek bewaart het afzender, onderwerp, datum en de korte preview die Gmail zelf toont, plus de vorige berichten in dat gesprek. Volledige mailteksten en bijlagen worden niet opgehaald.
Per gesprek stelt het script Jev zes vragen in één verzoek. Jev schrijft geen tekst terug: het geeft een keuze of een kans, zodat de code er direct mee verder kan. Een verzoek duurt ongeveer een kwart seconde.
| Vraag | Soort antwoord | Voorbeeld |
|---|---|---|
| Welke categorie? | Keuze uit 6 | nieuwsbrief · 0,97 zeker |
| Is er actie nodig? | Kans 0–1 | 0,91 |
| Wordt er een antwoord verwacht? | Kans 0–1 | 0,06 |
| Beveiligingsgevoelig? | Kans 0–1 | 0,12 |
| Is het een nieuwsbrief? | Kans 0–1 | 0,88 |
| Hoe urgent, gerekend vanaf vandaag? | Score 0–3 | 2,2 (binnen een week) |
Tegelijk stelt het script dezelfde zes vragen aan Microsoft-Decision-1, met dezelfde drempels, maar via OpenRouter. MD1 krijgt geen Claude-review en beslist niets: de uitkomst wordt alleen vergeleken met het eindoordeel van Jev en Claude. Een verzoek duurt ongeveer 0,4 seconde. Is OpenRouter onbereikbaar of ontbreekt de sleutel, dan slaat het script de schaduw over en gaat de rest van de run gewoon door.
Vaste drempels, bepaald met een test op 243 gelabelde mails, beslissen wat Jev zelf mag afhandelen. Een kans onder 0,3 telt als nee, vanaf 0,7 als ja. Alles daartussen, en een categorie met zekerheid onder 0,7, gaat naar Claude.
Meestal gaat het om een paar gesprekken per dag. Claude beslist per twijfelgeval en schrijft een korte reden op. Is de preview niet genoeg, dan leest Claude de volledige mail via de Gmail-connector, met een maximum van 6 per run. Dat is het enige moment waarop een volledige mailtekst wordt gelezen.
triage.py finalize combineert Jevs antwoorden met de beslissingen van Claude. Het resultaat is een samenvatting en een lijst met welke labels waar moeten, plus een overzicht van de mails waarop MD1 anders oordeelt.
Er zijn drie soorten labels: Action voor mails waarmee iets moet gebeuren, Security voor inlogmeldingen, codes en mogelijke phishing, en News voor periodieke abonnementsmail. Urgente mails krijgen ook Action.
De naam van het label laat zien wie besliste. Jev/Action betekent dat Jev zeker was. Claude/Action betekent dat Jev twijfelde en Claude besliste; dat zijn geneste labels onder Claude. Een thread krijgt nooit beide: besluit Claude later anders dan Jev, dan wordt het oude label vervangen. Er wordt nooit iets gearchiveerd, verwijderd, gelezen gemarkeerd of verstuurd.
Naast die labels komen de schaduwlabels MD1/Action, MD1/Security en MD1/News (geneste labels onder MD1). Staan Jev/Action en MD1/Action allebei op een thread, dan zijn de modellen het eens; staat er maar één van de twee op, dan verschilt het oordeel. MD1-labels zijn alleen vergelijkingsmateriaal en beslissen niets.
Eén regel voor alle labels: staat een label onder Jev/, Claude/ of MD1/ op een mail die je hebt gearchiveerd of verwijderd, dan haalt Claude het weg. Dat geldt ook voor nieuwsbrieven. Een nieuw label in die drie groepen hoeft dus niet apart te worden toegevoegd. Labels buiten die groepen blijven ongemoeid, en een mail die nog in de inbox staat ook.
De run eindigt met een korte samenvatting in de app, ingedeeld in: vandaag belangrijk, actie nodig, beveiliging, en labels die er waarschijnlijk af kunnen. Erbij staat hoeveel nieuwsbrieven er zijn gelabeld en hoeveel labels van Claude kwamen. Ook staat erin op hoeveel threads MD1 anders oordeelde dan Jev en Claude. Een pushmelding komt alleen als er iets nieuws urgents is.
Een zogeheten System One-model: het beantwoordt korte, afgebakende vragen met een keuze of een kans, zonder tekst te schrijven. Daardoor is het snel en kost een hele inbox minder dan een cent. De kansen zijn bruikbaar: waar Jev 0,9 zegt, klopt dat ook ongeveer 9 van de 10 keer.
Een groot taalmodel dat kan redeneren, volledige mails kan lezen en in gewone taal schrijft. Claude voert de run uit, beslist bij twijfel, zet de labels en schrijft de samenvatting. Claude heeft ook de code gebouwd en de test opgezet.
Microsoft-Decision-1 is een beslismodel van Microsoft dat, net als Jev, korte vragen beantwoordt met een keuze of een kans in plaats van tekst. Hier draait het mee als schaduw: het beslist niets, maar laat zien waar een tweede model anders zou kiezen. Het script bereikt het model via OpenRouter.
Microsoft-Decision-1 (MD1) is een zogeheten beslismodel, net als Jev. Het schrijft geen tekst, maar beantwoordt een vaste vraag met een keuze uit opties, een ja/nee-kans of een score op een ordeschaal, met een kans voor elk antwoord. Microsoft bouwde het voor routeren, classificeren, prioriteren en controleren: werk waarbij software direct op het antwoord moet kunnen doorgaan.
De vraagvorm lijkt sterk op die van Jev (een state en vragen van het type choice, noul en score). Daardoor kunnen precies dezelfde vragen naar beide modellen.
| Kenmerk | Microsoft-Decision-1 |
|---|---|
| Aanbieder | Microsoft |
| Basis | Qwen3.5-9B, door Microsoft nagetraind voor beslissingen |
| Uitgebracht | 9 oktober 2026 |
| Invoer | alleen tekst, tot 32.000 tokens |
| Uitvoer | geen tekst en geen uitleg, alleen keuzes en kansen |
| Prijs | $0,042 per miljoen invoertokens; uitvoer is gratis (net als Jev) |
| Beschikbaar via | Microsoft Foundry (Azure) en OpenRouter |
Beide modellen kregen dezelfde mails en dezelfde vragen, eerst op de ontwikkelset en daarna op de eindtoets met 116 nieuwe mails. Claude is de beoordelaar.
| Meting (eindtoets) | Jev | MD1 |
|---|---|---|
| Zelfde categorie als Claude | 89% | 77% |
| Idem, met een aangescherpte categorievraag | 87% | 82% |
| Ja/nee-vragen: goed per vraag (vijf vragen) | 89–99% | 85–97% |
| Kalibratiefout (ECE, gemiddeld; lager is beter) | 0,13 | 0,08 |
| Urgentie na herontwerp van de vraag (MAE) | 0,18 | 0,20 |
| Als de modellen over de categorie oneens zijn (19 mails): wie had gelijk | 84% | 11% |
| Kosten per 10.000 mails | $0,63 | $0,44 |
| Mediane responstijd per verzoek | 220 ms | 430 ms |
Jev scoort beter op categorie. Bij de ja/nee-vragen en de urgentie liggen ze dicht bij elkaar, en MD1 geeft kansen die iets beter kloppen. MD1 is goedkoper (minder tokens per mail) maar twee keer zo traag; waarom, staat in het volgende onderdeel. De aangescherpte categorievraag hielp MD1 (77% naar 82%) en kostte Jev een paar procent: die vraag is bij Jev gebouwd en past dus niet automatisch bij een ander model. De aantallen zijn klein, dus een verschil van één of twee mails is ruis.
Daarom draait MD1 als schaduw en niet als vervanger: Jev houdt de hoofdrol, en ik kijk een paar weken live naar de mails waarop de twee verschillen.
OpenRouter is een dienst die met één API en één sleutel toegang geeft tot veel AI-modellen van verschillende aanbieders. Je laadt tegoed bij OpenRouter, en OpenRouter stuurt elk verzoek door naar de aanbieder die het model draait. Voor beslismodellen heeft OpenRouter een eigen Decisions API, op dit moment nog als alpha-versie, met dezelfde vraagvorm als die van Jev.
triage.py stuurt de vragen voor MD1 met een gewone HTTP-aanroep naar OpenRouter (model microsoft/microsoft-decision-1), naast de TypeSafe-SDK die Jev gebruikt.api.typesafe.ai) gekoppeld aan de Claude Code-routine: het Python-script dat Claude Code uitvoert, stuurt de vragen met de Python-SDK typesafe-sdk naar die API. De API-sleutel staat lokaal op de laptop, buiten de code. Kosten: $0,042 per miljoen tokens invoer; uitvoer is gratis.openrouter.ai): het script stuurt dezelfde vragen met een gewone HTTP-aanroep naar de Decisions API van OpenRouter (microsoft/microsoft-decision-1). De API-sleutel staat, net als die van TypeSafe, lokaal buiten de code. Kosten: $0,042 per miljoen tokens invoer; uitvoer is gratis..claude/settings.local.json: de run mag precies twee commando's uitvoeren en een paar Gmail-acties doen, zonder dat iemand hoeft te klikken.gmail.readonly), via google-api-python-client en google-auth-oauthlib.triage.py (de dagelijkse run), gmail_api.py (toegang), cleanup.py (opruimadvies) een testset in jevbench en compare_models.py (vergelijking van de modellen).Er zijn twee manieren om bij Gmail te komen, en de run gebruikt ze allebei, elk voor wat het beste past. De Gmail-connector van Claude werkt direct na inloggen bij Claude, zonder eigen opzet. De Gmail API vraagt een eigen app bij Google, maar is sneller, voorspelbaarder en kan alleen lezen.
| Gmail API | Claude Gmail-connector | |
|---|---|---|
| Gebruikt voor | De inbox ophalen (stap 2) en eenmalig het opruimadvies over de hele inbox. | Een volledige mail lezen bij twijfel (stap 6) en labels zetten (stap 8). |
| Snelheid en volume | 45 gesprekken in ongeveer tien seconden, 3.079 mails in ongeveer vijf minuten. | Maximaal 50 gesprekken per keer, en alles gaat door het gesprek met Claude. Dat is trager en kost Claude-tokens. |
| Waar de gegevens terechtkomen | Het script schrijft ze direct naar een bestand. Er wordt niets overgetypt. | Het resultaat komt in het gesprek met Claude. Voor verdere verwerking moest Claude het naar een bestand overnemen, en daarbij kunnen fouten ontstaan. |
| Goedkeuringen in de ochtend | Eén vast commando (triage.py daily). Dat staat in de toestemmingsregels, dus de run loopt zonder klikken. | Met de connector als bron maakte de run elke dag eigen hulpscripts met wisselende namen. Elk nieuw commando vroeg om handmatige goedkeuring. |
| Wat het mag | Alleen lezen (gmail.readonly). Het script kan per definitie niets veranderen. | Kan ook labels zetten, verwijderen en versturen. De instructies beperken het tot lezen en labels onder Jev/, Claude/ en MD1/. |
| Opzet en onderhoud | Eigen Google Cloud-project met OAuth-app, eenmalig publiceren. Opnieuw toestemming geven na een wachtwoordwijziging. | Geen opzet: eenmalig koppelen in Claude. Anthropic onderhoudt de koppeling. |
Waarom de labels dan toch via de connector gaan: zo blijft het eigen script strikt alleen-lezen. Anders zou de Google-app ruimere rechten moeten krijgen om Gmail te mogen wijzigen.
credentials.json blijft lokaal staan, buiten de code.Een eigen website en domein waren er nog niet. GitHub Pages lost alle vier de eisen gratis op.
<gebruikersnaam>.github.io wordt door GitHub automatisch gepubliceerd op https://<gebruikersnaam>.github.io/, met https.github.io zelf wordt door Google geweigerd, omdat het door iedereen gedeeld wordt. Het eigen subdomein <gebruikersnaam>.github.io wordt wel geaccepteerd als geautoriseerd domein.Daarna konden de branding worden ingevuld en de app worden gepubliceerd. Na één nieuwe toestemming kwam er een token zonder verloopdatum van 7 dagen. Later kan dezelfde aanpak op een eigen domein zoals scher.nl, met een DNS-verificatie in plaats van de tag.
De routine draait nu als geplande taak in de Claude-desktopapp op de eigen laptop. Claude Code kan geplande taken ook in de cloud van Anthropic uitvoeren. Dan draait de run op tijd, ook als de laptop uit staat. Die overstap is nog niet gemaakt, en een aantal punten moet eerst worden uitgezocht.
De run draait alleen als de app open is. Staat de laptop om 07:30 uit, dan volgt de run bij de volgende start. Code, Python-omgeving, API-sleutel, Gmail-token, reviewgeheugen en alle mailgegevens staan op de laptop zelf.
De run start op het vaste tijdstip in een omgeving van Anthropic, onafhankelijk van de laptop. Elke run begint in een schone omgeving en haalt code en instellingen opnieuw op.
api.typesafe.ai en de Gmail API bereiken?Het voordeel is betrouwbaarheid: de samenvatting staat elke ochtend op tijd klaar. Zolang de laptop meestal later op de ochtend aangaat, is de desktopversie met inhaalrun een veilige en eenvoudige keuze.
Jev/, Claude/ en MD1/ toe.Eerst beoordeelde Claude 127 mails met de hand. Jev kreeg dezelfde mails en dezelfde vragen. Daarna volgde een eindtoets op 116 oudere mails die geen van beide eerder had gezien.
| Meting | Uitkomst |
|---|---|
| Zelfde categorie als Claude | 94% · eindtoets 91% |
| Onterecht "urgent" na verbeteren van de vraag | 15 → 1 (eindtoets) |
| Urgentie met de datum van vandaag, 25 datumtests | 12 → 1 fout |
| Nieuwsbrief: goed waar Jev zeker was (243 mails) | 95% · ± 18% naar Claude |
| Deel dat Jev zonder Claude afhandelt | ± 70–95% per dag |
| Opruimadvies over 3.079 mails in de inbox | 32 seconden · ± $0,04 |
De vergelijking is met Claude als beoordelaar, niet met een absolute waarheid. Bij een paar verschillen had Jev eerder gelijk dan Claude.