scher.nl
Persoonlijk project · september 2026

Gmail-triage met Jev

Elke ochtend sorteert een duo van twee AI-modellen een Gmail-inbox. Jev beoordeelt elke mail snel en goedkoop. Claude regelt de run, kijkt mee bij twijfel en schrijft een samenvatting. Mails die aandacht vragen krijgen een label; aan de rest wordt niets veranderd. Sinds oktober 2026 oordeelt Microsoft-Decision-1 (MD1) als schaduw mee, zodat ik twee modellen live kan vergelijken.

Mails per run
± 45 threads
Duur
± 1 minuut
Kosten Jev
± $0,002 per dag
Labels
3 soorten
Schaduwmodel
MD1
In één regel

Van inbox naar label

Van inbox naar label De Claude-routine start dagelijks om 07:30. Het Python-script haalt de inbox op uit Gmail via de Gmail API, Jev beoordeelt elke mail, het beleid in code bepaalt wat twijfel is, Claude beslist over de twijfelgevallen en zet via de Claude Gmail-connector labels terug in Gmail. Parallel daaraan stuurt het script dezelfde vragen via OpenRouter naar Microsoft-Decision-1 (MD1), dat als schaduw meeoordeelt zonder review; Claude zet ook de MD1-labels. Claude-routinedagelijks 07:30 Gmailinbox API Python-scripttriage.py API Jev6 vragen Beleid in codezeker of twijfel? Claudetwijfel beslissen labels zetten · via Claude Gmail-connector API OpenRouterAPI-gateway API MD16 vragen MD1-labelsgeen review schaduwtrack naast Jev
De procesflow

Eén ochtendrun, stap voor stap

  1. 1

    Start om 07:30

    Claude-app

    Een geplande taak in de Claude-desktopapp start een nieuwe Claude-sessie met vaste instructies. Staat de laptop uit, dan draait de taak bij de volgende keer dat de app opent.

    Claude desktop · geplande taakClaude Code
  2. 2

    Inbox ophalen

    Python-scriptvia Gmail API · alleen lezen

    Het script triage.py daily leest de inbox van de afgelopen 14 dagen, met alleen leesrechten. Per gesprek bewaart het afzender, onderwerp, datum en de korte preview die Gmail zelf toont, plus de vorige berichten in dat gesprek. Volledige mailteksten en bijlagen worden niet opgehaald.

    Gmail APIOAuth · gmail.readonlygoogle-api-python-client
  3. 3

    Jev beoordeelt elke mail

    Jev

    Per gesprek stelt het script Jev zes vragen in één verzoek. Jev schrijft geen tekst terug: het geeft een keuze of een kans, zodat de code er direct mee verder kan. Een verzoek duurt ongeveer een kwart seconde.

    VraagSoort antwoordVoorbeeld
    Welke categorie?Keuze uit 6nieuwsbrief · 0,97 zeker
    Is er actie nodig?Kans 0–10,91
    Wordt er een antwoord verwacht?Kans 0–10,06
    Beveiligingsgevoelig?Kans 0–10,12
    Is het een nieuwsbrief?Kans 0–10,88
    Hoe urgent, gerekend vanaf vandaag?Score 0–32,2 (binnen een week)
    TypeSafe API (https)Jev 1.13typesafe-sdk (Python)Choice · Noul · Score
  4. 4

    MD1 oordeelt mee in de schaduw

    MD1via OpenRouter

    Tegelijk stelt het script dezelfde zes vragen aan Microsoft-Decision-1, met dezelfde drempels, maar via OpenRouter. MD1 krijgt geen Claude-review en beslist niets: de uitkomst wordt alleen vergeleken met het eindoordeel van Jev en Claude. Een verzoek duurt ongeveer 0,4 seconde. Is OpenRouter onbereikbaar of ontbreekt de sleutel, dan slaat het script de schaduw over en gaat de rest van de run gewoon door.

    OpenRouter Decisions API (https)Microsoft-Decision-1Choice · Noul · Score
  5. 5

    Beleid in code beslist

    Python-script

    Vaste drempels, bepaald met een test op 243 gelabelde mails, beslissen wat Jev zelf mag afhandelen. Een kans onder 0,3 telt als nee, vanaf 0,7 als ja. Alles daartussen, en een categorie met zekerheid onder 0,7, gaat naar Claude.

    Geheugen. Een gesprek dat Claude eerder beoordeelde en waarin sindsdien niets nieuws binnenkwam, hoeft niet opnieuw langs Claude. Datums rekent de code zelf uit. Staat er een afspraak op 3 oktober, dan wordt de mail vanaf 7 dagen ervoor urgent en daarna vanzelf weer rustig.
    Python 3.14 · asynciolokale JSON-bestanden
  6. 6

    Claude bekijkt de twijfelgevallen

    Claudevia Claude Gmail-connector

    Meestal gaat het om een paar gesprekken per dag. Claude beslist per twijfelgeval en schrijft een korte reden op. Is de preview niet genoeg, dan leest Claude de volledige mail via de Gmail-connector, met een maximum van 6 per run. Dat is het enige moment waarop een volledige mailtekst wordt gelezen.

    Claude OpusGmail-connector (MCP)
  7. 7

    Afronden

    Python-script

    triage.py finalize combineert Jevs antwoorden met de beslissingen van Claude. Het resultaat is een samenvatting en een lijst met welke labels waar moeten, plus een overzicht van de mails waarop MD1 anders oordeelt.

  8. 8

    Labels zetten

    Claudevia Claude Gmail-connector

    Er zijn drie soorten labels: Action voor mails waarmee iets moet gebeuren, Security voor inlogmeldingen, codes en mogelijke phishing, en News voor periodieke abonnementsmail. Urgente mails krijgen ook Action.

    De naam van het label laat zien wie besliste. Jev/Action betekent dat Jev zeker was. Claude/Action betekent dat Jev twijfelde en Claude besliste; dat zijn geneste labels onder Claude. Een thread krijgt nooit beide: besluit Claude later anders dan Jev, dan wordt het oude label vervangen. Er wordt nooit iets gearchiveerd, verwijderd, gelezen gemarkeerd of verstuurd.

    Naast die labels komen de schaduwlabels MD1/Action, MD1/Security en MD1/News (geneste labels onder MD1). Staan Jev/Action en MD1/Action allebei op een thread, dan zijn de modellen het eens; staat er maar één van de twee op, dan verschilt het oordeel. MD1-labels zijn alleen vergelijkingsmateriaal en beslissen niets.

    Gmail-labelsGmail-connector (MCP)
  9. 9

    Opruimen

    Claudevia Claude Gmail-connector

    Eén regel voor alle labels: staat een label onder Jev/, Claude/ of MD1/ op een mail die je hebt gearchiveerd of verwijderd, dan haalt Claude het weg. Dat geldt ook voor nieuwsbrieven. Een nieuw label in die drie groepen hoeft dus niet apart te worden toegevoegd. Labels buiten die groepen blijven ongemoeid, en een mail die nog in de inbox staat ook.

    Gmail-connector (MCP)
  10. 10

    Samenvatting

    Claude

    De run eindigt met een korte samenvatting in de app, ingedeeld in: vandaag belangrijk, actie nodig, beveiliging, en labels die er waarschijnlijk af kunnen. Erbij staat hoeveel nieuwsbrieven er zijn gelabeld en hoeveel labels van Claude kwamen. Ook staat erin op hoeveel threads MD1 anders oordeelde dan Jev en Claude. Een pushmelding komt alleen als er iets nieuws urgents is.

Wie doet wat

Drie modellen, elk met een eigen taak

Jev · TypeSafe

Snel oordelen in bulk

Een zogeheten System One-model: het beantwoordt korte, afgebakende vragen met een keuze of een kans, zonder tekst te schrijven. Daardoor is het snel en kost een hele inbox minder dan een cent. De kansen zijn bruikbaar: waar Jev 0,9 zegt, klopt dat ook ongeveer 9 van de 10 keer.

Claude · Anthropic

Regisseren, twijfel beslechten, uitleggen

Een groot taalmodel dat kan redeneren, volledige mails kan lezen en in gewone taal schrijft. Claude voert de run uit, beslist bij twijfel, zet de labels en schrijft de samenvatting. Claude heeft ook de code gebouwd en de test opgezet.

MD1 · Microsoft

Schaduwoordeel ter vergelijking

Microsoft-Decision-1 is een beslismodel van Microsoft dat, net als Jev, korte vragen beantwoordt met een keuze of een kans in plaats van tekst. Hier draait het mee als schaduw: het beslist niets, maar laat zien waar een tweede model anders zou kiezen. Het script bereikt het model via OpenRouter.

Het schaduwmodel

Microsoft-Decision-1: wat is het?

Microsoft-Decision-1 (MD1) is een zogeheten beslismodel, net als Jev. Het schrijft geen tekst, maar beantwoordt een vaste vraag met een keuze uit opties, een ja/nee-kans of een score op een ordeschaal, met een kans voor elk antwoord. Microsoft bouwde het voor routeren, classificeren, prioriteren en controleren: werk waarbij software direct op het antwoord moet kunnen doorgaan.

De vraagvorm lijkt sterk op die van Jev (een state en vragen van het type choice, noul en score). Daardoor kunnen precies dezelfde vragen naar beide modellen.

KenmerkMicrosoft-Decision-1
AanbiederMicrosoft
BasisQwen3.5-9B, door Microsoft nagetraind voor beslissingen
Uitgebracht9 oktober 2026
Invoeralleen tekst, tot 32.000 tokens
Uitvoergeen tekst en geen uitleg, alleen keuzes en kansen
Prijs$0,042 per miljoen invoertokens; uitvoer is gratis (net als Jev)
Beschikbaar viaMicrosoft Foundry (Azure) en OpenRouter

Hoe MD1 het doet naast Jev

Beide modellen kregen dezelfde mails en dezelfde vragen, eerst op de ontwikkelset en daarna op de eindtoets met 116 nieuwe mails. Claude is de beoordelaar.

Meting (eindtoets)JevMD1
Zelfde categorie als Claude89%77%
Idem, met een aangescherpte categorievraag87%82%
Ja/nee-vragen: goed per vraag (vijf vragen)89–99%85–97%
Kalibratiefout (ECE, gemiddeld; lager is beter)0,130,08
Urgentie na herontwerp van de vraag (MAE)0,180,20
Als de modellen over de categorie oneens zijn (19 mails): wie had gelijk84%11%
Kosten per 10.000 mails$0,63$0,44
Mediane responstijd per verzoek220 ms430 ms

Jev scoort beter op categorie. Bij de ja/nee-vragen en de urgentie liggen ze dicht bij elkaar, en MD1 geeft kansen die iets beter kloppen. MD1 is goedkoper (minder tokens per mail) maar twee keer zo traag; waarom, staat in het volgende onderdeel. De aangescherpte categorievraag hielp MD1 (77% naar 82%) en kostte Jev een paar procent: die vraag is bij Jev gebouwd en past dus niet automatisch bij een ander model. De aantallen zijn klein, dus een verschil van één of twee mails is ruis.

Daarom draait MD1 als schaduw en niet als vervanger: Jev houdt de hoofdrol, en ik kijk een paar weken live naar de mails waarop de twee verschillen.

De verbinding met MD1

OpenRouter: wat is het en hoe wordt het hier gebruikt?

OpenRouter is een dienst die met één API en één sleutel toegang geeft tot veel AI-modellen van verschillende aanbieders. Je laadt tegoed bij OpenRouter, en OpenRouter stuurt elk verzoek door naar de aanbieder die het model draait. Voor beslismodellen heeft OpenRouter een eigen Decisions API, op dit moment nog als alpha-versie, met dezelfde vraagvorm als die van Jev.

Hoe het hier wordt gebruikt

  1. triage.py stuurt de vragen voor MD1 met een gewone HTTP-aanroep naar OpenRouter (model microsoft/microsoft-decision-1), naast de TypeSafe-SDK die Jev gebruikt.
  2. De OpenRouter-sleutel staat lokaal in een bestand in de gebruikersmap, buiten de code en buiten het gesprek met Claude, net als de sleutel van TypeSafe.
  3. OpenRouter geeft in het antwoord aan welke aanbieder het verzoek afhandelde. Bij de metingen was dat Azure.
  4. Mislukt een aanroep, of ontbreekt de sleutel, dan wordt de schaduw overgeslagen. De triage met Jev en Claude loopt dan gewoon door.
  5. Jev gaat bewust niet via OpenRouter, ook al staat Jev er ook op. Hij blijft rechtstreeks naar TypeSafe gaan, omdat dat het snelst is.

Voordelen

  • Geen Azure nodig. Rechtstreeks via Microsoft Foundry zijn een Azure-abonnement, een project en een deployment nodig. Bij OpenRouter is één sleutel met tegoed genoeg.
  • Eén opzet voor meer modellen. Een ander model uitproberen is een andere modelnaam in dezelfde aanroep.
  • Dezelfde prijs. Volgens OpenRouter kost MD1 er $0,042 per miljoen invoertokens, hetzelfde als bij Microsoft.

Nadelen

  • Vertraging. Er zit een extra schakel tussen het script en het model. Bij de metingen duurde een verzoek aan MD1 via OpenRouter mediaan 430 ms (p95 820 ms), tegen 220 ms (p95 550 ms) voor Jev rechtstreeks bij TypeSafe: ongeveer twee keer zo lang. Een deel daarvan komt mogelijk door het model zelf; dat is niet apart gemeten. Voor de dagelijkse run maakt het weinig uit, want de verzoeken lopen tegelijk en de schaduw is binnen een paar seconden klaar. Voor iets waarbij elke milliseconde telt zou het wel storen.
  • Een partij extra. Afzender, onderwerp en preview van elke mail gaan ook langs OpenRouter en de aanbieder erachter. Zij zien die gegevens.
  • Een alpha-endpoint. De Decisions API van OpenRouter kan nog veranderen. Daarom mag een storing de rest nooit stoppen.
  • Nog een sleutel en tegoed om te beheren.
Technologie

Wat er gebruikt wordt

AI-modellen

  • Jev 1.13 van TypeSafe. Jev is via de API van TypeSafe (api.typesafe.ai) gekoppeld aan de Claude Code-routine: het Python-script dat Claude Code uitvoert, stuurt de vragen met de Python-SDK typesafe-sdk naar die API. De API-sleutel staat lokaal op de laptop, buiten de code. Kosten: $0,042 per miljoen tokens invoer; uitvoer is gratis.
  • Claude Opus van Anthropic, via Claude Code in de Claude-desktopapp.
  • Microsoft-Decision-1 van Microsoft, als schaduwmodel, via OpenRouter (openrouter.ai): het script stuurt dezelfde vragen met een gewone HTTP-aanroep naar de Decisions API van OpenRouter (microsoft/microsoft-decision-1). De API-sleutel staat, net als die van TypeSafe, lokaal buiten de code. Kosten: $0,042 per miljoen tokens invoer; uitvoer is gratis.

Automatisering

  • Geplande taken in de Claude-desktopapp: dagelijks 07:30, of bij de volgende start van de app.
  • Toestemmingsregels in .claude/settings.local.json: de run mag precies twee commando's uitvoeren en een paar Gmail-acties doen, zonder dat iemand hoeft te klikken.
  • Gmail-connector van Claude (MCP) voor labels zetten en volledige mails lezen.

Google

  • Gmail API met alleen leesrechten (gmail.readonly), via google-api-python-client en google-auth-oauthlib.
  • Eigen OAuth-app in Google Cloud (Google Auth Platform), gepubliceerd voor eigen gebruik. Daardoor verloopt de toegang niet elke week.
  • Search Console om te bewijzen dat de website met het privacybeleid van de eigenaar is.

Eigen code en data

  • Python 3.14 in een virtuele omgeving: triage.py (de dagelijkse run), gmail_api.py (toegang), cleanup.py (opruimadvies) een testset in jevbench en compare_models.py (vergelijking van de modellen).
  • Lokale JSON-bestanden voor de inbox-momentopname, de runs, het reviewgeheugen en de samenvattingen. Er is geen server en geen database.

Website

  • GitHub Pages voor de homepage en het privacybeleid die Google eist voordat een app de testfase uit mag.

Gmail API of Claude Gmail-connector?

Er zijn twee manieren om bij Gmail te komen, en de run gebruikt ze allebei, elk voor wat het beste past. De Gmail-connector van Claude werkt direct na inloggen bij Claude, zonder eigen opzet. De Gmail API vraagt een eigen app bij Google, maar is sneller, voorspelbaarder en kan alleen lezen.

Gmail APIClaude Gmail-connector
Gebruikt voorDe inbox ophalen (stap 2) en eenmalig het opruimadvies over de hele inbox.Een volledige mail lezen bij twijfel (stap 6) en labels zetten (stap 8).
Snelheid en volume45 gesprekken in ongeveer tien seconden, 3.079 mails in ongeveer vijf minuten.Maximaal 50 gesprekken per keer, en alles gaat door het gesprek met Claude. Dat is trager en kost Claude-tokens.
Waar de gegevens terechtkomenHet script schrijft ze direct naar een bestand. Er wordt niets overgetypt.Het resultaat komt in het gesprek met Claude. Voor verdere verwerking moest Claude het naar een bestand overnemen, en daarbij kunnen fouten ontstaan.
Goedkeuringen in de ochtendEén vast commando (triage.py daily). Dat staat in de toestemmingsregels, dus de run loopt zonder klikken.Met de connector als bron maakte de run elke dag eigen hulpscripts met wisselende namen. Elk nieuw commando vroeg om handmatige goedkeuring.
Wat het magAlleen lezen (gmail.readonly). Het script kan per definitie niets veranderen.Kan ook labels zetten, verwijderen en versturen. De instructies beperken het tot lezen en labels onder Jev/, Claude/ en MD1/.
Opzet en onderhoudEigen Google Cloud-project met OAuth-app, eenmalig publiceren. Opnieuw toestemming geven na een wachtwoordwijziging.Geen opzet: eenmalig koppelen in Claude. Anthropic onderhoudt de koppeling.

Waarom de labels dan toch via de connector gaan: zo blijft het eigen script strikt alleen-lezen. Anders zou de Google-app ruimere rechten moeten krijgen om Gmail te mogen wijzigen.

Wat er nodig is voor een eigen Gmail API-koppeling

  1. Een project in Google Cloud, met de Gmail API aangezet.
  2. Een OAuth-toestemmingsscherm (Google Auth Platform) voor een app van het type External, met een appnaam, een support-e-mailadres en een contactadres.
  3. Een OAuth-client van het type Desktop app. Het gedownloade credentials.json blijft lokaal staan, buiten de code.
  4. De eerste keer toestemming geven in de browser. Het script bewaart daarna een token, zodat het later zonder browser kan werken.
  5. Publiceren. In de status Testing verloopt dat token na 7 dagen, en een onbewaakte ochtendrun kan niet opnieuw inloggen. Na Publish app (status In production) verloopt het alleen nog bij een wachtwoordwijziging, na 6 maanden zonder gebruik of als de toegang wordt ingetrokken.
Wat Google eist voor publiceren. De knop Publish app blijft grijs zolang de branding geen homepage en geen privacybeleid heeft, allebei op een domein dat onder Authorized domains staat en waarvan je in Search Console hebt bewezen dat het van jou is. Een link naar gebruiksvoorwaarden wordt ook gevraagd. Wat Google niet eist. Voor een app die alleen de eigenaar gebruikt is een officiële verificatie door Google niet nodig. Bij het toestemming geven verschijnt dan de melding dat de app niet geverifieerd is, en de app mag maximaal 100 gebruikers hebben. Een logo uploaden maakt verificatie wel verplicht, dus dat is weggelaten.

Opgelost met GitHub Pages

Een eigen website en domein waren er nog niet. GitHub Pages lost alle vier de eisen gratis op.

  1. Website: een repository met de naam <gebruikersnaam>.github.io wordt door GitHub automatisch gepubliceerd op https://<gebruikersnaam>.github.io/, met https.
  2. Homepage, privacybeleid en gebruiksvoorwaarden: drie eenvoudige pagina's die beschrijven wat de app doet, welke gegevens hij leest, waar die blijven en welke diensten ze verwerken.
  3. Domein: github.io zelf wordt door Google geweigerd, omdat het door iedereen gedeeld wordt. Het eigen subdomein <gebruikersnaam>.github.io wordt wel geaccepteerd als geautoriseerd domein.
  4. Eigendom bewijzen: in Search Console een property van het type URL-voorvoegsel toevoegen, en de verificatietag van Google op de homepage zetten.

Daarna konden de branding worden ingevuld en de app worden gepubliceerd. Na één nieuwe toestemming kwam er een token zonder verloopdatum van 7 dagen. Later kan dezelfde aanpak op een eigen domein zoals scher.nl, met een DNS-verificatie in plaats van de tag.

Waar de routine draait

Claude-desktopapp of de cloud?

De routine draait nu als geplande taak in de Claude-desktopapp op de eigen laptop. Claude Code kan geplande taken ook in de cloud van Anthropic uitvoeren. Dan draait de run op tijd, ook als de laptop uit staat. Die overstap is nog niet gemaakt, en een aantal punten moet eerst worden uitgezocht.

Nu: Claude-desktopapp

De run draait alleen als de app open is. Staat de laptop om 07:30 uit, dan volgt de run bij de volgende start. Code, Python-omgeving, API-sleutel, Gmail-token, reviewgeheugen en alle mailgegevens staan op de laptop zelf.

Mogelijk: Claude in de cloud

De run start op het vaste tijdstip in een omgeving van Anthropic, onafhankelijk van de laptop. Elke run begint in een schone omgeving en haalt code en instellingen opnieuw op.

Grenzen

Wat het systeem niet mag

Getest voordat het live ging

Hoe goed het werkt

Eerst beoordeelde Claude 127 mails met de hand. Jev kreeg dezelfde mails en dezelfde vragen. Daarna volgde een eindtoets op 116 oudere mails die geen van beide eerder had gezien.

MetingUitkomst
Zelfde categorie als Claude94% · eindtoets 91%
Onterecht "urgent" na verbeteren van de vraag15 → 1 (eindtoets)
Urgentie met de datum van vandaag, 25 datumtests12 → 1 fout
Nieuwsbrief: goed waar Jev zeker was (243 mails)95% · ± 18% naar Claude
Deel dat Jev zonder Claude afhandelt± 70–95% per dag
Opruimadvies over 3.079 mails in de inbox32 seconden · ± $0,04

De vergelijking is met Claude als beoordelaar, niet met een absolute waarheid. Bij een paar verschillen had Jev eerder gelijk dan Claude.