Welk AI-model voor welke taak?

Bij elke automatisering met AI kiezen we vooraf welk model het werk doet. Een PDF-factuur uitlezen vraagt iets anders dan een korte mail indelen of een kwartaalrapport samenvatten. Wij, Jurjen en Albert-Jan, leggen per taak één model vast, testen het op echte voorbeelden en houden bij wat het per klant kost.
1

model per taak, vooraf vastgelegd

30

vaste proefvragen na een update van onze SEM-MCP

26 naar 5

pagina's in een kwartaalrapport, met een AI-samenvatting per open vraag

Waarom per taak

Elk model is ergens anders goed in

Er is geen model dat overal het beste in is. Claude Sonnet is bijvoorbeeld sterk in programmeren en lange redeneringen. Voor een mail indelen in vijf categorieën is het te zwaar en te duur. Voor beeldbewerking kies je weer een ander model.

Goedkoop waar het kan

Eenvoudige teksttaken, zoals een mail labelen of een korte samenvatting, doet een klein model prima, voor een fractie van de prijs.

Zwaar waar het moet

Een factuur met meerdere orders op één PDF, of een vraag die over drie tabellen gaat, krijgt een sterker model.

Vast, zodat je weet wat je krijgt

Een model dat vastligt geeft vandaag hetzelfde soort antwoord als vorige maand. Zo kun je de uitkomst controleren en de kosten voorspellen.

Uit ons werk

Welke taak, welk soort model

TaakWat het model moet kunnenSoort modelWaar we het bouwden
Inkoopfacturen uitlezenEen PDF lezen en leverancier, ordernummer, bedrag, factuurnummer en datum herkennenModel dat documenten leestKeukenzaak, case i-Kook
Mail indelen en een conceptantwoord klaarzettenEen korte tekst begrijpen, een categorie kiezen en antwoorden in de toon van het bedrijfKlein, goedkoop tekstmodelHorecagroep, info-mailbox sorteren
Open antwoorden samenvattenVeel korte reacties per vraag bundelen tot een paar zinnenMiddelgroot tekstmodelHorecagroep, gastevaluaties per kwartaal
Factuurregels in een categorie zettenEen onduidelijke regel herkennen en koppelen aan de juiste kostensoortKlein model, alleen geanonimiseerde regelsHorecagroep, automatisering of AI
Vragen over je eigen cijfersEen database lezen, rekenen en uitleggen wat er staatSterk model, via een MCPHorecagroep, Metabase en Claude
Offerteprijs uitrekenenVaste rekenregels toepassenGeen model, een gewone automatiseringHoutverwerker, offertes berekenen

De laatste regel staat er met opzet tussen. Rekenwerk met vaste regels doen we zonder AI. Dat is goedkoper en de uitkomst is elke keer hetzelfde.

Zo kiezen wij

Van taak naar vastgelegd model

01
Taak afbakenen
Wat gaat erin, wat moet eruit komen, en wie controleert het.
02
Voorbeelden verzamelen
Twintig tot vijftig echte documenten of mails, ook de lastige.
03
Modellen naast elkaar
Dezelfde voorbeelden door twee of drie modellen, uitkomst en kosten per verzoek naast elkaar.
04
Model vastleggen
Het goedkoopste model dat de lastige voorbeelden goed doet, wordt het model voor die taak.
05
Verbruik volgen
Per klant zien we het verbruik. Wordt een taak duurder of slechter, dan testen we opnieuw.

  • Via OpenRouter. We gebruiken OpenRouter: één toegang tot modellen van verschillende aanbieders. Per verzoek kiezen we het model, en we betalen per gebruik. Een klant hoeft dus geen losse abonnementen bij modelaanbieders af te sluiten.
  • Verbruik per klant. Metabase is gekoppeld aan OpenRouter. Zo zien we per klant hoeveel een taak verbruikt, en welk model daar het best werkt.
  • Onzekere uitkomsten apart. Wat het model niet zeker weet, komt in een reviewscherm. Bij de keukenzaak wordt zo'n factuur met één klik aan de juiste order gehangen.
  • Alleen wat nodig is. Bij de funnelanalyse voor een horecagroep gaan alleen de cijfers naar het model, de PDF's zelf niet. Namen en bedragen die het model niet nodig heeft, halen we eruit.
  • Vaste proefset. Na een flinke update van onze SEM-MCP draaiden we een vaste set van 30 proefvragen. Zo zie je of een nieuw model of een nieuwe versie het net zo goed doet.
Checklist

Vragen voor je een model kiest

Hoeveel verzoeken per maand?

Bij tienduizend facturen per jaar telt elke cent per verzoek. Bij twintig per maand maakt het weinig uit.

Wat gebeurt er bij een fout?

Een verkeerd gelabelde mail is snel hersteld. Een verkeerd bedrag in de boekhouding niet. Daar hoort een controle bij.

Welke gegevens gaan naar het model?

Alleen wat de taak nodig heeft. Salaris- en bankgegevens komen er bij ons niet bij.

Moet het model een document lezen of alleen tekst?

PDF's en foto's vragen een model dat documenten leest.

Wie houdt het verbruik bij?

Zonder overzicht per taak zie je pas op de factuur wat het kostte.

Onderhoud

Een model kies je niet voor altijd

Er komen elke paar maanden nieuwe modellen bij, en bestaande worden goedkoper. Omdat het model per taak vastligt en het verbruik per klant zichtbaar is, zien we wanneer opnieuw testen loont. Dat hoort bij het onderhoud van een automatisering.

Twijfel je welk model bij jouw taak past?

Albert-Jan en ik kijken het met je door. Neem een paar voorbeelden mee, dan zie je in twintig minuten wat er kan. Vraag naar Jurjen Rijsdijk, jurjen@flowbros.nl.

Jurjen RijsdijkAlbert-Jan van der Meij

Jurjen en Albert-Jan

Bro-owners van Flowbros

Bel of mail Jurjen even:

M+31 6 40 88 93 71Ejurjen@flowbros.nl

Vragen

Veelgestelde vragen