![\"image\"](\"https:\/\/datanorth.ai\/wp-content\/uploads\/2026\/06\/image-9.png\")
<\/figure>\n\n\n\nHoe tokenisatie werkt<\/h2>\n\n\n\n
Tokenisatie<\/a> is de stap voor bewerking, die ruwe tekst omzet in een reeks gehele getallen, de zogeheten token-ID’s, die het neurale netwerk kan begrijpen. Het model werkt daarbij met een vaste woordenschat die tijdens de training is opgebouwd.<\/p>\n\n\n\n De meeste bekende Large Language Models gebruiken een subwoord-algoritme genaamd Byte Pair Encoding (BPE). Dat proces verloopt in een vaste volgorde:<\/p>\n\n\n\n Een gangbaar woord als “hello” levert bijvoorbeeld meestal \u00e9\u00e9n token op. Een minder gebruikelijk woord als “tokenization” wordt daarentegen vaak opgesplitst in losse stukken zoals [“token”, “ization”], wat dus twee tokens oplevert. Om dit tijdens de ontwikkeling te kunnen meten, gebruiken developers gespecialiseerde libraries zoals de OpenAI tiktoken-repository<\/a> of de offici\u00eble Anthropic Tokenizer Tool<\/a>. Daarmee tellen ze het aantal tokens en optimaliseren ze hun payloads voordat ze requests naar gehoste API’s sturen.<\/p>\n\n\n\n Tokens zijn erg gevoelig voor opmaak. Een voorafgaande spatie, een hoofdletter of een leesteken verandert al welk token er wordt gekozen. Bijvoorbeeld:<\/p>\n\n\n\n Elk leesteken, elke afsluitende spatie en elke regelovergang telt mee in het totale aantal tokens. Slordig opgemaakte payloads, zoals niet-geminificeerde JSON of overbodige witruimte in prompts, blazen het aantal verwerkte tokens kunstmatig op en jagen daarmee de kosten direct omhoog.<\/p>\n\n\n\n Hoe effici\u00ebnt de woordenschat van een model is, hangt sterk af van de data waarop het is getraind. Omdat de trainingsdata van de meeste grote modellen flink doorslaan naar het Engels, vertalen de tokenizers Engelse zinnen in minder en grotere tokens. Andere talen hebben juist veel meer tokens nodig om dezelfde informatie over te brengen. Talen met een ander alfabet of een complex schrift betalen daardoor een effici\u00ebntieboete:<\/p>\n\n\n\n Dit verschil betekent dat dezelfde workflow in een niet-Engelse taal al snel 2x tot 4x duurder per request uitvalt, terwijl het beschikbare contextvenster ook nog eens sneller volloopt. Organisaties die internationaal opschalen, doen er goed aan om al vroeg in een AI-project rekening te houden met deze kostenverschillen per taal.<\/p>\n\n\n\n Cloud-AI-aanbieders rekenen per token af, omdat het aantal tokens lineair meeschaalt met de rekenkracht die nodig is om een model te laten draaien. De matrixberekeningen op de GPU’s schalen mee met het aantal input- en outputtokens dat tijdens \u00e9\u00e9n forward pass wordt verwerkt.<\/p>\n\n\n\n Commerci\u00eble API’s splitsen de rekening in twee delen: inputtokens (de prompt, instructies, systeemrichtlijnen en opgehaalde context) en outputtokens (de tekst die het model genereert). Outputtokens zijn vrijwel altijd duurder dan inputtokens, bij grote aanbieders meestal 3x tot 5x zo duur. Die prijsasymmetrie zit in de architectuur:<\/p>\n\n\n\n Het enterprise-AI-landschap veranderde met de komst van geavanceerde redeneermodellen zoals de OpenAI o1- en o3-serie<\/a>. Die modellen gebruiken een aanpak die bekendstaat als test-time compute of extended thinking. Voordat het model een zichtbaar antwoord geeft, bouwt het eerst een interne chain of thought op met verborgen redeneertokens. Die interne tokens helpen het model om complexe logica- en codeproblemen op te lossen, maar ze vormen ook een flinke kostenpost. De gebruiker ziet deze tussenstappen niet in de interface, maar de aanbieder rekent ze wel af tegen het normale tarief voor outputtokens. Een request die uiteindelijk maar 100 zichtbare tokens oplevert, kan tijdens het denken intern 2.000 verborgen redeneertokens verbruiken, waardoor de werkelijke kosten flink hoger uitvallen dan verwacht. Voor geautomatiseerde enterprise-pipelines vraagt het beheersen van deze overhead om een doordacht technisch ontwerp, en dat is een kernthema van een gestructureerde AI-workshop<\/a>.<\/p>\n\n\n\n Elk Large Language Model heeft een vast contextvenster: het maximale aantal input- en outputtokens samen dat het in \u00e9\u00e9n keer kan verwerken. Recente studies naar rekeneffici\u00ebntie, zoals Squeezed Attention (Hooper et al., 2025),<\/a> gaan hier dieper op in. Moderne modellen bieden enorme contextvensters, van 128.000 tokens tot meerdere miljoenen, maar het volledig benutten daarvan brengt stevige kosten en harde grenzen met zich mee. Onderzoek laat een belangrijk verschil zien tussen het Maximum Context Window (MCW) en het Maximum Effective Context Window (MECW), beschreven in benchmarks als Context Is What You Need (Paulsen, 2025)<\/a>. Het MECW is het bereik waarbuiten extra tokens niets meer toevoegen aan de kwaliteit, en de nauwkeurigheid juist achteruitgaat. Grootschalige tests laten zien dat de prestaties soms al met meer dan 30% kelderen, lang voordat een model zijn theoretische grens bereikt; een beperking die wordt geanalyseerd in Long Context Window Flaws (Hosseini et al., 2024).<\/a> In multi-turn-applicaties of langlopende agent-frameworks zorgt het telkens meesturen van de volledige gespreksgeschiedenis, in plaats van alleen de relevante feiten, voor kosten per beurt die lineair meegroeien met de lengte van het gesprek. Dat leidt tot flink oplopende kosten zonder gegarandeerde winst in prestaties, een afweging die wordt beschreven in Beyond the Context Window (Pollertlam & Kornsuwannawit, 2026).<\/a><\/p>\n\n\n\n Op enterprise-schaal draait alles om infrastructuur die miljarden kost, maar de open-source community laat zien dat je tokenisatie en modeleffici\u00ebntie ook op consumenten hardware kunt optimaliseren. Een mooi voorbeeld is de Caveman-repository<\/a>, een populaire open-source Claude Code-skill en compressietool die vooral in TypeScript is geschreven. Het project komt van Julius Brussee, een Nederlandse developer, die de tool heeft gemaakt om interacties met Large Language Models te optimaliseren. Het dwingt het model om alle conversationele opvulling weg te laten en te communiceren in een ultrakorte, instructie dichte “holbewonersstijl” (bijvoorbeeld “why use many token when few token do trick”). Door die taalkundige overhead direct in de prompt te schrappen, verlaagt deze aanpak het aantal outputtokens met 65% tot 75%. Het laat zien hoe slim omgaan met je workflow de responstijd en de tokenkosten flink kan drukken, zonder dat de kwaliteit van het resultaat eronder lijdt.<\/p>\n\n\n\n Developers moeten de prestaties van een model afwegen tegen de tokenkosten. API-kosten worden traditioneel afgerekend per 1 miljoen (1M) tokens. Onderstaande tabel schetst de commerci\u00eble prijzen van bekende aanbieders vanaf 2026.<\/p>\n\n\n\nHet mechanisme van Byte Pair Encoding<\/h3>\n\n\n\n
\n
De invloed van interpunctie en hoofdletters<\/h2>\n\n\n\n
\n
Taalverschillen in tokendichtheid<\/h3>\n\n\n\n
\n
Waarom tokens de kosten van commerci\u00eble AI bepalen<\/h2>\n\n\n\n
Input- versus outputtokens<\/h3>\n\n\n\n
\n
De opkomst van verborgen redeneertokens<\/h2>\n\n\n\n
Het contextvenster en oplopende kosten<\/h2>\n\n\n\n
Decentrale alternatieven en micro-optimalisaties<\/h2>\n\n\n\n
![\"image\"](\"https:\/\/datanorth.ai\/wp-content\/uploads\/2026\/06\/image-10.png\")
<\/figure>\n\n\n\nKostenvergelijking van belangrijke AI-modellen<\/h3>\n\n\n\n