Generatieve AI-modellen lezen tekst niet zoals mensen dat doen. In plaats daarvan verwerken ze taal door zinnen op te knippen in kleinere, losse wiskundige eenheden: tokens. Voor organisaties die Large Language Models (LLM’s) zoals ChatGPT, Claude, Perplexity of Microsoft Copilot inzetten, is begrip van tokens essentieel. Ze vormen namelijk de basis voor capaciteit, systeemgrenzen en operationele kosten. Zodra een organisatie haar AI-initiatieven opschaalt, loopt het tokenverbruik direct op met de rekenkosten. In dit artikel leggen we uit wat tokens zijn, hoe tokenisatie in verschillende talen werkt, de verschillen tussen input-, output- en verborgen redeneertokens, en hoe de commerciële API-prijzen precies tot stand komen.
Wat is een token in AI?
Een token is de bouwsteen die een Large Language Model gebruikt om natuurlijke taal te verwerken en te genereren. In plaats van hele woorden of losse karakters te verwerken, werken moderne modellen met subwoord-eenheden. In Engelse tekst staat één token voor ongeveer vier karakters of 0,75 woord. Daardoor komen 100 tokens grofweg overeen met 75 woorden, en wordt een document van 1.500 woorden omgezet in ongeveer 2.000 tokens. Wanneer een applicatie tekst naar een API stuurt, wordt die tekst eerst in deze stukjes geknipt voordat er ook maar iets wordt uitgerekend. Door deze aanpak kunnen modellen efficiënt omgaan met enorme teksten en tegelijk variaties als hoofdletters, interpunctie en spaties netjes verwerken.
Hoe tokenisatie werkt
Tokenisatie is de stap voor bewerking, die ruwe tekst omzet in een reeks gehele getallen, de zogeheten token-ID’s, die het neurale netwerk kan begrijpen. Het model werkt daarbij met een vaste woordenschat die tijdens de training is opgebouwd.
Het mechanisme van Byte Pair Encoding
De meeste bekende Large Language Models gebruiken een subwoord-algoritme genaamd Byte Pair Encoding (BPE). Dat proces verloopt in een vaste volgorde:
- De tekst wordt eerst opgeknipt in losse karakterreeksen en spaties.
- Het algoritme vergelijkt die reeksen met een vooraf gedefinieerde woordenschattabel.
- Veelvoorkomende combinaties worden samengevoegd tot één token, terwijl zeldzame of complexe woorden worden opgesplitst in meerdere subwoord-onderdelen.
Een gangbaar woord als “hello” levert bijvoorbeeld meestal één token op. Een minder gebruikelijk woord als “tokenization” wordt daarentegen vaak opgesplitst in losse stukken zoals [“token”, “ization”], wat dus twee tokens oplevert. Om dit tijdens de ontwikkeling te kunnen meten, gebruiken developers gespecialiseerde libraries zoals de OpenAI tiktoken-repository of de officiële Anthropic Tokenizer Tool. Daarmee tellen ze het aantal tokens en optimaliseren ze hun payloads voordat ze requests naar gehoste API’s sturen.
De invloed van interpunctie en hoofdletters
Tokens zijn erg gevoelig voor opmaak. Een voorafgaande spatie, een hoofdletter of een leesteken verandert al welk token er wordt gekozen. Bijvoorbeeld:
- De kleine letters ” red” (met spatie ervoor) koppelen op basis van frequentie aan een specifiek token-ID.
- ” Red” met hoofdletter (met spatie ervoor) koppelt aan een totaal ander token-ID.
- Het losse woord “Red” zonder spatie ervoor, aan het begin van een zin, levert weer een derde, uniek token op.
Elk leesteken, elke afsluitende spatie en elke regelovergang telt mee in het totale aantal tokens. Slordig opgemaakte payloads, zoals niet-geminificeerde JSON of overbodige witruimte in prompts, blazen het aantal verwerkte tokens kunstmatig op en jagen daarmee de kosten direct omhoog.
Taalverschillen in tokendichtheid
Hoe efficiënt de woordenschat van een model is, hangt sterk af van de data waarop het is getraind. Omdat de trainingsdata van de meeste grote modellen flink doorslaan naar het Engels, vertalen de tokenizers Engelse zinnen in minder en grotere tokens. Andere talen hebben juist veel meer tokens nodig om dezelfde informatie over te brengen. Talen met een ander alfabet of een complex schrift betalen daardoor een efficiëntieboete:
- Engels: de zin “Hello world” levert precies 2 tokens op.
- Chinees: dezelfde zin “你好世界” koppelt aan ongeveer 4 tokens, dus een verdubbeling.
- Arabisch: de zin “مرحبا بالعالم” loopt vaak op tot 6 of 8 tokens, afhankelijk van de gebruikte tokenizer.
Dit verschil betekent dat dezelfde workflow in een niet-Engelse taal al snel 2x tot 4x duurder per request uitvalt, terwijl het beschikbare contextvenster ook nog eens sneller volloopt. Organisaties die internationaal opschalen, doen er goed aan om al vroeg in een AI-project rekening te houden met deze kostenverschillen per taal.
Waarom tokens de kosten van commerciële AI bepalen
Cloud-AI-aanbieders rekenen per token af, omdat het aantal tokens lineair meeschaalt met de rekenkracht die nodig is om een model te laten draaien. De matrixberekeningen op de GPU’s schalen mee met het aantal input- en outputtokens dat tijdens één forward pass wordt verwerkt.
Input- versus outputtokens
Commerciële API’s splitsen de rekening in twee delen: inputtokens (de prompt, instructies, systeemrichtlijnen en opgehaalde context) en outputtokens (de tekst die het model genereert). Outputtokens zijn vrijwel altijd duurder dan inputtokens, bij grote aanbieders meestal 3x tot 5x zo duur. Die prijsasymmetrie zit in de architectuur:
- Inputverwerking (prefill-fase): het model verwerkt alle inputtokens in één keer, parallel, wat de GPU efficiënt benut.
- Outputgeneratie (decoding-fase): het model genereert tekst autoregressief, dus token voor token. Elk nieuw token moet aan de reeks worden toegevoegd om het volgende te kunnen berekenen, wat steeds opnieuw lezen en schrijven naar het GPU-geheugen vraagt. Dat is rekenkundig duur.
De opkomst van verborgen redeneertokens
Het enterprise-AI-landschap veranderde met de komst van geavanceerde redeneermodellen zoals de OpenAI o1- en o3-serie. Die modellen gebruiken een aanpak die bekendstaat als test-time compute of extended thinking. Voordat het model een zichtbaar antwoord geeft, bouwt het eerst een interne chain of thought op met verborgen redeneertokens. Die interne tokens helpen het model om complexe logica- en codeproblemen op te lossen, maar ze vormen ook een flinke kostenpost. De gebruiker ziet deze tussenstappen niet in de interface, maar de aanbieder rekent ze wel af tegen het normale tarief voor outputtokens. Een request die uiteindelijk maar 100 zichtbare tokens oplevert, kan tijdens het denken intern 2.000 verborgen redeneertokens verbruiken, waardoor de werkelijke kosten flink hoger uitvallen dan verwacht. Voor geautomatiseerde enterprise-pipelines vraagt het beheersen van deze overhead om een doordacht technisch ontwerp, en dat is een kernthema van een gestructureerde AI-workshop.
Het contextvenster en oplopende kosten
Elk Large Language Model heeft een vast contextvenster: het maximale aantal input- en outputtokens samen dat het in één keer kan verwerken. Recente studies naar rekenefficiëntie, zoals Squeezed Attention (Hooper et al., 2025), gaan hier dieper op in. Moderne modellen bieden enorme contextvensters, van 128.000 tokens tot meerdere miljoenen, maar het volledig benutten daarvan brengt stevige kosten en harde grenzen met zich mee. Onderzoek laat een belangrijk verschil zien tussen het Maximum Context Window (MCW) en het Maximum Effective Context Window (MECW), beschreven in benchmarks als Context Is What You Need (Paulsen, 2025). Het MECW is het bereik waarbuiten extra tokens niets meer toevoegen aan de kwaliteit, en de nauwkeurigheid juist achteruitgaat. Grootschalige tests laten zien dat de prestaties soms al met meer dan 30% kelderen, lang voordat een model zijn theoretische grens bereikt; een beperking die wordt geanalyseerd in Long Context Window Flaws (Hosseini et al., 2024). In multi-turn-applicaties of langlopende agent-frameworks zorgt het telkens meesturen van de volledige gespreksgeschiedenis, in plaats van alleen de relevante feiten, voor kosten per beurt die lineair meegroeien met de lengte van het gesprek. Dat leidt tot flink oplopende kosten zonder gegarandeerde winst in prestaties, een afweging die wordt beschreven in Beyond the Context Window (Pollertlam & Kornsuwannawit, 2026).
Decentrale alternatieven en micro-optimalisaties
Op enterprise-schaal draait alles om infrastructuur die miljarden kost, maar de open-source community laat zien dat je tokenisatie en modelefficiëntie ook op consumenten hardware kunt optimaliseren. Een mooi voorbeeld is de Caveman-repository, een populaire open-source Claude Code-skill en compressietool die vooral in TypeScript is geschreven. Het project komt van Julius Brussee, een Nederlandse developer, die de tool heeft gemaakt om interacties met Large Language Models te optimaliseren. Het dwingt het model om alle conversationele opvulling weg te laten en te communiceren in een ultrakorte, instructie dichte “holbewonersstijl” (bijvoorbeeld “why use many token when few token do trick”). Door die taalkundige overhead direct in de prompt te schrappen, verlaagt deze aanpak het aantal outputtokens met 65% tot 75%. Het laat zien hoe slim omgaan met je workflow de responstijd en de tokenkosten flink kan drukken, zonder dat de kwaliteit van het resultaat eronder lijdt.
Kostenvergelijking van belangrijke AI-modellen
Developers moeten de prestaties van een model afwegen tegen de tokenkosten. API-kosten worden traditioneel afgerekend per 1 miljoen (1M) tokens. Onderstaande tabel schetst de commerciële prijzen van bekende aanbieders vanaf 2026.
| Aanbieder | Model | Inputprijs (per 1M tokens) | Outputprijs (per 1M tokens) | Belangrijkste kenmerk |
|---|---|---|---|---|
| OpenAI | GPT-5.5 | $5,00 | $30,00 | Native end-to-end omnimodale engine |
| OpenAI | GPT-5.4 mini | $0,75 | $4,50 | Kostenefficiënte agentic redeneerkern |
| OpenAI | GPT-5.4 nano | $0,20 | $1,25 | Ultralichte edge-computinglaag |
| Anthropic | Claude 3.5 Sonnet | $3,00 | $15,00 | Sterk in logica en complexe code |
| Gemini 2.5 Flash | $0,30 | $2,50 | Zeer scherpe budgetlaag voor hoge volumes | |
| Gemini 2.5 Pro | $7,00 | $21,00 | Enorm contextvenster tot 2 miljoen tokens | |
| DeepSeek | DeepSeek V3 | $0,14 | $0,28 | Goedkoop alternatief voor standaard workloads |
Strategieën om tokenkosten te verlagen
Onbeheerst tokenverbruik kan een AI-uitrol binnen een organisatie snel laten stranden door budgetoverschrijdingen. Om veilig op te schalen, gebruiken engineers en architecten verschillende technische strategieën.
Prompt-caching inzetten
Prompt-caching is een van de effectiefste manieren om API-kosten te verlagen. Gebruikt een organisatie een grote, vaste systeemprompt of een uitgebreide kennisbank voor duizenden requests, dan kunnen aanbieders dat input-tekstblok cachen op hun servers.
- Anthropic Claude biedt aparte prompt-caching, waarbij cache-hits tot 90% goedkoper zijn dan verse inputtokens.
- OpenAI geeft binnen de GPT-4o-familie automatisch 50% korting op gecachte inputsequenties die boven een bepaalde lengte uitkomen, zoals uitgelegd in de OpenAI API Reference on Caching.
- Google Gemini ondersteunt context-caching, waarmee organisaties grote referentiedocumenten in het geheugen kunnen houden tegen een vast tarief per uur, in plaats van bij elke call de volledige inputkosten te betalen.
Batch-API’s gebruiken voor niet-dringende taken
Voor werk dat niet realtime hoeft, zoals nachtelijke dataclassificatie, bulk-sentimentanalyse of het archiveren van documenten, gebruiken developers batch-API’s. De meeste grote aanbieders hebben hiervoor een apart endpoint. Door taken in bulk aan te bieden en ze binnen 24 uur asynchroon te laten verwerken, krijgen organisaties een vaste korting van 50% op zowel input- als outputtokens.
Strakke opmaak en duidelijke instructies
Vage prompts leiden tot langdradige, herhalende antwoorden die outputtokens verspillen. Door duidelijke eisen in de systeeminstructies te zetten, houd je de lengte van de output onder controle. Vraag je het model bijvoorbeeld om “strictly in minified JSON format without conversational filler” te antwoorden, dan schrap je meteen alle overbodige tokens. Een programmatische check zorgt er vervolgens voor dat de applicatie alleen de essentiële data verwerkt, wat het werk verderop in de keten beperkt. Organisaties die dit willen testen, beginnen vaak met een korte AI-demo om te zien hoe strakke prompting tokenverspilling in de praktijk terugdringt.
Conclusie
Tokens zijn de technische én financiële valuta van generatieve AI. Van de basis van Byte Pair Encoding tot de ingewikkelde rekensommen rond verborgen redeneertokens en niet-Engelse tekst: tokens bepalen rechtstreeks of een zakelijk AI-systeem betaalbaar blijft. Met technieken als prompt-caching, het inzetten van goedkopere modellen voor eenvoudige taken en het kort houden van de output, houden bedrijven grip op hun budget terwijl ze toch goed presterende AI-oplossingen leveren. can maintain strict control over their operational budgets while delivering performance-optimized AI solutions.
Veelgestelde vragen (FAQ)
Wat is het verschil tussen een token en een woord in AI?
Een woord is een complete eenheid van menselijke taal, terwijl een token een subwoord-eenheid is die AI-modellen gebruiken om te rekenen. In Engelse tekst telt een token gemiddeld zo’n vier karakters, wat betekent dat 100 woorden meestal neerkomen op ongeveer 133 tokens.
Wat is het Maximum Effective Context Window (MECW)?
Het Maximum Effective Context Window is de praktische grens waarbuiten de nauwkeurigheid, het geheugen en de redeneerprestaties van een LLM merkbaar achteruitgaan. Een model kan op papier tot 1 miljoen tokens aan, maar het bereik waarbinnen het informatie foutloos en zonder hallucinaties terugvindt, is in de praktijk vaak veel kleiner.
Waarom kost het gebruik van niet-Engelse talen meer in AI-API’s?
De meeste Large Language Models zijn vooral op Engelstalige tekst getraind, waardoor hun tokenizers zijn afgestemd op Engels. Andere talen, en zeker talen zonder Latijns schrift zoals Arabisch of Chinees, worden in veel kleinere stukjes geknipt. Die hogere tokendichtheid maakt dezelfde hoeveelheid tekst 2x tot 4x duurder.
Worden verborgen redeneertokens bij de gebruiker in rekening gebracht?
Ja. Geavanceerde redeneermodellen genereren tijdens hun denkfase interne tokens om complexe problemen op te delen voordat ze een zichtbaar antwoord geven. Die redeneertokens zie je niet in het uiteindelijke antwoord, maar ze gebruiken wel GPU-rekenkracht en worden afgerekend tegen het normale tarief voor outputtokens.
Hoe verlaagt prompt-caching de operationele AI-kosten?
Met prompt-caching kunnen aanbieders veelgebruikte stukken tekst, zoals uitgebreide bedrijfsrichtlijnen of documentatie, rechtstreeks in het server geheugen bewaren. Komt een nieuw request overeen met die gecachte context, dan slaat de aanbieder de volledige verwerking van dat blok over. Dat levert een korting van 50% tot 90% op, afhankelijk van de aanbieder.
