Context Length in LLM’s: Wat is het en waarom het belangrijk is

Context length (ook wel het context window, de contextlengte of contextgrootte genoemd) is een van de belangrijkste specificaties van elk large language model (LLM). Het bepaalt hoeveel tekst een model in een keer kan lezen en verwerken, en in 2026 is het uitgegroeid tot een cijfer waar aanbieders openlijk op concurreren. Twee jaar geleden werd een context window van 32.000 tokens als ruim beschouwd. Vandaag is een context window van 1 miljoen tokens de standaard voor de topmodellen van OpenAI, Google en Anthropic, en adverteert Meta’s Llama 4 Scout zelfs met 10 miljoen tokens.

In deze blog leggen we uit wat context length in een LLM precies is, hoe het zich verhoudt tot een context window, waarom het belangrijk is voor nauwkeurigheid en kosten, welke modellen op dit moment de grootste context windows bieden, en het verschil tussen de cijfers die aanbieders adverteren en de context die een model echt kan benutten. Alles hieronder weerspiegelt de stand van zaken in juli 2026.

Wat is context length in een LLM?

Context length is het maximale aantal tokens dat een LLM in een enkele invoer kan verwerken. Tokens zijn de basiseenheden tekst die een model leest. Een token kan een heel woord zijn, een deel van een woord of een enkel teken. Als vuistregel geldt in het Engels dat een token ongeveer vier tekens is en dat 1.000 tokens ruwweg 750 woorden vormen. Een model met een context window van 1 miljoen tokens kan dus zo’n 750.000 woorden, oftewel ongeveer 1.500 pagina’s tekst, tegelijk in beeld houden.

Simpel gezegd is context length de aandachtsspanne van het model. Het bepaalt hoeveel informatie het model tegelijk kan meewegen bij het genereren van een antwoord: je huidige vraag, de documenten die je erbij plakt, de eerdere beurten van het gesprek en eventuele systeeminstructies moeten allemaal binnen dat venster passen. Populaire modellen zoals GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8 en Llama 4 Scout hebben sterk uiteenlopende context lengtes, en dat verschil bepaalt waar elk model goed in is.

Wanneer de gecombineerde invoer de limiet van het model overschrijdt, bereik je de context length-limiet. Op dat punt weigert het model het verzoek of laat het stilletjes de oudste tokens vallen. Dat is de reden dat lange chatsessies en grote documentuploads vergeetachtig kunnen aanvoelen. In de FAQ hieronder leggen we uit wat je daaraan kunt doen.

Context length vs. context window: is er een verschil?

De termen context length, context window en contextgrootte worden in de praktijk door vrijwel iedereen door elkaar gebruikt, ook door de modelaanbieders zelf. Kom je een van deze termen tegen, dan kun je er gerust van uitgaan dat ze naar hetzelfde verwijzen: hoeveel tokens het model in een keer kan verwerken.

Wil je het precies zeggen, dan is er een subtiel verschil. Het context window is de vaste maximale capaciteit van het model, een eigenschap van hoe het is gebouwd en getraind (bijvoorbeeld 1.000.000 tokens voor Gemini 3.1 Pro). De context length is hoeveel van dat venster een specifieke invoer daadwerkelijk inneemt. Een document van 40.000 tokens heeft een context length van 40.000 tokens, ruim binnen een context window van 1 miljoen tokens. Zie het venster als de grootte van het bureau en de lengte als hoeveel papier je er op dit moment op hebt uitgespreid.

Hoe wordt context length gemeten: de taxonomie van 2026

Context length wordt gemeten in tokens, en de lat is met ordes van grootte verschoven. In 2023 gold 32.000 tokens als lang. Zo zien de niveaus er in 2026 uit:

• Korte context (onder 32k tokens): Tegenwoordig vooral het domein van on-device en edge-modellen zoals Gemini Nano en kleine Llama-varianten, geoptimaliseerd voor snelheid en accuduur op telefoons en laptops.
• Middellange context (128k tot 256k tokens): De comfortabele zone voor kostenbewuste chatbots en enterprise Retrieval-Augmented Generation (RAG). Modellen als Claude Haiku 4.5, Mistral Large 3 en Kimi K2.6 zitten hier, met een balans tussen prijs en samenhang.
• Lange context (400k tot 1M tokens): De nieuwe mainstream voor topmodellen. GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8 en Sonnet 5, DeepSeek V4 en Qwen3.5 bieden allemaal rond de 1 miljoen tokens, genoeg voor grote codebases, lange video’s of een stapel contracten in een keer.
• Ultralange context (10M+ tokens): De grens van bijna onbeperkt geheugen. Meta’s Llama 4 Scout adverteert met 10 miljoen tokens, in principe genoeg om complete bedrijfsarchieven, jaren aan gegevens of een volledig juridisch discovery-dossier in een keer in te lezen.

Waarom is context length belangrijk?

Context length bepaalt de prestaties en bruikbaarheid van een LLM op drie samenhangende manieren: de complexiteit van de invoer die het aankan, het geheugen en de samenhang die het kan vasthouden, en de nauwkeurigheid over lange invoer.

Complexiteit van de invoer

Een groter context window laat een model gedetailleerdere en complexere invoer verwerken. Een model met een venster van 1 miljoen tokens kan het equivalent van zo’n 1.500 pagina’s tekst, of een complete middelgrote softwarerepository, in een keer verwerken. Het venster van 10 miljoen tokens van Llama 4 Scout brengt dat op ongeveer 15.000 pagina’s. Dit is cruciaal voor taken als het samenvatten van hele boeken, het analyseren van jaren aan financiële gegevens of het beoordelen van een volledige codebase in een keer. Zonder voldoende context length mist het model informatie die buiten het venster valt, wat leidt tot onvolledige of onjuiste antwoorden.

Geheugen en samenhang

LLM’s zijn stateless: ze onthouden eerdere interacties niet uit zichzelf. Het context window is het werkgeheugen van het model en bepaalt dus hoeveel van het eerdere gesprek of de eerdere taak het kan terughalen. Dat is essentieel voor AI-agents. Een AI-softwareontwikkelaar die aan een functie werkt, moet de oorspronkelijke eisen onthouden, de architecturale keuzes die eerder zijn gemaakt en de variabelenamen die een uur geleden zijn gewijzigd. Een agent die beperkt is tot 128k tokens begint te vergeten naarmate de taak groeit en heeft steeds nieuwe instructies nodig. Een venster van 1M tokens houdt de projectstatus samenhangend, zodat de vijftigste beurt net zo goed geïnformeerd is als de eerste.

Nauwkeurigheid en prestaties

De relatie tussen context length en nauwkeurigheid is niet lineair. Meer tokens geven het model meer om mee te werken, maar introduceren ook ruis. Dit is het fenomeen attention dilution. Het lastige probleem in 2026 is niet langer ruwe capaciteit, maar effectieve context length: het is eenvoudig om een model te bouwen dat 10 miljoen tokens accepteert, en veel moeilijker om te zorgen dat het een specifiek feit in die hooiberg vindt zonder te hallucineren of vast te lopen. De sector is verschoven van het vieren van invoercapaciteit naar het kritisch bekijken van redeneren over context, waar we hieronder dieper op ingaan.

Context length in populaire modellen

Verschillende LLM’s bieden sterk uiteenlopende context windows. De onderstaande tabel vergelijkt de leidende modellen die in juli 2026 beschikbaar zijn, gesorteerd van het grootste context window naar beneden. De prijs is de indicatieve catalogusprijs per 1 miljoen invoertokens en verandert regelmatig, dus zie het als richtlijn en niet als offerte.

Model	Context window	Datum	Architectuur	Best geschikt voor	Input / 1M
Llama 4 Scout (Meta)	10.000.000	apr 2025	MoE 17B/109B, iRoPE	Grootschalige archiefanalyse, hele repositories en boeken samenvatten	Open weights
Gemini 3.1 Pro (Google)	1.048.576	feb 2026	Multimodale MoE	Agentic workflows, native video- en audioredenering, vibe coding	~$2,00
GPT-5.5 (OpenAI)	1.000.000	apr 2026	Dense/MoE hybride	Diepe redenering, complexe instructies, programmeren	~$5,00
Claude Opus 4.8 (Anthropic)	1.000.000	2026	Constitutional AI	Autonome coding-agents, langlopende agentic taken	~$5,00
Claude Sonnet 5 (Anthropic)	1.000.000	2026	Constitutional AI	Gebalanceerd programmeren en agents op schaal	~$3,00
DeepSeek V4 (DeepSeek)	1.000.000	2026	MoE, RL-redenering	Kostenefficiënte redenering en programmeren	~$0,44
Qwen3.5-Plus (Alibaba)	1.000.000	2026	MoE	Open-weight meertalige long-context taken	~$0,40
Grok 4.5 (xAI)	500.000	jul 2026	MoE	Token-efficiënt programmeren en agents (beperkt in EU)	~$2,00
GPT-5 (OpenAI)	400.000	aug 2025	Dense/MoE hybride	Algemene redenering en instructies opvolgen	~$1,25
Kimi K2.6 (Moonshot)	262.144	2026	MoE	Agentic tool-gebruik en programmeren	~$0,95
Mistral Large 3 (Mistral)	256.000	dec 2025	MoE 41B/675B	Meertalige enterprise en soevereine EU-implementaties	Open / API
Claude Haiku 4.5 (Anthropic)	200.000	2025	Constitutional AI	Snelle, goedkope alledaagse taken	~$1,00

Een paar observaties. Meta’s Llama 4 Scout houdt met 10 miljoen tokens nog altijd het record, wat het aantrekkelijk maakt voor grootschalig archiefwerk waar breedte belangrijker is dan diep redeneren. Onder de proprietary topmodellen zijn GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8 en Claude Sonnet 5 samengekomen op 1 miljoen tokens, waardoor het praktische onderscheid tussen hen nu zit in redeneerkwaliteit, multimodaliteit en prijs in plaats van pure venstergrootte. Gemini 3.1 Pro springt eruit doordat het tekst, afbeeldingen, audio, video en hele codebases native binnen zijn venster verwerkt.

Voor Europese organisaties zijn er twee punten die het benoemen waard zijn. Grok 4.5 van xAI, in juli 2026 uitgebracht met een venster van 500k tokens, was bij lancering beperkt beschikbaar in de EU, dus controleer de toegang voordat je erop bouwt. Mistral Large 3, met zijn venster van 256k tokens en opties voor open-weight en soevereine implementatie, blijft de logische keuze wanneer dataresidentie binnen Europa en naleving van de AVG een harde eis zijn.

Geadverteerde context window vs. bruikbare context: het effectieve-contextprobleem

Het belangrijkste om te begrijpen over context length in 2026 is dat het geadverteerde getal een plafond is, geen belofte. Onafhankelijk testen laat consequent zien dat modellen al ruim voor hun opgegeven limiet aan betrouwbaarheid inboeten. Een veelvoorkomende bevinding is dat de bruikbare, nauwkeurige context rond de 60 tot 70 procent van het geadverteerde maximum ligt, en voor de allergrootste vensters is de terugval nog steiler.

De hardnekkigheid van lost-in-the-middle

Onderzoek blijft het lost-in-the-middle-effect bevestigen: LLM’s halen informatie aan het begin (primacy) en het einde (recency) van een lange invoer veel beter terug dan materiaal dat in het midden staat. Vul een venster met honderden pagina’s en juist de feiten in het midden worden het vaakst gemist. Daarom is alles zomaar in een enorme prompt plakken zelden de beste strategie.

Capaciteit is niet hetzelfde als betrouwbaarheid

10 miljoen tokens kunnen accepteren garandeert niet dat het model erover kan redeneren. Onafhankelijke evaluaties van Llama 4 Scout wijzen er bijvoorbeeld op dat het betrouwbare redeneren fors terugloopt voorbij het bereik van 128k tot 256k tokens, ook al accepteert het model fysiek veel meer, terwijl modellen die zijn afgestemd op long-context de nauwkeurigheid veel beter vasthouden over hun venster. De les is om contextcapaciteit (hoeveel een model accepteert) te onderscheiden van contextbetrouwbaarheid (hoe goed het benut wat het accepteert).

Retrieval vs. redeneren

Een belangrijke bevinding uit 2025, in 2026 verder bevestigd, is de kloof tussen retrieval (een specifiek feit vinden) en redeneren (feiten combineren tot een conclusie). Werk zoals het paper “Context Length Alone Hurts LLM Performance Despite Perfect Retrieval” liet zien dat zelfs wanneer een model het juiste bewijs terughaalt, de enorme hoeveelheid omringende afleidende tekst het vermogen aantast om dat bewijs toe te passen. Voor taken die diepe logica over een groot corpus vergen, verslaat een goed gebouwd RAG-systeem dat het model alleen de relevante stukken aanreikt vaak het volproppen van een enorm context window.

Hoe stel je context length in?

Context length ligt vast tijdens het ontwerp en de training van een model, dus je kunt het venster van een model niet zelf vergroten. Wat je wel kunt sturen, is hoeveel je ervan gebruikt en hoe je ervoor betaalt. Afhankelijk van de interface of API beheer je doorgaans drie dingen:

Context caching: De API’s van Gemini en Claude ondersteunen het cachen van een grote, herbruikte context (zoals een lang document of systeemprompt), zodat je niet de volle prijs betaalt om die bij elke aanroep opnieuw te verwerken. Dit is de belangrijkste knop om de kosten van lange context beheersbaar te houden.

Invoergrootte: Hoeveel tokens je verstuurt. De meeste API’s verwerken de invoercontext automatisch tot aan de limiet van het model en geven een foutmelding als je die overschrijdt.

Uitvoergrootte: Aanbieders laten je het aantal gegenereerde tokens begrenzen (bijvoorbeeld de max_tokens-parameter van OpenAI). Gemini 3.1 Pro geeft momenteel tot 64k tokens uitvoer.

Hoe worden enorme context windows gebouwd?

De sprong van 128k naar miljoenen tokens was niet alleen een kwestie van hardware toevoegen. Standaard attention heeft kwadratische kosten: de context length verdubbelen verviervoudigt de rekenlast. Dat overwinnen vroeg om echte architecturale herontwerpen. Drie innovaties doen het meeste werk.

Ring Attention: gedistribueerde verwerking

Ring Attention is misschien wel de belangrijkste aanjager van het tijdperk van 1M+ tokens. Standaard self-attention vereist dat de volledige key-value (KV) cache in het high-bandwidth geheugen van een enkele GPU past. Voor een reeks van 10 miljoen tokens zou die cache oplopen tot terabytes, ver voorbij de 80GB van een enkele H100. Ring Attention verdeelt de reeks over meerdere GPU’s die in een logische ring staan. Elke GPU berekent attention voor zijn lokale blok en geeft zijn KV-blok vervolgens door aan de buur, terwijl het het volgende blok van zijn voorganger ontvangt. Doordat deze communicatie overlapt met de berekening, schaalt de effectieve context length bijna lineair mee met het aantal apparaten. Tegen eind 2025 hadden frameworks als PyTorch Ring Attention native in hun context-parallel API’s geïntegreerd, waardoor de techniek standaard werd in trainings- en inferentiepijplijnen.

iRoPE: positie bijhouden op schaal

Het bereik van 10 miljoen tokens van Llama 4 Scout leunt op iRoPE (Interleaved Rotary Positional Embeddings), een variant van de standaard Rotary Positional Embedding (RoPE). Standaard RoPE generaliseert slecht ver voorbij zijn trainingslengte: bij miljoenen tokens lopen de rotatiefrequenties die positie coderen in elkaar over (frequency collapse) en verliest het model de relatieve volgorde van tokens. iRoPE wisselt lagen af die RoPE toepassen voor lokale volgorde (syntaxis en grammatica) met lagen zonder positiecodering voor de globale structuur, zodat het model precieze lokale samenhang behoudt en tegelijk verbanden begrijpt die de hele invoer beslaan.

Mixture of Experts en dynamische sparsity

Een dense model, waarbij elke parameter voor elke token afgaat, over miljoenen tokens draaien zou veel te traag en te duur zijn. De sector heeft zich gestandaardiseerd op Mixture of Experts (MoE) om de totale modelgrootte los te koppelen van de actieve rekenlast. Llama 4 Scout heeft bijvoorbeeld 109 miljard parameters in totaal, maar activeert er slechts zo’n 17 miljard per token: een router kiest de weinige experts die voor elke token relevant zijn. Technieken als cascading KV-caches gaan nog verder, door tokens met veel attention in snel geheugen te houden en minder relevante te verwijderen, zodat het effectieve venster groot blijft terwijl de rekenlast beheersbaar blijft.

De uitdagingen en grenzen van grote context windows

Naast de nauwkeurigheidskwesties hierboven houden twee harde grenzen enorme context windows tegen als universeel antwoord: latentie en kosten.

Latentie

De tijd tot het eerste token voor een prompt van meerdere miljoenen tokens kan oplopen tot tientallen seconden of zelfs minuten, ook op H100-clusters, omdat het model de volledige invoer moet lezen voordat het kan antwoorden. Dat verwijst ultralange-context taken naar asynchrone, batchgewijze verwerking, zoals het ‘s nachts genereren van rapporten, in plaats van realtime chat. Gebruikers wachten geen twee minuten tot een assistent een bibliotheek heeft gelezen voordat die antwoordt.

Kosten

Kosten schalen mee met het aantal verwerkte tokens. Een enkele volledig geladen query van meerdere miljoenen tokens kan meerdere dollars kosten, en voor workloads met veel verkeer is dat veel duurder dan een RAG-aanpak met een vectordatabase die een fractie van een cent per query kost. Voor de meeste productiesystemen is het economische patroon om de relevante paar duizend tokens op te halen en het gigantische venster te reserveren voor de zeldzame gevallen die het echt nodig hebben.

Praktische toepassingen en use cases

De uitbreiding naar vensters van 1M+ tokens heeft categorieën werk ontsloten die vroeger fragiele technische omwegen vereisten.

Vibe coding en programmeren op repository-schaal

Vibe coding, een term die in 2025 mainstream werd, beschrijft ontwikkelen dat wordt gedreven door natuurlijke taal op hoog niveau in plaats van regel-voor-regel syntaxis. Met een venster van 1M+ tokens kan een ontwikkelaar een hele repository inladen, tienduizenden regels verspreid over honderden bestanden, zodat het model de volledige afhankelijkheidsgraaf en architectuurpatronen in actief geheugen houdt en samenhangende, projectbrede wijzigingen kan doorvoeren. Dit is precies waarom de topmodellen van 2026 van Anthropic, OpenAI, Google en xAI hun kracht in programmeren en agents naast hun venstergrootte in de markt zetten.

Juridische discovery en compliance

De juridische sector profiteert sterk van zeer grote vensters. In rechtszaken betekent discovery het doornemen van enorme hoeveelheden documenten om relevant bewijs te vinden. Een model kan duizenden e-mails, contracten en memo’s in een keer inlezen en vragen beantwoorden zoals het vinden van elk moment waarop een onderwerp in een bepaalde context binnen een periode werd besproken. In de praktijk gebruiken de sterkste juridische AI-systemen een hybride aanpak: retrieval versmalt miljoenen documenten tot de meest relevante paar honderdduizend tokens, en het model redeneert daarover. Zo blijft cruciaal bewijs niet ondergesneeuwd door ruis, terwijl je toch het synthesevermogen van het model benut.

Multimodale analyse en video-redenering

Gemini 3.1 Pro verwerkt video, audio en afbeeldingen native binnen zijn context window, wat video-redenering mogelijk maakt die verder gaat dan transcriptie: een opname van een uur samenvatten, een specifiek moment vinden of vergelijken wat er wordt gezegd met wat er te zien is. Naarmate multimodale vensters groeien, worden hele opgenomen vergaderingen, trainingssessies en videoarchieven direct analyseerbaar.

Context length vs. RAG: wat moet je gebruiken?

Omdat een groter venster niet automatisch beter is, is de praktische vraag wanneer je op context length leunt en wanneer je Retrieval-Augmented Generation (RAG) gebruikt. Als vuistregel: gebruik een groot context window wanneer je het model in een keer over een volledige, op zichzelf staande invoer wilt laten redeneren (een enkel contract, een codebase, een lange video). Gebruik RAG wanneer je een grote, veranderende of repetitieve kennisbank bevraagt, wanneer je lage kosten per query nodig hebt, of wanneer precisie belangrijker is dan breedte. Veel productiesystemen combineren beide: RAG selecteert het relevante materiaal en een long-context model redeneert erover. Wil je de details, lees dan onze uitleg over wat RAG is en hoe het werkt en bepaal welk patroon bij jouw data past.

Conclusie

Context length is een fundamentele eigenschap van LLM’s die bepaalt hoeveel ze in een keer kunnen lezen, onthouden en verwerken. In 2026 zijn de cijfers buitengewoon, met 1 miljoen tokens als standaard voor topmodellen en 10 miljoen tokens beschikbaar aan de grens, maar het verhaal is volwassener geworden. De grens is niet langer alleen de grootte van het venster; het is hoeveel van dat venster een model daadwerkelijk goed kan benutten. Grotere context lengtes ontsluiten werkelijk nieuwe mogelijkheden in programmeren, juridische analyse en multimodaal redeneren, en vragen tegelijk om meer rekenkracht, hogere kosten en slimmere architectuur om de nauwkeurigheid hoog te houden.

De praktische conclusie is om het gereedschap af te stemmen op de taak: gebruik een groot context window wanneer je over een volledige invoer moet redeneren, leun op RAG wanneer precisie en kosten tellen, en test altijd met je eigen data in plaats van te vertrouwen op het geadverteerde getal. Goed gebruikt is context length een van de krachtigste knoppen die je hebt om echte waarde uit LLM’s te halen.

Dit in de praktijk brengen? Wil je verkennen hoe AI en LLM’s jouw organisatie efficiënter kunnen maken, neem dan contact op met de AI-experts van DataNorth en plan een AI-consultancy afspraak. We helpen je kiezen tussen long-context en RAG, versnellen de gegevensverwerking en zetten deze mogelijkheden om in resultaat.