<\/li>\n\n\n\n
<\/li>\n\n\n\n
Vormen van tokenisatie<\/h2>\n\n\n\n
Er zijn drie hoofdmethoden om tekst te tokeniseren:<\/p>\n\n\n\n
- \n
- Woord<\/strong>– gebaseerd: Elk woord wordt als een apart token behandeld.<\/li>\n\n\n\n
- Karakter<\/strong>– gebaseerd: Elk afzonderlijk teken wordt een token.<\/li>\n\n\n\n
- Subwoord<\/strong>– gebaseerd: Woorden worden opgesplitst in kleinere, betekenisvolle eenheden in plaats van volledige woorden of losse tekens.<\/li>\n<\/ul>\n\n\n\n
Wat is een subwoord?<\/h2>\n\n\n\n
Subwoorden zijn kleinere, betekenisvolle delen van een woord.<\/p>\n\n\n\n
Bijvoorbeeld: onverwerkt \u2192 on + verwerkt<\/p>\n\n\n\n
Hierdoor kan het model variaties van woorden begrijpen en genereren die het misschien nog niet eerder heeft gezien. Dit is vooral belangrijk tijdens het trainen, zeker bij grote en diverse datasets.<\/p>\n\n\n\n
Het is goed om te weten dat LLM\u2019s vooral subwoord gebaseerde tokenisatie gebruiken, omdat dit een goede balans biedt tussen de omvang van de woordenschat en het begrip van de context.<\/p>\n\n\n\n
![\"Types](\"https:\/\/datanorth.ai\/wp-content\/uploads\/2025\/06\/copia-de-copia-de-local-llms-1024x427.png\")
<\/figure>\n\n\n\nNadelen van woord gebaseerde tokenisatie<\/h3>\n\n\n\n
Herhaling van vergelijkbare woorden<\/strong>: LLM\u2019s hebben moeite om verbanden te leggen tussen woorden met dezelfde stam. Bijvoorbeeld, \u201crun\u201d, \u201crunning\u201d en \u201crunner\u201d worden als volledig aparte tokens gezien, zonder hun onderlinge relatie te herkennen.<\/p>\n\n\n\n
Stopwoorden<\/strong>: Veelvoorkomende woorden zoals \u201cen\u201d, \u201cof\u201d, \u201cde\u201d en \u201cis\u201d voegen weinig betekenis toe aan zinnen, maar nemen toch ruimte in als token.<\/p>\n\n\n\n
Out-of-vocabulary-problemen<\/strong>: Het model heeft moeite met woorden die het tijdens de training niet heeft gezien, vooral bij spelfouten of nieuwe termen.<\/p>\n\n\n\n
Nadelen van karakter gebaseerde tokenisatie<\/h3>\n\n\n\n
Kleine woordenschat, lange reeksen<\/strong>: Hoewel karaktergebaseerde tokenisatie een kleine woordenschat heeft, zorgt het voor veel langere contexten, wat de verwerking ineffici\u00ebnt maakt.<\/p>\n\n\n\n
Gebrek aan betekenis<\/strong>: Losse karakters dragen op zichzelf geen betekenis, waardoor het voor modellen lastig is om context en relaties te begrijpen.<\/p>\n\n\n\n
Verlies van taalstructuur<\/strong>: Deze methode vangt geen belangrijke patronen of woordstructuren op die essentieel zijn voor taalbegrip.<\/p>\n\n\n\n
Hoe bepalen we waar we woorden splitsen?<\/h2>\n\n\n\n
Een veelgebruikte methode is Byte Pair Encoding (BPE). Hierbij worden veelvoorkomende karakter paren of subwoorden samengevoegd, waardoor het totale aantal tokens afneemt zonder dat er betekenis verloren gaat. Deze methode is effici\u00ebnt en wordt veel toegepast in natuurlijke taalverwerking.<\/p>\n\n\n\n
Tokens en kosten<\/h2>\n\n\n\n
Zoals je inmiddels weet, hangt er een prijskaartje aan het gebruik van AI (zeker voor geavanceerde functies).<\/p>\n\n\n\n
Tokenisatie heeft daarom direct invloed op de kosten van grote taalmodellen (LLM\u2019s). In plaats van een vast bedrag per interactie, betaal je op basis van het aantal gebruikte tokens.<\/p>\n\n\n\n
API-gebruikers krijgen meestal met twee soorten prijsstelling te maken:<\/p>\n\n\n\n
- \n
- Invoerprijs<\/strong>: Kosten voor tokens in je prompts en vragen.<\/li>\n\n\n\n
- Uitvoerprijs<\/strong>: Kosten voor tokens in het antwoord van het model.<\/li>\n<\/ul>\n\n\n\n
Bedrijven tonen hun prijzen vaak per 1.000 tokens of per 1 miljoen tokens, zodat je een inschatting kunt maken van de kosten.<\/p>\n\n\n\n
Token-effici\u00ebntie (Hoeveel tokens voor dezelfde zin?)<\/h4>\n\n\n\n
Bijvoorbeeld, de zin: \u201cArtificial intelligence is transforming the world.\u201d<\/p>\n\n\n\n
- \n
- GPT-4: 8 tokens<\/li>\n\n\n\n
- Claude: 8 tokens (geschat)<\/li>\n\n\n\n
- Mistral: 9 tokens<\/li>\n\n\n\n
- LLaMA 3: 10 tokens<\/li>\n<\/ul>\n\n\n\n
Pro tip: Je kunt tools zoals de tokenizer-pagina van ChatGPT<\/a> gebruiken om te zien hoeveel tokens jouw tekst bevat (inclusief de bijbehorende token-ID\u2019s).<\/p>\n\n\n\n
Waarom tokenisatie belangrijk is<\/h2>\n\n\n\n
Tokenisatie begrijpen is belangrijk voor iedereen die met LLM\u2019s werkt, omdat het invloed heeft op:<\/p>\n\n\n\n
- \n
- Kosten beheer<\/strong>: Het aantal tokens bepaalt direct de API-kosten.<\/li>\n\n\n\n
- Prestatie-optimalisatie<\/strong>: Effici\u00ebnte tokenisatie zorgt voor betere modelprestaties.<\/li>\n\n\n\n
- Prompt engineering<\/strong>: Weten hoe tekst wordt getokeniseerd helpt je effectievere prompts te schrijven.<\/li>\n<\/ul>\n\n\n\n
Tokenisatie lijkt misschien technisch, maar het is essentieel om te begrijpen hoe LLM\u2019s taal verwerken en begrijpen. Bij DataNorth helpen we bedrijven om kunstmatige intelligentie te benutten en te implementeren in hun bedrijfsvoering.<\/p>\n\n\n\n
Benieuwd hoe AI jouw processen kan optimaliseren en vergemakkelijken? Neem vandaag nog contact op met DataNorth AI<\/a> en ontdek de mogelijkheden!<\/p>\n\n\n
<\/i>Schrijf je in voor onze Nieuwsbrief<\/div><\/div>Blijf op de hoogte van onze nieuwste AI blogs, onderzoeken, diensten en nog veel meer!<\/div><\/div> - Prestatie-optimalisatie<\/strong>: Effici\u00ebnte tokenisatie zorgt voor betere modelprestaties.<\/li>\n\n\n\n
- Kosten beheer<\/strong>: Het aantal tokens bepaalt direct de API-kosten.<\/li>\n\n\n\n
- Uitvoerprijs<\/strong>: Kosten voor tokens in het antwoord van het model.<\/li>\n<\/ul>\n\n\n\n
- Karakter<\/strong>– gebaseerd: Elk afzonderlijk teken wordt een token.<\/li>\n\n\n\n