Mixture of experts (MoE) is een neuraal netwerk-ontwerp dat voor elke input-token slechts een deel van het model activeert. Zo kan een model honderden miljarden of zelfs biljoenen parameters bevatten, terwijl per token slechts een fractie daarvan actief is. Daardoor dalen de computationele kosten zonder dat je capaciteit verliest. Voor teams die AI van prototype naar productie brengen is dit belangrijk, omdat de kosten per token en de doorvoer (throughput) vaak bepalen of een deployment levensvatbaar is. Sinds begin 2026 is MoE de standaard architectuur geworden voor frontier-modellen, zowel voor open-weight modellen als propriëtaire varianten.
Wat is een mixture of experts-architectuur?
Een MoE-architectuur maakt gebruik van conditionele berekening (conditional computation): in plaats van elke parameter voor elke input uit te voeren, stuurt het elke token naar een kleine subset van gespecialiseerde subnetwerken. In traditionele dense neurale netwerken wordt elke parameter geactiveerd om elke binnenkomende token te verwerken, wat betekent dat de computationele kosten lineair schalen met de totale grootte van het model. Een MoE-framework verandert deze dynamiek door uniforme lagen (layers) te vervangen door een algoritmisch routeringsnetwerk en een verzameling afzonderlijke, parallelle subnetwerken die “experts” worden genoemd.
Het kernidee gaat terug naar de vroege jaren 90 met Jacobs et al. (1991) over modulaire neurale netwerken. De toepassing op modern Deep Learning kwam van Shazeer et al. in een paper uit 2017, “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”. Sparsity verdeelt de capaciteit van het model over gespecialiseerde subnetwerken, waardoor het actieve berekeningspad kort blijft terwijl brede kennis behouden blijft.
Hoe een mixture of experts-architecturen werkt
Een klein routenetwerk bekijkt elke binnenkomende token en stuurt deze naar een of meer expert-subnetwerken. De routering vindt plaats op tokenniveau, zodat een enkele zin voor elk woord een andere mix van experts kan activeren.
Het gating-netwerk en token-routering
Het gating-netwerk is een trainbare laag die elke expert scoort voor een gegeven token en de beste paar kiest. Wanneer een input-tensor x aankomt bij een MoE-laag die N experts bevat, berekent het gating-netwerk een sparse gewichtsvector G(x). De output y van de laag is een gewogen som van de outputs van de actieve experts:
Hier is Ei (x) de output van het i-th de expert-subnetwerk. Om sparsity af te dwingen, gebruiken engineers Top-k gating. Bij Top-1 zet de router alle waarden in G(x) op nul, behalve de hoogste, waardoor er precies één expert wordt geactiveerd. Bij Top-2 krijgen de twee hoogst scorende experts niet-nul gewichten en worden hun outputs samengevoegd. Top-2 is de gebruikelijke keuze in productiemodellen omdat het de stabiliteit behoudt zonder de berekening te verdubbelen.
Uitvoering van sparse en dense lagen
Moderne MoE-modellen zijn hybriden: attention-lagen blijven dense, alleen de feed-forward-blokken worden sparse. De multi-head self-attention-mechanismen blijven volledig dense, zodat alle tokens in een sequentie onderling attention kunnen toepassen over het volledige contextvenster.
De feed‑forward netwerkblokken (FFN‑blokken) die volgen op de attention‑lagen. Elke standaard FFN wordt vervangen door een blok dat meerdere parallelle FFN’s plus een router bevat. Een model met in totaal 47 miljard parameters activeert mogelijk slechts 13 miljard parameters per forward pass, omdat de router slechts een paar experts tegelijk aanroept.
Expert-capaciteit beheren en load balancing
Zonder beperkingen heeft de training de neiging te bezwijken (collapse) op een paar favoriete experts. Dit gebeurt wanneer de router in het begin van de training de meeste tokens naar hetzelfde subnetwerk stuurt omdat dit lagere initiële gradiënten oplevert. De router blijft die keuze versterken, de andere experts blijven ongetraind, en het model reduceert effectief tot een dense configuratie op een veel kleinere actieve voetafdruk (footprint).
De oorspronkelijke oplossing was een auxilliaire load-balancing loss die werd toegevoegd aan het trainingsdoel (training objective), zoals beschreven in de GShard-architectuurdocumentatie van Google. De auxilliaire term bestraft een ongelijkmatige token-distributie. Nieuwere architecturen zoals DeepSeek-V3 (december 2024) en de opvolger DeepSeek-V4 (april 2026) laten de auxilliaire loss volledig vallen. In plaats daarvan voegen ze dynamische bias-termen toe aan de routeringsscores: een overbelaste expert ziet zijn bias dalen, een onderbelaste ziet zijn bias stijgen. Dit balanceert de belasting zonder het gradiëntsignaal te verstoren, wat bij auxilliaire losses wel het geval kan zijn.
Waarom mixture of experts van belang is voor enterprise AI-deployment
MoE ontkoppelt de kenniscapaciteit van een model van de computationele kosten per token. Voor workloads die op schaal draaien (klantenservice, interne zoekfuncties, documentverwerking) is dit het verschil tussen een economisch levensvatbare deployment en een deployment die bij elke query budget verslindt.
Vermindering van computationele overhead
Google’s Generalist Language Model-paper vatte de besparingen in cijfers samen: een sparse MoE-model evenaarde GPT-3 op het gebied van benchmark-prestaties, terwijl het ongeveer een derde van de energie verbruikte voor training en ruwweg de helft van de FLOPs bij inference. Lagere FLOPs vertalen zich in lagere elektriciteitsrekeningen en minder slijtage van hardware in productie.
Verbetering in inference-latentie en doorvoer (throughput)
Omdat de router slechts een subset van gewichten per token aanroept, volgt de generatiesnelheid het aantal actieve parameters, niet het totaal. Een 47B-model met 13B actieve parameters draait op ongeveer de snelheid van een 13B dense-model.
Experts kunnen ook worden gedistribueerd over afzonderlijke GPU’s (expert parallelism), waardoor hardware-clusters verschillende delen van een batch in parallel kunnen verwerken en de totale doorvoer (throughput) verder omhoog wordt gestuwd.
Schaalbaarheid van het totale aantal parameters
Het toevoegen van meer experts vergroot de kenniscapaciteit van het model zonder het actieve berekeningspad te veranderen. Een dense model moet zijn actieve laag vergroten om meer kennis op te slaan, wat uiteindelijk stuit op de limieten van de GPU-geheugenbandbreedte en interconnect-snelheid. MoE omzeilt dat plafond: het totale aantal parameters kan schalen naar honderden miljarden of biljoenen, terwijl de berekening per token vast blijft staan. DeepSeek V4-Pro is tot nu toe het duidelijkste voorbeeld: 1,6 biljoen parameters in het geheugen, 49 miljard uitgevoerd per token, een verhouding van ongeveer 32-tot-1 tussen opgeslagen en actieve capaciteit.
Technische vooruitgang en huidige model-implementaties
Sinds begin 2025 maken bijna alle toonaangevende frontier-modellen gebruik van MoE-ontwerpen. De onderstaande releases schetsen de verschuiving van een experimentele architectuur naar de industriestandaard.
Mixtral 8x7B naar Mistral Large 3
Uitgebracht in december 2023 door Mistral AI, was Mixtral 8x7B de open-weights release die MoE mainstream maakte: 46,7B in totaal, 12,9B actief via Top-2 routing, Apache 2.0. Het evenaarde of versloeg de dense Llama 2 70B op MMLU en GSM8K, terwijl het ongeveer zes keer sneller draaide.
Mistral’s huidige MoE-vlaggenschip is Mistral Large 3, uitgebracht op 2 december 2025: 41B actieve parameters van de 675B in totaal, 256K contextvenster, Apache 2.0. Daarnaast bevat Mistral Small 4 in totaal 119B parameters met ongeveer 6B actief per token via MoE, waardoor het een van de goedkoopste multimodale modellen in productiegerelateerd gebruik is. De architecturale rode draad van Mixtral naar Large 3 is hetzelfde Mistral-patroon: de verhouding tussen actief en totaal verhogen, terwijl de licentie laagdrempelig (permissive) blijft.
Llama 4 en Meta’s overstap naar sparse
Meta stapte over van dense naar MoE met de release van Llama 4 in april 2025. Scout activeert 17B parameters van de 109B in totaal over 16 experts met een contextvenster van 10M tokens. Maverick activeert 17B van de 400B in totaal over 128 experts met een contextvenster van 1M tokens. Een groter model, Behemoth, werd aangekondigd maar niet uitgebracht. De stap is minder van belang voor een specifieke benchmark, maar dient meer als een signaal: wanneer de grootste open-weights uitgever dense-architecturen achter zich laat, is MoE de standaard geworden.
DeepSeek-V4 en geavanceerde routering
DeepSeek-V4, uitgebracht als preview op 24 april 2026, is het huidige vlaggenschip en de meest agressieve demonstratie van MoE-schaling tot nu toe. Het is verkrijgbaar in twee varianten:
- V4-Pro: 1,6 biljoen totale parameters, 49 miljard geactiveerd per token
- V4-Flash: 284 miljard in totaal, 13 miljard geactiveerd
Beide varianten ondersteunen een contextvenster van 1 miljoen tokens. V4-Pro is momenteel het grootste beschikbare open-weight model, vóór Moonshot’s Kimi K 2.6 (1.1T) en meer dan het dubbele van zijn voorganger DeepSeek-V3 (671B / 37B actief).
De DeepSeek-architectuur introduceert verschillende modificaties aan traditionele MoE-frameworks, overgenomen van V3 en verder uitgebreid in V4:
- Fijnmazige expert-verdeling. Experts zijn kleiner en talrijker dan in eerdere MoE-modellen, waardoor de router specialisatie met meer precisie kan toewijzen.
- Gedeelde expert-isolatie. Een paar experts blijven actief voor elke token. Ze verwerken universele patronen (basis-syntaxis, algemeen redeneren), zodat de gerouteerde experts niet allemaal redundante kopieën van die basiskennis hoeven te bevatten.
- Hybride attention (nieuw in V4). V4 combineert Compressed Sparse Attention (CSA) en Heavily Compressed Attention (HCA). Bij een context van 1M tokens gebruikt V4-Pro slechts 27% van de inference-FLOPs per token toch 10% van de KV-cache vergeleken met V3.2.
- Mixed-precision training (nieuw in V4). V4 gebruikt een mix van FP8- en FP4-precisie, waarbij quantization-aware training wordt toegepast op de gewichten van de MoE-experts, wat het benodigde geheugen om ze op te slaan ruwweg halveert ten opzichte van FP8.
Dense en sparse-architecturen vergelijken
Sparse modellen ruilen rekenkracht (compute) in voor geheugen. De onderstaande tabel vat de praktische verschillen samen. Merk op dat het moeilijker is geworden om een actueel toonaangevend dense model te vinden ter vergelijking: Llama 3.3 70B en Mistral Large 2 zijn recente dense voorbeelden, maar hun opvolgers (Llama 4, Mistral Large 3) zijn beide overgestapt op MoE.
| Operationele dimensie | Dense-architecturen (bijv. Llama 3.3 70B, Mistral Large 2) | Sparse MoE-architecturen (bijv. Mistral Large 3, Llama 4 Maverick, DeepSeek-V4) |
|---|---|---|
| Actieve parameters per token | 100% van de totale parameters worden berekend voor elke operatie. | Typisch wordt 3% tot 25% van de totale parameters berekend (V4-Pro activeert ongeveer 3%, Llama 4 Maverick rond de 4%). |
| VRAM-vereiste voor serving | Schaalt met de totale grootte. | Hoog. De volledige set parameters moet geladen blijven in het GPU-geheugen, hoewel kwantisatie (quantization) en CPU-offloading dit kunnen verminderen. |
| Inference-latentie | Schaalt lineair met de modelgrootte. | Volgt het aantal actieve parameters, niet het totaal. |
| Stabiliteit van training & fine-tuning | Eenvoudig, geen load balancing nodig. | Vereist routeringsbeveiligingen om een onbalans in de belasting te voorkomen. |
| Kennis- en taakcapaciteit | Beperkt door de grootte van het actieve berekeningspad. | Schaalt door experts toe te voegen zonder de berekening per token te verhogen. |
Samenvatting van de belangrijkste punten
MoE is een technische afweging (engineering trade-off): meer geheugen, minder berekeningen per token. Het model blijft volledig geladen in het VRAM, maar er draait slechts een deel voor een specifieke input. Voor productie-deployments verlaagt die afweging de serving-kosten per token, terwijl de brede kennis behouden blijft die nodig is voor complexe bedrijfstaken.
Voor teams die evalueren of MoE bij hun workload past, gaan de praktische vragen meestal over de geheugenmarge (headroom) op bestaande hardware, latentiedoelen en hoeveel specifieke domeinkennis er gecodeerd moet worden. Wil je weten of MoE bij de workload van jouw team past? DataNorth kan helpen om die beperkingen in kaart te brengen voor deployment-opties: ons AI-consulting team neemt de technische afwegingen met je door, vertaalt het resultaat naar een concrete AI-strategie en begeleidt het proces tot aan de ontwikkeling en implementatie wanneer je klaar bent om te bouwen.
Veelgestelde vragen (FAQ’s)
Wat is het belangrijkste verschil tussen een sparse model en een dense model?
Een dense model voert elke parameter uit voor elke token. Een sparse model stuurt elke token naar een subset van experts, waardoor er slechts een fractie van de totale parameters tegelijkertijd wordt geactiveerd.
Vereist een mixture of experts-model meer GPU-geheugen (VRAM)?
Ja. De router heeft direct toegang nodig tot elke expert, dus het volledige model moet in het VRAM blijven, ook al draait er per token slechts een fractie. De geheugenvoetafdruk volgt de totale parameters, niet de actieve parameters. Kwantisatie (quantization) en CPU-offloading kunnen dit in de praktijk verminderen, maar dichten het gat met equivalent-actieve dense modellen niet.
Hoe voorkomen MoE-modellen dat alle tokens naar dezelfde expert worden gestuurd?
Door middel van load-balancing tijdens de training. Eerdere modellen maakten gebruik van auxilliaire losses die een ongelijkmatige verdeling bestraften. Nieuwere ontwerpen zoals DeepSeek-V3 en V4 gebruiken bias-termen in de routeringsscores die zich dynamisch aanpassen naarmate experts over- of onderbelast raken.
Kan een onderneming een mixture of experts-model fine-tunen op eigen data?
Ja. Standaard supervised fine-tuning en parameter-efficiënte methoden (LoRA, QLoRA) werken op MoE-modellen. Omdat de architectuur modulair is, kan fine-tuning zich richten op specifieke expertblokken of juist alleen op de dense attention-lagen, wat de benodigde rekenkracht beheersbaar houdt voor in-house deployment.
Zijn dense modellen achterhaald?
Niet helemaal. Dense modellen zijn nog steeds zinvol op kleinere schaal (onder de circa 30B parameters) waar de geheugen-overhead van MoE zwaarder weegt dan de computationele besparingen, en bij latentie-gevoelige edge-deployments waar het volledige model niet in het VRAM zou passen. Op het niveau van frontier‑modellen hebben dense-architecturen begin 2026 echter grotendeels plaatsgemaakt voor MoE.
